> ## Documentation Index > Fetch the complete documentation index at: https://kensou.mintlify.site/llms.txt > Use this file to discover all available pages before exploring further. # React a fully spiking state space model for real t dissection [//]: # "" # REACT：面向实时事件驱动时间感知的全脉冲状态空间模型 (REACT: A Fully Spiking State-Space Model for Real-Time Event-Driven Temporal Perception) > **发布时间**：2026-09-16（arXiv v1，cs.RO） > **论文 / 模型名**：REACT（Real-time Event-driven Asynchronous Computation for Temporal perception） > **核心定位**：把 SSM 的连续时间动力学塞进脉冲神经元里，让 event camera 的原始事件流**逐事件**更新状态——不攒帧、不分 bin、不使用目标框，在 EvTTC 上以 4.6 ms 端到端延迟拿到 9.59% 相对 TTC 误差。 事件相机有微秒级时间分辨率，但大多数学习型方法先把事件累积成帧/体素/固定时间窗，这个"积分延迟"在高速接近场景里直接变成盲走距离。REACT 的结论是：**延迟的根源不是网络算得慢，而是输入表示本身在等一个窗口关闭**；只要让神经元的状态按物理事件间隔 ∆t 连续演化，就能把 sensing-to-prediction 延迟压到纯计算量级。 *** ## X-Ray 开场 **解决什么问题**：学习型事件视觉的默认管线是"累积 → 推理"，这个累积窗口在快速运动下成为不可压缩的延迟下限（对比方法 113–3644 ms，其中绝大部分是积分窗口而非网络）。 **提出了什么**：一个全脉冲（fully spiking）状态空间模型，其核心 C-SiLIF 神经元携带复数状态 u ∈ ℂ，离散化步长直接取**物理事件间隔** ∆t\_k（经每神经元可学习缩放 e^ρ），因此状态在事件原生的不规则时间戳上演化；**脉冲发放不对状态做 reset**，非线性只作为读出。 **对 spatial AI 研究者意味着什么**：这是一条"用动力学而非用表示"来换取低延迟的路线——它把"时间"从一个需要被离散化的超参数，变成一个由传感器直接提供的连续输入量，并由此免费获得 anytime prediction（任意时刻可查询）。 *** ## 📍 研究全景时间线 ``` 模型驱动 TTC 帧/体素/时间-bin 的学习型事件视觉 (拟合 FoE、运动参数、深度) (Event-SSM, CIM-SSM, Garl-TTC) │ │ │ 假设：预定义运动模式 / 平面 │ 假设：固定积分窗口 │ 刚体平移、迭代推断 (慢) │ 代价：累积延迟 113–3644 ms │ │ ├──────────────┬────────────────────┘ │ │ │ SSM × SNN 交叉带 │ · spiking SSM formulations [7,8] │ · SSM-derived neurons: SiLIF / adapt-LIF / resonate-and-fire [9–13] │ · 但：固定 bin 音频流，或仍为稠密实值计算 │ │ │ ▼ │ ★ REACT (2026-09-16) ★ │ C-SiLIF 状态由物理 ∆t_k 驱动 + 无 reset + 全脉冲 │ → 逐事件推理 / 无目标框全景 TTC / anytime │ │ │ ▼ │ 【本文局限】 │ ① embedding 表 O(2HW·D) 随传感器分辨率线性膨胀（3.7M 参数中 SSM 仅 0.04M） │ ② 能量是 45nm 代理估算，无真实神经形态芯片验证 │ ③ 无目标框时全景 TTC 误差 34.2%（裁到目标 28.3%）→ 尚未闭环到检测+跟踪 │ ④ FCWD 零样本 25.7%，域迁移仍是软肋 │ ⑤ 代码"发表后公开"，当前无 repo └──────────────────────────────────────────────► ``` *** ## 1 · 核心架构 / 方法总览 ### 1.1 系统 / 组件对比表 | 模块 | 输入 | 输出 | 训练时 | 推理时 | | - | - | - | - | - | | 事件编码 | 原始事件 (t\_k, x\_k, y\_k, p\_k) | 通道索引 j\_k = p\_k·HW + y\_k·W + x\_k ∈ \{0,…,2HW−1}；间隔 ∆t\_k = t\_k − t\_\{k−1}（ms，∆t\_1 = 0） | 变长流右填充 + mask | 严格逐事件 | | Embedding | j\_k | z\_k = Embed(j\_k) ∈ ℝ^D + LayerNorm，查表 E ∈ ℝ^\{2HW×D}（可读作逐像素逐极性的突触扇入） | 同一张表 | 同一张表（**参数主来源**） | | C-SiLIF 层（N=2 个残差块，D=128） | z\_k, ∆t\_k | 二值脉冲序列 s\_k ∈ \{0,1} | **并行**：Hillis–Steele 前缀扫描 O(log L) 深度 / O(L) 工作量；arctangent surrogate（宽度 2）反传 | **串行**：每个事件一次状态更新 | | 状态压缩 | 相邻 token | 合并 token、∆t 相加 | masked-mean pooling（DVS128-Gesture ×32；EvTTC **不池化**） | 同 | | Channel-mixing | 脉冲 train | 跨通道混合 | 线性层 | 线性层（**约 90% 估算能耗在此**） | | 读出 | 末层 pooled token | 手势：11 类分布 / TTC：log η 空间的 (μ\_i, s\_i) | CE + label smoothing / Gaussian NLL | 线性层；神经形态上等价于"不发放的积分器"，直接读膜电位 | > 关键结构性差异：**训练用可结合的前缀扫描并行化，部署严格串行**。论文明确说明 latency 与 energy 数字都基于串行部署口径。 ### 1.2 关键机制 **⚡ Eureka Moment：脉冲的 reset 是敌人——把状态保下来、让 ∆t 进到转移系数里，就能用 SSM 的线性递推换来"事件原生时间尺度"的连续感知。** 三个动作构成这个洞见： 1. **∆t 驱动离散化**：δ\_k = e^ρ·∆t\_k，α\_k = exp((−e^\{λ\_re} + i λ\_im)·δ\_k)。事件间隔不是被 bin 掉，而是直接指数进 α\_k。每个神经元用自己的时间单位（异质 e^ρ）度量时间。 2. **No reset after spike**：s\_k = Θ(2Re(u\_k) − ϑ) 只是读出；u\_k = α\_k u\_\{k−1} + b z\_k 保持线性 → 递推可结合 (Eq. 6)，训练可并行，且长程时间依赖不被反复丢弃。 3. **稳定性由构造保证**：e^\{λ\_re} > 0 ⇒ |α\_k| \< 1 对任意正间隔成立；每个神经元等价于阻尼谐振子，冲激响应 |b|e^\{−e^\{λ\_re}t}cos(λ\_im t + φ)，相位 φ 提供时间模式选择性而无需显式 delay 参数。 消融证据（Table IV，EvTTC）：LIF（实值 / 固定衰减 / 带 reset）e\_TTC = 116.9%；**仅去掉 reset** → 84.1%；换成 SiLIF（实值、可学习衰减）→ 11.42%；C-SiLIF → **9.3%**。即"无 reset"贡献巨大，"复数振荡模式"再贡献最后一截。 ### 1.3 信息流 / 架构图 ``` events (t_k, x_k, y_k, p_k) 逐事件到达，无缓冲 │ ├─► j_k = p_k·HW + y_k·W + x_k ──► Embed 表 E[2HW × D] ──► z_k ∈ ℝ^D ──► LayerNorm │ └─► ∆t_k = t_k − t_{k−1} (ms) ────────────────────────────────┐ │ 连续量，非 bin 索引 ┌─────────────────── Residual Block ×2 (D=128) ─────────────────┐ │ │ │ │ │ δ_k = e^ρ · ∆t_k （每神经元自己的时间单位） │◄──┘ │ α_k = exp((−e^{λ_re} + i λ_im)·δ_k) │ │ u_k = α_k · u_{k−1} + b · z_k ← 线性，无 reset │ │ s_k = Θ(2·Re(u_k) − ϑ) ← 脉冲仅作读出 │ │ │ │ │ ├─► Channel-mixing Linear（跨特征，~90% 能耗） │ │ └─► + 残差 │ │ ⚑ 块边界上传输的每一个信号都是脉冲 train → 所有突触操作=累加 │ └────────────────────────────────────────────────────────────────┘ │ ├─► masked-mean pooling（DVS128-Gesture ×32；EvTTC ×1）+ ∆t 求和 └─► masked-mean over valid positions ──► Linear readout ├─ 手势：11 类 softmax └─ TTC： (μ_i, s_i) in log η 空间 → η̂ = e^μ，TTC = e^{−μ} ``` *** ## 2 · 数学核心 📌 **Napkin Formula** $u_k = \underbrace{\exp\!\big((-e^{\lambda_{\mathrm{re}}}+i\lambda_{\mathrm{im}})\,e^{\rho}\Delta t_k\big)}_{\alpha_k\ \text{——注意 }\Delta t_k\text{ 在里面}} u_{k-1} + b\,z_k,\qquad s_k=\Theta\big(2\mathrm{Re}(u_k)-\vartheta\big)$ 一句话：**状态更新的"衰减+旋转"总量由真实流逝的时间决定，而不是由第几个 token 决定。** *** **① 事件编码（目标：把异步流变成对齐的两条序列）** $j_k = p_k HW + y_k W + x_k \in \{0,\dots,2HW-1\},\qquad \Delta t_k = t_k - t_{k-1},\ \Delta t_1=0$ * j\_k 携带 **where**，∆t\_k 携带 **when**；后者以连续量而非 bin 索引进入网络。 * z\_k = Embed(j\_k) ∈ ℝ^D，查表 E ∈ ℝ^\{2HW×D}，后接 LayerNorm。 **② C-SiLIF 连续动力学（目标：给神经元一个连续时间、可学习的冲激响应）** $\frac{du}{dt} = \Lambda u + b\,x(t),\qquad \Lambda = -e^{\lambda_{\mathrm{re}}} + i\,\lambda_{\mathrm{im}},\qquad b = b_{\mathrm{re}} + i\,b_{\mathrm{im}}$ | 变量 | 含义 | | - | - | | λ\_re | log 参数化的衰减率（e^\{λ\_re} > 0 保证稳定） | | λ\_im | 角频率（振荡模式） | | b | 复数输入增益，逐神经元学习 | | ρ | 逐神经元可学习的时间尺度缩放（δ\_k = e^ρ·∆t\_k） | | ϑ | 可学习发放阈值 | **③ 离散化（目标：用物理时间做步长）** $\alpha_k = \exp\!\big((-e^{\lambda_{\mathrm{re}}}+i\lambda_{\mathrm{im}})\,\delta_k\big),\quad \delta_k = e^{\rho}\Delta t_k;\qquad u_k = \alpha_k u_{k-1} + b\,z_k;\qquad s_k=\Theta\big(2\mathrm{Re}(u_k)-\vartheta\big)$ * 事件作为 **Dirac 冲激**在自身时间戳注入，所以物理间隔只通过 α\_k 进入递推。 * 因子 2 来自共轭对称状态对的实值观测：u + ū = 2Re(u)。 * **|α\_k| \< 1** 对任意正间隔成立（因为 e^\{λ\_re} > 0）。 * 冲激响应：|b| e^\{−e^\{λ\_re}t} cos(λ\_im t + φ)。 **④ 关联扫描（目标：训练时把串行换成并行）** $(A_j,B_j)\circ(A_i,B_i) = (A_jA_i,\ A_jB_i + B_j)\ \Rightarrow\ \text{Hillis–Steele prefix scan},\ O(\log L)\ \text{深度},\ O(L)\ \text{工作量}$ **⑤ 任务损失（TTC 回归 1/TTC 而非 TTC）** η = 1/TTC（TTC 在慢接近下发散，η 有界），在 log η 空间输出 (μ\_i, s\_i)： $\mathcal{L}_{\mathrm{NLL}}=\frac{1}{N}\sum_{i=1}^{N}\Big[\tfrac{1}{2}e^{-s_i}\big(\mu_i-\log\eta_i\big)^2+\tfrac{1}{2}s_i\Big]$ **⑥ 指标** $e_{\mathrm{TTC}}=\frac{|\widehat{\mathrm{TTC}}-\mathrm{TTC}|}{\mathrm{TTC}}\times 100\%$ 以及 **MiD\_w**：在 ground-truth TTC 分带上平均 |log η̂ − log η|，权重 0.5 / 0.3 / 0.1 施加于 \[0,3) / \[3,6) / \[6,10) s（沿用 \[25]），**排除负样本项**（本评测序列无未碰撞情形）。MiD\_w 是模型选择依据——因为 e\_TTC 被序列远端主导，而不碰撞的临界部分才是操作上有意义的。 **初始化（S4D-Lin）**：e^\{λ\_re} = 0.5，λ\_im = π/s 作为共享初值；e^ρ 在 10⁻³–10⁻¹ 上 log-uniform 采样；b\_re \~ 𝒰(0,1)，b\_im = 0。异质 ρ 给每个神经元不同的有效衰减与振荡频率，避免同质初始时间配置。 *** ## 3 · 带数字走一遍（玩具设定） **设定**：单通道 D = 1，e^\{λ\_re} = 0.5，λ\_im = π ≈ 3.1416，e^ρ = 0.01 (ms⁻¹)，b = 1，ϑ = 1。事件序列 z\_k ≡ 1，时间戳 t = \{0, 1, 2} ms，随后停止。（**以下为示范用玩具配置，非论文实验数值。**） 有效时间常数：|α(Δt)| = exp(−0.5·0.01·Δt) = exp(−Δt/200 ms)，衰减时间常数 **200 ms**；振荡周期 = 2π/(π·0.01) = **200 ms**。 **逐步**： | 事件 | ∆t\_k (ms) | δ\_k | α\_k | u\_k | 2Re(u\_k) | s\_k | | - | - | - | - | - | - | - | | 1 | 0 | 0 | 1 | 1 | 2.000 | 1 | | 2 | 1 | 0.01 | ≈0.99452 + i0.03126 | 1.99452 + i0.03126 | 3.989 | 1 | | 3 | 1 | 0.01 | ≈0.99452 + i0.03126 | 2.98261 + i0.09343 | 5.965 | 1 | **演示 A — 时间一致性（关联性）**：α(1 ms)^10 = exp((−0.5+iπ)·0.01·10) = exp((−0.5+iπ)·0.1) = α(10 ms)，**精确相等**。所以状态对"10 个 1 ms 间隔"与"1 个 10 ms 间隔"的衰减旋转完全相同——时序编码没有因为 token 计数而被扭曲。差别只在输入注入次数（10 次 b·z vs 1 次）。 **演示 B — 事件沉默即计算沉默**：最后一个事件之后不再有事件，模型**不更新**。但等效读出值随时间演化：Δt = 400 ms 时 α = exp(−2 + i4π) = 0.13534，α·u\_3 = 0.40371 + i0.01265，2Re = **0.807 \< ϑ = 1** → 不再发放。即该神经元的"记忆视野"约 200 ms 量级，400 ms 后已落到阈值下；而这段时间里网络**一个 FLOP 都没做**。 **演示 C — 灵敏度的旋钮在 ∆t 与 e^ρ 的乘积上**：若部署端事件率与训练端差 16×（见 §5 的 decimation），则 δ\_k 差 16×，α\_k 的衰减与相位整体错位——这是 §8 中一条 pitfall 的数学根源。 *** ## 4 · 工程视角 | 维度 | 论文报告值 | 说明 | | - | - | - | | 端到端延迟 | **4.6 ms**（REACT，EvTTC，FP32/INT8 相同） | 对比：Garl-TTC 113 ms、ETTCM 115 ms、CMax ≥3644 ms、STRTTC ≥25 ms、FAITH ≥155 ms | | 延迟折算位移 | **4 cm**（EvTTC 近目标平均接近速度 **9.22 m/s**） | 最快窗口型对比方法 >1 m；100 km/h 下 REACT 12.8 cm，Garl-TTC 3.14 m，ETTCM 3.19 m | | 能耗（估算） | EvTTC：**18.5 mJ**（FP32）→ **2.8 mJ**（INT8）/ 32,768 events | DVS128-Gesture：**50.6 mJ**（FP32）→ **7.7 mJ**（INT8）/ 131,072 events | | 单位能耗 | EvTTC **563 nJ / event**；EvTTC 每事件能耗是 DVS-Gesture 的 **2.7×** | 主因：EvTTC **不做事件池化** | | 内存 | DVS128-Gesture：REACT **16.14 MB**（FP32）/ **4.04 MB**（INT8） | 对比 Event-SSM 20.00 MB、CIM-SSM 5.00 MB | | 参数量 | DVS128-Gesture：**4.19 + 0.04 M**（embedding + SSM）；EvTTC：**3.7 M** | SSM 块仅 0.04M，对照 Event-SSM 4.19+0.80、CIM-SSM 4.19+0.81 | | 激活稀疏度 | 发放率 DVS128-Gesture **31.1 ± 1.3%**（块 0：31.9 ± 1.3%；块 1：6.3 ± 0.4%）；EvTTC **23.2 ± 1.2%** | INT8 不改变二值脉冲活动 → 发放率不变 | | 能耗代理模型 | 45 nm 代理 \[34]：(reads + writes)·E\_SRAM + acc·E\_add | 额外计入：embedding 每事件 D 次字读取；C-SiLIF 每事件读 5 个逐通道参数（λ\_re, λ\_im, ρ, b\_re, b\_im）+ **12 次乘法 + 5 次加法** | | 能耗瓶颈 | **channel-mixing 线性层约占估算总能耗 90%** | C-SiLIF 状态空间核是最低成本的主要部件 | | 硬件 / FPS / 吞吐（events·s⁻¹） | **论文未报告** | 无真实神经形态芯片运行；能量为解析估算 | | 训练成本 | AdamW，SSM 参数禁用 weight decay；量化感知训练 **150 epochs** | 训练用并行扫描，部署用串行 | **部署 trade-off 的本质**：REACT 把"延迟"从 *等待窗口填满* 换成 *单事件处理时间 × 事件率*。这意味着： * 事件率越高 → 单位时间做的状态更新越多 → **延迟恒定但吞吐压力上升**；论文的能量随事件数线性缩放（固定发放率下）。 * **不池化**保住了逐事件时间分辨率，代价是每事件能耗 ×2.7。 * **全脉冲**让所有突触操作退化为累加（MAC → AC），但复杂度并没有消失，只是转嫁给了 embedding 查表和 channel-mixing。论文自己指出：channal-mixing 占 90% 能耗，**优化时序动力学本身的收益已经很小**。 *** ## 5 · 数据与评测 ### 数据集 | 数据集 | 内容 | 本文用法 | | - | - | - | | **DVS128-Gesture** \[29] | 11 类手/臂手势，29 名受试者，三种光照条件，128×128 | 官方 split；训练窗为 **131,072** 事件的连续切片；embedding 表 2×128×128 行 | | **EvTTC** \[28] | 车辆与行人假人的碰撞场景，Prophesee 相机 1280×720，ground-truth TTC 由同步 GNSS 与 LiDAR 导出 | 主任务；坐标 **8× 下采样**到 160×90 网格，逐粗像素+极性 **10 ms 不应期**；embedding 表 2×90×160 行，总参数 **3.7M** | | **FCWD** \[20] | 不同传感器、不同驾驶条件 | **零样本迁移**，不微调、不做域适应 | **训练窗构造（EvTTC）**：32,768 tokens，由一段连续 span 以 **16× decimation** 得到，约 **0.8 s** 流。 **增强**： * DVS128-Gesture：time skew、逐事件时间/空间 jitter、随机丢事件、roll/rotation/scaling \[30]、event CutMix \[31]；**不做水平翻转**（镜像会交换手势类别）。 * EvTTC：水平翻转、逐事件空间 jitter、随机丢事件、注入 clutter 事件、time skew（重缩放流 → 模拟不同接近速度）。 ### 评测设置 * 指标：e\_TTC（Eq. 8）+ MiD\_w（分带加权，权重 0.5/0.3/0.1 于 \[0,3)/\[3,6)/\[6,10) s）；**MiD\_w 为模型选择依据**。 * 种子：DVS128-Gesture **3 个**，EvTTC **5 个**。 * EvTTC 使用 \[28] 的 in-domain validation split；定性图为 EvTTC **medium-overlap-50 集合的 CCR1 split**。 * 与既有工作的公平性条件：**所有先验方法都接受目标框（tracked 或 ground-truth）**，Garl-TTC 还同时用帧；REACT 从全景原始流预测，**无目标先验**、"async ✓"。 * 框架：SpikingJelly \[32]。 ### 关键结果（逐字） **Table I — DVS128-Gesture** | 方法 | Spiking | Params (M) | Prec. | Memory (MB) | Energy (mJ) | Activity (%) | Acc. (%) | | - | - | - | - | - | - | - | - | | Event-SSM \[14] | ✗ | 4.19 + 0.80 | FP32 | 20.00 | 158.8\* | 100 | 97.7 | | CIM-SSM \[16] | ✗ | 4.19 + 0.81 | INT8 | 5.00 | 23.7\* (下划线=次优) | 100 | 97.3 | | **REACT** | ✓ | 4.19 + **0.04** | FP32 | 16.14 | 50.6 | 31.1 | **97.6** | | **REACT** | ✓ | 4.19 + **0.04** | INT8 | 4.04 | **7.7** | 31.1 | 97.2 | **Table II — EvTTC** | 方法 | 类别 | 模态 | Params | Prec. | e\_TTC (%) | Target-free | Async. | Time (ms) | Energy (mJ) | | - | - | - | - | - | - | - | - | - | - | | Image's FoE \[33] | Geometric | Frame | - | - | **3.51** | ✗ | ✗ | - | - | | CMax \[19] | Geometric | Event | - | - | 9.11 | ✗ | ✗ | ≥3644 | - | | Garl-TTC \[25] | Learned | Event+Frame | 23.5M\* | FP32 | **9.44** | ✗ | ✗ | 113 | 197\* | | STRTTC \[20] | Geometric | Event | - | - | 11.22 | ✗ | ✗ | ≥25 | - | | FAITH \[22] | Geometric | Event | - | - | 40.97 | ✗ | ✗ | ≥155 | - | | ETTCM \[23] | Geometric | Event | - | - | 50.38 | ✗ | ✗ | 115 | - | | **REACT** | Learned | Event | **3,7M** | FP32 | **9.59 ± 0.74** | ✓ | ✓ | **4.6** | 18.5 | | **REACT** | Learned | Event | **3,7M** | INT8 | **10.26 ± 0.81** | ✓ | ✓ | **4.6** | **2.8** | > REACT 距最佳学习方法（Garl-TTC 9.44）**0.15 percentage points**，且不需要目标先验。Image's FoE 3.51 更低，但它在 rectified frames 上离线运行、给定目标、不报告推理时间，因此不构成实时预算约束。 **Table III — 零样本迁移 FCWD** | 评测 | e\_TTC ↓ (%) | MiD\_w ↓ | | - | - | - | | EvTTC（in-domain） | **9.322** | **0.0986** | | FCWD（zero-shot） | **25.7** | **0.246** | **Anytime accuracy**：清空状态后只喂 δ ms 流，记录查询时刻的中位误差——**100 ms** 流给出 **27%** 中位误差（这正是两帧法如 Garl-TTC 拿到第二帧的最早时刻），**200 ms** 给出 **20%**，**约 400 ms** 达到峰值 **12.9%**，之后退化到 **21%**。原因是状态与读出中没有任何形式的 reset，预测随时间被细化。 **量化**：从收敛的 FP32 模型出发，仅把突触权重与神经元参数转为 INT8（激活已是二值），微调 150 epochs，全程保留 FP32 副本用于权重更新。三个种子上 DVS-Gesture 得 **97.2 ± 0.4%**，FP32 为 **97.6 ± 0.3%**。 **消融 1 — 目标裁剪 vs 全景（EvTTC held-out）**：e\_TTC 从全帧 **34.2%** 降到目标裁剪 **28.3%**。→ REACT 与已发表结果差距的**相当一部分来自目标定位，而非时间估计**。 **消融 2 — 神经元模型（EvTTC，架构/事件预算/训练计划一致）** | 神经元 | 状态 | e\_TTC (%) ↓ | MiD\_w ↓ | | - | - | - | - | | LIF | real, fixed decay, **reset** | 116.9 | 0.681 | | LIF, no reset | real, fixed decay | 84.1 | 0.52 | | SiLIF \[9] | real, learned decay | 11.42 | 0.12 | | **C-SiLIF \[9]** | **complex, oscillatory** | **9.3** | **0.09** | > 注意：Table IV 的 9.3% 与 Table II 的 9.59 ± 0.74%（5 seeds）、Table III 的 9.322 是**不同评测配置下的数字**，不可互相替代引用。 *** ## 6 · 能力与失败模式 ### 能做 * **逐事件、无累积**地更新状态与预测；任意时刻可查询（anytime），无需等窗口关闭。 * **无目标框、全视场**的 TTC 回归，并同时输出 log η 空间的不确定度 s\_i。 * **纯脉冲计算**：块边界传输的都是二值 spike，所有突触操作退化为累加，为神经形态硬件留出通路。 * 零样本跨数据集（FCWD）跨传感器/驾驶条件给出**定性一致的收敛轨迹**：目标远时不可靠，接近时收敛。 * INT8 量化后精度仅小幅下降（DVS-Gesture 97.6 → 97.2），估算能耗降约 6.6×（18.5 → 2.8 mJ）。 * 参数量上 SSM 部件极紧凑：4.19 + **0.04** M，比 Event-SSM 的 SSM 部件少 **26%**。 ### 不能做 / 失败在哪 1. **多目标/有干扰物的全景场景**：无目标框时 e\_TTC 34.2%，裁到目标 28.3%。论文自己的诊断是——REACT 的差距相当程度来自**缺少定位前端**，而非时间建模。 2. **域迁移**：FCWD 零样本 25.7% vs in-domain 9.322%，MiD\_w 0.246 vs 0.0986。论文承认"远目标处不可靠"。 3. **长时程退化**：anytime 曲线在 \~400 ms 达到 12.9% 峰值后**退化到 21%**——没有任何 reset 既是优势也是负担。 4. **几何/解析基线在纯精度上仍占优**：Image's FoE 3.51% 远低于 9.59%，只是不可实时。 5. **能耗只是解析估算**：45 nm 代理模型 + 实测发放率，**未在真实神经形态硬件上验证**（作者在 Discussion 中明确要求后续验证）。 6. **没有事件率/吞吐/FPS 报告**，也没有真实芯片的延迟-能耗实测曲线。 ### 隐含假设 (Hidden Assumptions) | # | 假设 | 若被打破 | | - | - | - | | A1 | **场景中存在一个主导性的接近目标**，其膨胀信号在全景事件流中是最强的 | 多目标 / 强干扰 → 回归到错误目标（呼应 34.2% vs 28.3%） | | A2 | **事件率携带可观的时间信息** —— 静止或低纹理场景几乎不产生事件 | 无事件 = 无状态更新 = 预测冻结在最后一次更新值；模型不会"知道"自己已过期 | | A3 | **∆t\_k 是"物理"间隔** | 但 EvTTC 管道施加了 8× 空间下采样、10 ms 不应期、16× decimation；这些都会改变间隔分布，"physical" 是相对的 | | A4 | **接近是单调的**（TTC 单调下降） | EvTTC 全部为碰撞场景，MiD\_w 明确**排除负样本项**；不确定度头 s\_i 从未被"永不碰撞"的情形校准过 | | A5 | **10 ms 不应期内的重复事件是噪声** | 逐粗像素+极性固定 10 ms 是手工超参；换分辨率/下采样因子后需重调 | | A6 | **8× 下采样后 TTC 信号仍存活** | 160×90 对 FoE 式全局膨胀够用，对远处小目标可能已经抹掉 | | A7 | **时间表示是传感器无关的** | 零样本 25.7% 说明只部分成立 | | A8 | **INT8 只量化权重与神经元参数** | 复数状态 u ∈ ℂ 与 exp 仍在高精度域；硬件需支持复状态更新与指数运算 | | A9 | **能耗代理只算 SRAM 读写 + 累加** | 未计漏电、互连、以及 embedding 表的片外访存；若表驻留片外，每事件 D 次字读取的成本会远超估算 | | A10 | **训练并行扫描 ≡ 部署串行递推** | 数学上等价（Eq. 6），但数值累积误差、并行/串行浮点求和顺序差异未被讨论 | *** ## 7 · 与相关工作对比 | 维度 | Event-SSM \[14] | CIM-SSM \[16] | Garl-TTC \[25] | ETTCM \[23] / CMax \[19] / STRTTC \[20] / FAITH \[22] | REACT | | - | - | - | - | - | - | | 处理粒度 | 逐事件（但层间为实值） | 逐事件（compute-in-memory） | 帧 + 事件，需累积 | 事件累积 | **逐事件，全脉冲** | | 层间激活 | 实值 | 实值 | — | — | **二值 spike** | | SSM 部件参数 | 0.80 M | 0.81 M | 23.5M\*（ResNet-50 主干） | — | **0.04 M**（DVS）/ 3.7M 总（EvTTC，embedding 主导） | | 时间建模 | 离散 bin | 离散 bin | 固定积分窗 | 几何/运动模型拟合 | **物理 ∆t 驱动的连续时间动力学** | | 目标先验 | 分类任务无需 | 分类任务无需 | **需 bbox** | **需 bbox** | **无需** | | 端到端延迟 | — | — | 113 ms | 115 / ≥3644 / ≥25 / ≥155 ms | **4.6 ms** | | DVS128-Gesture | 97.7% | 97.3% | — | — | 97.6%（FP32）/ 97.2%（INT8） | | EvTTC e\_TTC | — | — | 9.44% | 50.38 / 9.11 / 11.22 / 40.97% | **9.59 ± 0.74%** | | 能量 | 158.8 mJ\* | 23.7 mJ\* | 197 mJ\* | 未报告 | **18.5 → 2.8 mJ**（INT8） | **谱系定位三条线**： 1. **SNN × SSM 交叉**：\[7,8] 做 SSM 的脉冲化；\[9–13] 从 SSM 参数化导出神经元（SiLIF、自适应 LIF、resonate-and-fire）。REACT 的贡献不是新神经元，而是**保留 C-SiLIF 的公式、换掉它的驱动量**——把固定 bin 换成物理 ∆t\_k。 2. **原始事件流的 SSM**：\[14,15,16] 已能直接吃事件流，但计算仍是**稠密的**（每事件都要更新全模型状态），没有利用稀疏事件驱活动。 3. **事件 TTC**：传统为模型驱动（聚焦膨胀点/运动参数/深度）\[17,19–23]，或逐事件更新的滤波但带手设观测模型 \[24]；学习型极少，Garl-TTC 是唯一专用 object-level 框架。 > **面试 Tip**：被问到"REACT 相比 Event-SSM 新在哪"，别说"更低的延迟"。正确答法是三段：(1) Event-SSM 虽然逐事件输入，但**层间传播实值激活**且时间建模仍是离散 bin，所以既上不了纯脉冲硬件，也没把物理时间当真值；(2) REACT 的关键改动只有一处——**把 C-SiLIF 的固定离散化步长换成物理 ∆t\_k**，并**取消发放后的状态 reset**，于是递推同时具备"事件原生时间尺度"和"可结合 → 训练可并行"两个性质；(3) 代价是 embedding 表 O(2HW·D) 成为参数与访存主成本，论文自己承认这是 scalable 方向上的瓶颈。若追问"那为何不用更精确的几何法"——答：几何法精度更高（Image's FoE 3.51%）但需要 rectified frames、目标先验、离线运行且不报告推理时间，不能约束实时预算。 *** ## 8 · GitHub-validated pitfalls (atlas 联动, 2026-09-18) **仓库信号核查**：本文正文中**未出现任何 github.com 链接或仓库地址**，仅在 Contributions 末尾写明 "Code will be made publicly available upon publication." 按规则，此处判定为 **repo early-release / 暂无 issue 流**。因此以下 pitfall **不由 issue 验证**，而是**从 §6 的失败模式 + §1/§2 的方法约束机械推导**得出。**未经验证的 issue 编号、commit、维护者引文一律不写。** *** **P1 — 分辨率与 embedding 表：参数与访存随 2HW 线性膨胀** * **推导链**：§6 失败模式「无目标框全景 + 8× 下采样 160×90」 ← 方法约束「事件被归约为通道索引 j\_k = p\_k·HW + y\_k·W + x\_k（Eq. 1），查表 E ∈ ℝ^\{2HW×D}」。 * **机制**：EvTTC 下采样到 160×90 时，表为 2×90×160 × 128 = **3.7M 参数**，而 SSM 块只有 0.04M。若直接在 Prophesee 原生 1280×720 上做，行数变为 2×720×1280 = 1.84M 行，×D=128 → **约 236M 参数**，是当前 3.7M 的 \~64 倍。论文 Discussion 亦自认 "the embedding remains a major source of parameters and scales with sensor resolution"。 * **工程后果**：串行部署下每事件需 D 次字读取（Sec. IV-F 明确计入）。表若无法常驻片上 SRAM，能耗估算的 45 nm 代理模型会系统性低估。论文建议的缓解方向是 **factorized / coordinate-based embedding**。 **P2 — 池化开关直接决定每事件能耗，且与吞吐耦合** * **推导链**：§6 失败模式「能量随事件数线性缩放、未报告事件率/吞吐」 ← 方法约束「DVS128-Gesture 池化 ×32，**EvTTC 不池化**；部署严格串行、每事件一次状态更新」。 * **机制**：不池化保住了 EvTTC 的逐事件时间分辨率，代价是**每事件估算能耗为 DVS-Gesture 的 2.7×**（563 nJ/event）。在串行部署下，墙体时钟延迟 ≈ 单事件处理时间 × 事件率，而事件率随场景运动强度剧烈波动。 * **工程后果**：任何试图把 REACT 搬到更高分辨率/更高事件率传感器的尝试，都会同时触发 P1（表更大 → 每事件访存更贵）和 P2（不池化 → 每事件更多次状态更新）。两条叠加，是这条路线最现实的落地阻力。 **P3 — "物理"间隔并不物理：预处理链条会改写 ∆t 分布** * **推导链**：§6 失败模式「零样本 FCWD 25.7% 远差于 in-domain 9.322%」 ← 方法约束「δ\_k = e^ρ·∆t\_k，**逐神经元可学习 e^ρ 在训练中学到的时间尺度**；而 EvTTC 管线施加 8× 空间下采样 + 10 ms 不应期 + 16× decimation」。 * **机制**：论文反复强调 ∆t\_k 是 "physical inter-event interval" 并以此论证 event-by-event 的合法性。但实际进入网络的间隔已经被三层预处理改写。e^ρ 学到的是**这条特定预处理管线后的间隔统计**。换传感器（FCWD）或换下采样/不应期设定 → 间隔分布平移 → α\_k 的衰减与相位整体错位（见 §3 演示 C：16× 的 δ\_k 偏差即足以破坏时间标定）。 * **工程后果**：部署时必须把下游预处理参数（下采样因子、不应期、是否 decimation、传感器偏置设置）视为**模型的一部分**，不能当成自由可调的工程旋钮。论文把 10 ms 不应期作为固定超参给出，但未提供其敏感性分析。 *** [← Back to tracking README](./README.md) > **Status**：v0.1 · 基于 arXiv 全文（2609.19204v1, 2026-09-16）· 未在真机复现的数字标 `UNVERIFIED` > **本笔记的 UNVERIFIED 标注**：§3 全部数值为玩具设定示范，非论文数据；§6/§8 中"236M 参数"等推算为基于 §2 公式与 §5 下采样因子的算术外推，属本笔记推导，非论文报告值。 [//]: # "" This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.