SNN视频流任务调研

帧间信息传递

1. RNN like：维护一个隐状态，每次输入的时候更新这个状态，相当于保存了之前所有状态的融合
2. Transformer
   1. cross attention like：Q 是当前输入，KV 是之前 memory 保存的东西
   2. self attention like：把当前输入拼接到之前的 memory
3. multi frame

1. 视频流任务

1. 目标检测
   1. 在视频流中进行目标检测和分类的任务，用单帧的模型一般就可以做的比较好，因为现在的单帧目标检测模型效果就很好
   2. 强调视频流一般是考虑检测的鲁棒性（连续帧之间目标检测不容易闪烁）和实时性（FPS 要求）
2. 目标跟踪
   1. 跟踪目标，尤其是多目标跟踪
   2. 一般会要求在目标移动过程中被遮挡或者短暂消失也能预测到位置
3. 视频生成
   1. 有监督或者无监督地生成视频
   2. 现在比较火的是给定文字 Prompt + 初始帧或者只有 prompt，生成一段视频

自动驾驶相关的任务：

1. 语意分割
   1. 数据集如 MIT DriveSeg，一般是视频 + 语意分割标记
2. Occupancy Forecasting
   1. 预测车辆周围的空间在未来一段时间中是否会被占用，类似轨迹预测等
3. 目标跟踪
   1. 多目标跟踪 + 分割，数据集有 camera only 的，也有视频 + 点云的
4. BEV 生成任务
   1. 从单个/多个 cam 或者 cam + 雷达生成 BEV
   2. 有时生成的 BEV 还是被语意分割后的
5. 车道线检测
6. 端到端自动驾驶
7. 仿真数据合成

事件相机/DVS 相关的任务

很多种多样，感觉主要是利用事件信息做视觉信息的补充，比如直接补充 cam 的信息，或者作为 cam-Lidar/红外的一种中间状态，补充信息完善之前的任务

1. SFOD: Spiking Fusion Object Detector，SNN+Event Camera 的目标检测，CVPR2024

实际上是把事件相机输出的信息首先按照 frame 组织，利用 CNN（DenseNet）提取了特征，再将特征通过 Spiking Fusion Module 输入到 SPES 中，感觉有点绕远路的感觉。并且没有多帧之间的处理。

其他工作

1. Efficient and Effective Time-Series Forecasting with Spiking Neural Networks，微软的用 SNN 做时间序列预测的工作，ICML2024

1. Autaptic Synaptic Circuit Enhances Spatio-temporal Predictive Learning of Spiking Neural Networks，北大的神经元改进工作，ICML2024

文章表示 LIF 这样的 neuron 只适合静态识别这样的场景，在学习时空预测这样的任务的时候表现不好。文章提出的 STC-LIF

引入了生物学中的自突触，相当于增加了参数，用于调节历史信息（膜电位）和当前信息（输入电流）的权重。Leakage 参数不再是一个单独的指数/线性泄露，而是根据 neuron 自己以及相邻 neuron 上一个时刻的输出。

STC-LIF 的 Neuron 可以表示为：

其中$\odot$是 Hadamard 积，$\gamma, \beta$分别是轴突 - 树突电路调节因子和轴突 - 胞体调节因子。

有一个比较有趣的结论：使用 LIF，但是训练的时候打乱帧的顺序，不会导致 LIF 的性能下降，证明 LIF 很有可能没有学习到时间顺序上的关系，但是本文提出的 STC-LIF 则出现了性能下降，证明这种 Neuron 学习到了时间尺度上的信息。

1. Point-to-Spike Residual Learning for Energy-Efficient 3D Point Cloud Classification，安徽大学的工作，在输入电流上和多个 neuron 组织的残差连接

最终的方向

验证 SNN 在 OpenAI Gym 这样的时序输入下，” First Arrival Control” 的 latency 低于传统 ANN 的这个 insight 是否能立住。