标签: SNN
所有带有此标签的文章 "SNN".
-
NeuroFlex: Lossless Element-Level ANN-SNN Co-Execution for Efficient Sparse Inference
发布于:4,764 字约 18 分钟好像是 MICRO2026,ANN-SNN 混合稀疏加速器,Fig.1 的观察和统一 INT8 存储的设计还不错,但这里的 SNN core 更像一个 unary 编码的累加单元?
-
Neuromorphic Principles for Efficient Large Language Models on Intel Loihi 2
发布于:1,881 字约 7 分钟ICLR2025 Workshop,基于 HAQ 实现的 Matmul-Free SNN LLM(虽然只做了 370M 参数的实验)部署到 Loihi2 上,实现了相比于 Qwen-500M 模型 3×Throughput 和 2× 能效。但说实话文章内容关键点都没怎么讲,也没有什么特别很 exciting 的东西。
-
SpikingBrain-瞬息 1.0技术报告:原生国产自主可控类脑脉冲大模型
发布于:5,151 字约 18 分钟李国齐老师组的新工作技术报告。说实话,我并不觉得这是一个正经的 SNN-LLM 工作,感觉已经完全是 Linear Attention 国产化的工作了。很难评价。
-
GPU上的SNN稀疏加速
发布于:1,761 字约 7 分钟把最近做的关于 GPU 上 SNN 稀疏加速的东西做一下总结,虽然不太成功。
-
SpikeVideoFormer: An Efficient Spike-Driven Video Transformer with Hamming Attention and O(T) Complexity
发布于:2,030 字约 8 分钟用汉明距离替换 Attention 中的点乘操作,避免出现 Spike 错开的情况。中间的做法比较有趣,但是实验感觉做的一般般,尤其是 claim 了自己有硬件实现的情况下 energy 计算还用的是纯算法的计算,并且 FPGA 的具体实现也没有透露,说了也没有说清楚。精度没有超过 ANN2SNN 的 SOTA。重点还是需要用一些其他的操作替换掉对 SNN 不适应的算子。
-
Sparse Spiking Neural Network: Exploiting Heterogeneity in Timescales for Pruning Recurrent SNN
发布于:2,440 字约 9 分钟ICLR 2024 Spotlight, 利用 Lyapunov Noise 进行 SNN Pruning。
-
Prosperity: Accelerating Spiking Neural Networks via Product Sparsity
发布于:2,080 字约 8 分钟HPCA 在投的一篇 SNN 加速器文章,里面的 “Product Sparsity” 本质是减少相同内容的重复计算,和一般讨论的稀疏是两种不同的概念。
-
Towards Scalable GPU-Accelerated SNN Training via Temporal Fusion
发布于:979 字约 4 分钟意义不明,用 Layer-By-Layer 写了一下 LIF 就没别的 Contribution 了,发在了一个叫做 ICANN 的会上。工作量也太小了。
-
Phi: Leveraging Pattern-based Hierarchical Sparsity for High-Efficiency Spiking Neural Networks
发布于:3,759 字约 13 分钟ISCA 2025, 基于结构化稀疏的 SNN 加速器。如果直接用 LUT 存,可能会出现需要保存的稀疏 pattern 数量太多,显存占用太严重,所以通过预先校准一级 “结构化稀疏”,将 Online Spike Activation 变成一级可以完全用 LUT 算的 L1 Sparse 和稀疏度非常高的 L2 Sparse。模仿一下 idea 搬到 GPU 上来做?
-
Temporal Flexibility in Spiking Neural Networks: Towards Generalization Across Time Steps and Deployment Friendliness
发布于:1,849 字约 7 分钟ICLR2025 Poster,似乎也在做 Elastic inference?