标签: SNN
所有带有此标签的文章 "SNN".
-
Neuromorphic Principles for Efficient Large Language Models on Intel Loihi 2
更新于:ICLR2025 Workshop，基于HAQ实现的Matmul-Free SNN LLM（虽然只做了370M参数的实验）部署到Loihi2上，实现了相比于Qwen-500M 模型3\timesThroughput和2\times能效。但说实话文章内容关键点都没怎么讲，也没有什么特别很exciting的东西。
-
SpikingBrain-瞬息 1.0技术报告：原生国产自主可控类脑脉冲大模型
更新于:李国齐老师组的新工作技术报告。说实话，我并不觉得这是一个正经的SNN-LLM工作，感觉已经完全是Linear Attention国产化的工作了。很难评价。
-
GPU上的SNN稀疏加速
更新于:把最近做的关于GPU上SNN稀疏加速的东西做一下总结，虽然不太成功。
-
SNN on GPU
更新于:接下来要开始着手做这个SNN在GPU上的推理加速了，写一些笔记整理思路。
-
SpikeVideoFormer: An Efficient Spike-Driven Video Transformer with Hamming Attention and O(T) Complexity
用汉明距离替换Attention中的点乘操作，避免出现Spike错开的情况。中间的做法比较有趣，但是实验感觉做的一般般，尤其是claim了自己有硬件实现的情况下energy计算还用的是纯算法的计算，并且FPGA的具体实现也没有透露，说了也没有说清楚。精度没有超过ANN2SNN的SOTA。重点还是需要用一些其他的操作替换掉对SNN不适应的算子。
-
Sparse Spiking Neural Network: Exploiting Heterogeneity in Timescales for Pruning Recurrent SNN
ICLR 2024 Spotlight, 利用Lyapunov Noise进行SNN Pruning。
-
Prosperity: Accelerating Spiking Neural Networks via Product Sparsity
更新于:HPCA在投的一篇SNN加速器文章，里面的“Product Sparsity”本质是减少相同内容的重复计算，和一般讨论的稀疏是两种不同的概念。
-
Towards Scalable GPU-Accelerated SNN Training via Temporal Fusion
意义不明，用Layer-By-Layer写了一下LIF就没别的Contribution了，发在了一个叫做ICANN的会上。工作量也太小了。
-
Phi: Leveraging Pattern-based Hierarchical Sparsity for High-Efficiency Spiking Neural Networks
更新于:ISCA 2025, 基于结构化稀疏的SNN加速器。如果直接用LUT存，可能会出现需要保存的稀疏pattern数量太多，显存占用太严重，所以通过预先校准一级“结构化稀疏”，将Online Spike Activation变成一级可以完全用LUT算的L1 Sparse和稀疏度非常高的L2 Sparse。模仿一下idea搬到GPU上来做？
-
Temporal Flexibility in Spiking Neural Networks: Towards Generalization Across Time Steps and Deployment Friendliness
ICLR2025 Poster，似乎也在做Elastic inference？