文章

全部文章列表。

• Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention

  发布于: 2025年8月14日

  5,155 字 · 约 18 分钟

  ACL2025 Best Paper，DeepSeek 新作。分层 KV Cache 提高稀疏度，在训练和推理阶段同时提高性能。

• GPU上的SNN稀疏加速

  发布于: 2025年7月13日

  1,761 字 · 约 7 分钟

  把最近做的关于 GPU 上 SNN 稀疏加速的东西做一下总结，虽然不太成功。

• T-MAC: CPU Renaissance via Table Lookup for Low-Bit LLM Deployment on Edge

  发布于: 2025年7月7日

  2,949 字 · 约 11 分钟

  T-MAC, 用 LUT 加速 BitNet 系列的工作，在 CPU 上跑，后续还有一个工作叫 T-MAN 是在移动端的高通 CPU 里面的 NPU 上跑 LUT 加速。

• HYTE: Flexible Tiling for Sparse Accelerators via Hybrid Static-Dynamic Approaches

  发布于: 2025年6月25日

  5,336 字 · 约 19 分钟

  ISCA2025，做稀疏数据流分块的，后半截没什么精力看了，现在的工作还没做稀疏编码。

• Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

  发布于: 2025年6月23日

  1,927 字 · 约 7 分钟

  看看 Shift-Window Attention。

• SpikeVideoFormer: An Efficient Spike-Driven Video Transformer with Hamming Attention and O(T) Complexity

  发布于: 2025年6月17日

  2,030 字 · 约 8 分钟

  用汉明距离替换 Attention 中的点乘操作，避免出现 Spike 错开的情况。中间的做法比较有趣，但是实验感觉做的一般般，尤其是 claim 了自己有硬件实现的情况下 energy 计算还用的是纯算法的计算，并且 FPGA 的具体实现也没有透露，说了也没有说清楚。精度没有超过 ANN2SNN 的 SOTA。重点还是需要用一些其他的操作替换掉对 SNN 不适应的算子。

• Sparse Spiking Neural Network: Exploiting Heterogeneity in Timescales for Pruning Recurrent SNN

  发布于: 2025年6月11日

  2,440 字 · 约 9 分钟

  ICLR 2024 Spotlight, 利用 Lyapunov Noise 进行 SNN Pruning。

• Prosperity: Accelerating Spiking Neural Networks via Product Sparsity

  发布于: 2025年6月11日

  2,080 字 · 约 8 分钟

  HPCA 在投的一篇 SNN 加速器文章，里面的 “Product Sparsity” 本质是减少相同内容的重复计算，和一般讨论的稀疏是两种不同的概念。

• Towards Scalable GPU-Accelerated SNN Training via Temporal Fusion

  发布于: 2025年6月10日

  979 字 · 约 4 分钟

  意义不明，用 Layer-By-Layer 写了一下 LIF 就没别的 Contribution 了，发在了一个叫做 ICANN 的会上。工作量也太小了。

• Recurrent Residual Module for Fast Inference in Videos

  发布于: 2025年6月9日

  1,392 字 · 约 5 分钟

  CVPR2018， DiffEncode + 稀疏加速，但感觉太老了。