归档

好像是 MICRO2026，ANN-SNN 混合稀疏加速器，Fig.1 的观察和统一 INT8 存储的设计还不错，但这里的 SNN core 更像一个 unary 编码的累加单元？

DeepSeek V4.1 Flash 的技术报告。

尝试解决 Tokenizer 信息瓶颈问题的工作，最近在看一些和 Latent 有关的工作。

有实验有理论，主要是想把 RMSNorm 丢掉的长度信息用温和的方式补充回去，看起来效果也还可以。实验里面有小模型测试的东西，之后可以学一下他们的 setup。另外里面关于方差的一些分析感觉可以挪用到 AsyncT 上去。

作者认为 softmax 有效是因为它将 Attention 矩阵的 Frobenius 范数控制在了 O (sqrt (N)) 量级，从而稳定了训练，因此提出用多项式激活代替 softmax、在期望意义上实现相似的范数控制。理论推完发现这文章没中，ICLR2026 得分 2222，一下子就不想看下去了。感觉实验和理论都不是很好。

最后一篇，主要囊括了 AsyncT 算子最终的 Hopper Specilized 版本算子介绍、一些最终效果的 breakdown，以及对接下来可以做的工作的一些分析。下一步要对训练做些优化了。

加速第二篇，主要是在 CUDA Kernel 上做更多的优化，反思之前的 Benchmarking 问题等。

笔记的第一部分，主要覆盖了一些 preliminaries，基础的 vllm 接入流程，以及简单的 triton 算子实现和最基础版本的 CUDA 算子实现。

Kimi 团队关于 Residual Addition 的扩展。看起来某种意义上算是复杂的拓扑结构，说不定在现在的硬件上会有优势？

Qwen 团队，分析 LLM 中的 Outliers 是如何产生的、有什么影响。

2025.

NIPS2025 Best Paper。Qwen 的。实验实在是过于 solid 了，真有钱啊。

谷歌新作，号称 “深度学习新范式”。提到了异步，具体指的是让模型靠近输入的位置的更新频率高于靠后的位置，这个思路和之前 Sakana AI 的那个文章有点像。但文章里面的东西感觉全都是 Fast Weight Programming 的内容，arxiv 的文章全文也一直没挂出来。

Kimi Linear，有比较详细的实验 & Scale Up。有 Linear Attention 可以去掉 RoPE 这个结论还是比较惊喜的。

AI Lab 关于” 广义 “LLM 推理加速的工作，包括 Linear Attention，Sparse Attention，Diffusion LLM，Applications 等。

ICLR2025 Workshop，基于 HAQ 实现的 Matmul-Free SNN LLM（虽然只做了 370M 参数的实验）部署到 Loihi2 上，实现了相比于 Qwen-500M 模型 3×Throughput 和 2× 能效。但说实话文章内容关键点都没怎么讲，也没有什么特别很 exciting 的东西。

DeltaNet

VLDB2024，阿里的工作，看起来工程特别扎实。LLM 任务上只通过对 weight 做 sparse load 就能在 decode 阶段获得 3-4 倍的提速。

李国齐老师组的新工作技术报告。说实话，我并不觉得这是一个正经的 SNN-LLM 工作，感觉已经完全是 Linear Attention 国产化的工作了。很难评价。

用 MLP 学习并代替 RAG 中 kNN 输出的概率分布。

ACL2025 Best Paper，DeepSeek 新作。分层 KV Cache 提高稀疏度，在训练和推理阶段同时提高性能。

把最近做的关于 GPU 上 SNN 稀疏加速的东西做一下总结，虽然不太成功。

T-MAC, 用 LUT 加速 BitNet 系列的工作，在 CPU 上跑，后续还有一个工作叫 T-MAN 是在移动端的高通 CPU 里面的 NPU 上跑 LUT 加速。

ISCA2025，做稀疏数据流分块的，后半截没什么精力看了，现在的工作还没做稀疏编码。

看看 Shift-Window Attention。

用汉明距离替换 Attention 中的点乘操作，避免出现 Spike 错开的情况。中间的做法比较有趣，但是实验感觉做的一般般，尤其是 claim 了自己有硬件实现的情况下 energy 计算还用的是纯算法的计算，并且 FPGA 的具体实现也没有透露，说了也没有说清楚。精度没有超过 ANN2SNN 的 SOTA。重点还是需要用一些其他的操作替换掉对 SNN 不适应的算子。

ICLR 2024 Spotlight, 利用 Lyapunov Noise 进行 SNN Pruning。

HPCA 在投的一篇 SNN 加速器文章，里面的 “Product Sparsity” 本质是减少相同内容的重复计算，和一般讨论的稀疏是两种不同的概念。

意义不明，用 Layer-By-Layer 写了一下 LIF 就没别的 Contribution 了，发在了一个叫做 ICANN 的会上。工作量也太小了。

CVPR2018， DiffEncode + 稀疏加速，但感觉太老了。

NIPS2022 上一篇比较有影响力的论文，对 GAN 和扩散模型做推理加速的工作，提出了 Spatially Sparse Inference，仅在被编辑区域上稀疏地应用卷积滤波器，同时对未编辑区域复用缓存的特征

多分支 CNN，会不会有一些分支能学到更加相似的帧间变化？

利用 CNN Layer 的 “线性” 特征在帧之间做 feature 的差分，并且做了 CUDA 加速。和 ViStream 几乎一样的思路，能不能解决我们现在的问题？

ISCA 2025, 基于结构化稀疏的 SNN 加速器。如果直接用 LUT 存，可能会出现需要保存的稀疏 pattern 数量太多，显存占用太严重，所以通过预先校准一级 “结构化稀疏”，将 Online Spike Activation 变成一级可以完全用 LUT 算的 L1 Sparse 和稀疏度非常高的 L2 Sparse。模仿一下 idea 搬到 GPU 上来做？

ICLR2025 Poster，似乎也在做 Elastic inference？

对比学习 SimCLR 的论文。对比学习能对齐每一层的 Feature 吗？

QKFormer，NIPS2024 Spotlight，把 Direct Training SNN 在 ImageNet 和 CIFAR 上的点刷的特别高，感觉之后要做就避不开它。

何恺明新作，用 DyT 代替 Norm，把同步操作变成了 Element Wise 的操作。新文章里面有用到，学习一下。

最近做 SNN 训练的过程中在研究怎么可视化训练过程中的 Loss，在想新加入的方法会不会对模型的 Loss Landscape 有影响，一般讲 Loss Landscape 怎么做可视化的文章都会引用这篇文章对 Loss Landscape 的分析和做法。

最近 Demo 很火的 TTT 视频生成，可以生成 60s 级别的长视频。学习一下 TTT 的东西，SNN 的 On-Chip Learning 和 TTT 能不能做结合？

这两天在弄 SNN 训练的事情，需要验证一下用的 Surrogate Gradient 的准确性，老师介绍读一下这篇文章，用 Evolution Strategy 验证一下现在梯度估计的准确性。

sparTA，带稀疏优化的 DNN 编译器，把 tensor 的稀疏性作为一种重要属性考虑到编译过程中，生成高效的代码。

Diffusion Transformer.

趁最近找实习的机会学习、总结一下之前零散接触过的模型推理/训练加速的知识，还有一些 CUDA 编程的体系架构之类的内容。

使用大 kernel DS 卷积替代 self-attention。字节新加坡的工作。

事件相机开源框架。

发在 Nature 上的一篇 review，讨论了 SNN/神经模态计算社区现在面临的一些问题、挑战，和一些可能的发展方向。

从 TTT 改进而来的新架构，尝试通过 TTT 的方式改进模型的记忆能力。

Meta 的 SAM。

脉冲 Diffusion Transformer，里面的 Transformer 的结构是 RWKV 的。

2024.

ConvNext + UNet，发在一个 C 刊上，借鉴学习一下，想想我的模块怎么设计。

NIPS2024。主要研究的是静态任务中，推理前膜电位初始值设置对精度的影响。

ConvNext 续作，引入了 MAE。

CVPR2022。Meta 的工作，在 ViT 相关工作占视觉大头的情况下重构纯卷积的网络，并且取得了很好的效果。

改进 RNN，便于 scale up

GPU 上做 MM 相关的算子生成，利用 load balancing 和稀疏做加速，根据 model 生成 PTX 代码

ICRA2024 的论文，用 Temporal Encoding 的 STDP Direct Training 的 SNN 做场景识别的任务。太简单了

通过设计提高训练速度，降低显存占用的工作。

SNN+Mamba 完成 TVG 时序视频定位任务，哈工大和北大的工作。

SpikeYOLO，中科院自动化所的工作，ECCV2024 Oral

学习一下视频 stream 上任务的一些工作，大概计划一下后续的工作。

游康师兄的工作，ANN2SNN 的 Transformer。

北大惊蛰，非常有影响力的 SNN 框架，实现了从数据编码、数据集整合到训练、硬件部署的全流程，SNN 的 torch 级别的工作。发表在 Science Advanced 上。

LLM 的 Interger-Only PTQ 量化工作。

程序语言理论课程的复习笔记。

证明 MIN-DNF 问题是完全的

对 ViT 的纯整型量化，W8A8，中科院 2023 ICCV

EAGL，声称只要用 CPU 在 3 秒内就能完成对 ResNet 的量化，效率远高于 HAWQ 等其他传统的方法

Nature 上关于 SNN 的综述

Flash Attention，利用硬件结构加速 Attention 计算速度、减少内存占用的算法。核心是 Tiling，Online Softmax 和 Kernel Fusion。

一些关于存内计算的验证与思考。

谷歌的，第一篇完整跑通 interger-only 量化推理流程的工作。

SNN 部署的硬件设计 or evaluation benchmark。

From IPADS, 利用模型预测 LLM 中需要激活的 MoE or Neuron，减少资源消耗。

GEMM data mapping 的介绍，主要是各种脉动阵列相关的加速器。

模型量化经典方法，基于黑森矩阵，一种二阶信息的量化方法。

BISMO 优化。

TVM。

Roofline model，描述一个系统的性能是受内存制约还是受计算制约。

图神经网络在 EDA 领域应用的综述。

VTA。

BISMO。

基于 Metalift，做的还很不完善。