Posts

All the articles I've posted.

• Phi: Leveraging Pattern-based Hierarchical Sparsity for High-Efficiency Spiking Neural Networks

  Published:2025年5月21日 at 17:45

  ISCA 2025, 基于结构化稀疏的SNN加速器。如果直接用LUT存，可能会出现需要保存的稀疏pattern数量太多，显存占用太严重，所以通过预先校准一级“结构化稀疏”，将Online Spike Activation变成一级可以完全用LUT算的L1 Sparse和稀疏度非常高的L2 Sparse。模仿一下idea搬到GPU上来做？

• Temporal Flexibility in Spiking Neural Networks: Towards Generalization Across Time Steps and Deployment Friendliness

  Published:2025年5月21日 at 15:38

  ICLR2025 Poster，似乎也在做Elastic inference？

• A Simple Framework for Contrastive Learning of Visual Representations

  Published:2025年5月20日 at 13:42

  对比学习SimCLR的论文。对比学习能对齐每一层的Feature吗？

• QKFormer: Hierarchical Spiking Transformer using Q-K Attention

  Published:2025年5月8日 at 18:09

  QKFormer，NIPS2024 Spotlight，把Direct Training SNN在ImageNet和CIFAR上的点刷的特别高，感觉之后要做就避不开它。

• Transformers without Normalization

  Published:2025年5月7日 at 16:09

  何恺明新作，用DyT代替Norm，把同步操作变成了Element Wise的操作。新文章里面有用到，学习一下。

• Visualizing and Understanding the Effectiveness of BERT

  Published:2025年5月6日 at 10:21

  最近做SNN训练的过程中在研究怎么可视化训练过程中的Loss，在想新加入的方法会不会对模型的Loss Landscape有影响，一般讲Loss Landscape怎么做可视化的文章都会引用这篇文章对Loss Landscape的分析和做法。

• One-Minute Video Generation with Test-Time Training

  Published:2025年4月22日 at 18:17

  最近Demo很火的TTT视频生成，可以生成60s级别的长视频。学习一下TTT的东西，SNN的On-Chip Learning和TTT能不能做结合？

• Evolution Strategies as a Scalable Alternative to Reinforcement Learning

  Published:2025年4月21日 at 16:40

  这两天在弄SNN训练的事情，需要验证一下用的Surrogate Gradient的准确性，老师介绍读一下这篇文章，用Evolution Strategy验证一下现在梯度估计的准确性。

• SparTA: Deep-Learning Model Sparsity via Tensor-with-Sparsity-Attribute

  Published:2025年4月15日 at 11:06

  sparTA，带稀疏优化的DNN编译器，把tensor的稀疏性作为一种重要属性考虑到编译过程中，生成高效的代码。

• Scalable Diffusion Models with Transformers

  Published:2025年3月16日 at 16:29

  Diffusion Transformer.