标签: 稀疏加速
所有带有此标签的文章 "稀疏加速".
-
Flash-LLM: Enabling Cost-Effective and Highly-Efficient Large Generative Model Inference with Unstructured Sparsity
更新于:VLDB2024，阿里的工作，看起来工程特别扎实。LLM任务上只通过对weight做sparse load就能在decode阶段获得3-4倍的提速。
-
Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention
更新于:ACL2025 Best Paper，DeepSeek新作。分层KV Cache提高稀疏度，在训练和推理阶段同时提高性能。
-
GPU上的SNN稀疏加速
更新于:把最近做的关于GPU上SNN稀疏加速的东西做一下总结，虽然不太成功。
-
HYTE: Flexible Tiling for Sparse Accelerators via Hybrid Static-Dynamic Approaches
更新于:ISCA2025，做稀疏数据流分块的，后半截没什么精力看了，现在的工作还没做稀疏编码。
-
Sparse Spiking Neural Network: Exploiting Heterogeneity in Timescales for Pruning Recurrent SNN
ICLR 2024 Spotlight, 利用Lyapunov Noise进行SNN Pruning。
-
Prosperity: Accelerating Spiking Neural Networks via Product Sparsity
更新于:HPCA在投的一篇SNN加速器文章，里面的“Product Sparsity”本质是减少相同内容的重复计算，和一般讨论的稀疏是两种不同的概念。
-
DeltaCNN: End-to-End CNN Inference of Sparse Frame Differences in Videos
更新于:利用CNN Layer的“线性”特征在帧之间做feature的差分，并且做了CUDA加速。和ViStream几乎一样的思路，能不能解决我们现在的问题？
-
Phi: Leveraging Pattern-based Hierarchical Sparsity for High-Efficiency Spiking Neural Networks
更新于:ISCA 2025, 基于结构化稀疏的SNN加速器。如果直接用LUT存，可能会出现需要保存的稀疏pattern数量太多，显存占用太严重，所以通过预先校准一级“结构化稀疏”，将Online Spike Activation变成一级可以完全用LUT算的L1 Sparse和稀疏度非常高的L2 Sparse。模仿一下idea搬到GPU上来做？
-
SparTA: Deep-Learning Model Sparsity via Tensor-with-Sparsity-Attribute
更新于:sparTA，带稀疏优化的DNN编译器，把tensor的稀疏性作为一种重要属性考虑到编译过程中，生成高效的代码。
-
SparseRT: Accelerating Unstructured Sparsity on GPUs for Deep Learning Inference
更新于:GPU上做MM相关的算子生成，利用load balancing和稀疏做加速，根据model生成PTX代码