标签: 稀疏加速

所有带有此标签的文章 "稀疏加速".

• Flash-LLM: Enabling Cost-Effective and Highly-Efficient Large Generative Model Inference with Unstructured Sparsity

  发布于: 2025年9月23日

  5,027 字 · 约 18 分钟

  VLDB2024，阿里的工作，看起来工程特别扎实。LLM 任务上只通过对 weight 做 sparse load 就能在 decode 阶段获得 3-4 倍的提速。

• Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention

  发布于: 2025年8月14日

  5,155 字 · 约 18 分钟

  ACL2025 Best Paper，DeepSeek 新作。分层 KV Cache 提高稀疏度，在训练和推理阶段同时提高性能。

• GPU上的SNN稀疏加速

  发布于: 2025年7月13日

  1,761 字 · 约 7 分钟

  把最近做的关于 GPU 上 SNN 稀疏加速的东西做一下总结，虽然不太成功。

• HYTE: Flexible Tiling for Sparse Accelerators via Hybrid Static-Dynamic Approaches

  发布于: 2025年6月25日

  5,336 字 · 约 19 分钟

  ISCA2025，做稀疏数据流分块的，后半截没什么精力看了，现在的工作还没做稀疏编码。

• Sparse Spiking Neural Network: Exploiting Heterogeneity in Timescales for Pruning Recurrent SNN

  发布于: 2025年6月11日

  2,440 字 · 约 9 分钟

  ICLR 2024 Spotlight, 利用 Lyapunov Noise 进行 SNN Pruning。

• Prosperity: Accelerating Spiking Neural Networks via Product Sparsity

  发布于: 2025年6月11日

  2,080 字 · 约 8 分钟

  HPCA 在投的一篇 SNN 加速器文章，里面的 “Product Sparsity” 本质是减少相同内容的重复计算，和一般讨论的稀疏是两种不同的概念。

• DeltaCNN: End-to-End CNN Inference of Sparse Frame Differences in Videos

  发布于: 2025年5月23日

  3,722 字 · 约 13 分钟

  利用 CNN Layer 的 “线性” 特征在帧之间做 feature 的差分，并且做了 CUDA 加速。和 ViStream 几乎一样的思路，能不能解决我们现在的问题？

• Phi: Leveraging Pattern-based Hierarchical Sparsity for High-Efficiency Spiking Neural Networks

  发布于: 2025年5月21日

  3,759 字 · 约 13 分钟

  ISCA 2025, 基于结构化稀疏的 SNN 加速器。如果直接用 LUT 存，可能会出现需要保存的稀疏 pattern 数量太多，显存占用太严重，所以通过预先校准一级 “结构化稀疏”，将 Online Spike Activation 变成一级可以完全用 LUT 算的 L1 Sparse 和稀疏度非常高的 L2 Sparse。模仿一下 idea 搬到 GPU 上来做？

• SparTA: Deep-Learning Model Sparsity via Tensor-with-Sparsity-Attribute

  发布于: 2025年4月15日

  3,013 字 · 约 12 分钟

  sparTA，带稀疏优化的 DNN 编译器，把 tensor 的稀疏性作为一种重要属性考虑到编译过程中，生成高效的代码。

• SparseRT: Accelerating Unstructured Sparsity on GPUs for Deep Learning Inference

  发布于: 2024年10月17日

  4,621 字 · 约 16 分钟

  GPU 上做 MM 相关的算子生成，利用 load balancing 和稀疏做加速，根据 model 生成 PTX 代码