标签: 推理加速

所有带有此标签的文章 "推理加速".

• 初探AI Infra

  发布于: 2025年3月4日

  7,263 字 · 约 26 分钟

  趁最近找实习的机会学习、总结一下之前零散接触过的模型推理/训练加速的知识，还有一些 CUDA 编程的体系架构之类的内容。

• SparseRT: Accelerating Unstructured Sparsity on GPUs for Deep Learning Inference

  发布于: 2024年10月17日

  4,621 字 · 约 16 分钟

  GPU 上做 MM 相关的算子生成，利用 load balancing 和稀疏做加速，根据 model 生成 PTX 代码

• FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness

  发布于: 2024年3月7日

  2,032 字 · 约 8 分钟

  Flash Attention，利用硬件结构加速 Attention 计算速度、减少内存占用的算法。核心是 Tiling，Online Softmax 和 Kernel Fusion。

• Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference

  发布于: 2024年3月4日

  1,378 字 · 约 6 分钟

  谷歌的，第一篇完整跑通 interger-only 量化推理流程的工作。

• PowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU

  发布于: 2024年3月4日

  651 字 · 约 3 分钟

  From IPADS, 利用模型预测 LLM 中需要激活的 MoE or Neuron，减少资源消耗。