标签: LLM

所有带有此标签的文章 "LLM".

• Visualizing and Understanding the Effectiveness of BERT

  发布于: 2025年5月6日

  2,034 字 · 约 8 分钟

  最近做 SNN 训练的过程中在研究怎么可视化训练过程中的 Loss，在想新加入的方法会不会对模型的 Loss Landscape 有影响，一般讲 Loss Landscape 怎么做可视化的文章都会引用这篇文章对 Loss Landscape 的分析和做法。

• 初探AI Infra

  发布于: 2025年3月4日

  7,263 字 · 约 26 分钟

  趁最近找实习的机会学习、总结一下之前零散接触过的模型推理/训练加速的知识，还有一些 CUDA 编程的体系架构之类的内容。

• Titans: Learning to Memorize at Test Time

  发布于: 2025年1月15日

  5,255 字 · 约 19 分钟

  从 TTT 改进而来的新架构，尝试通过 TTT 的方式改进模型的记忆能力。

• Were RNNs All We Needed?

  发布于: 2024年10月31日

  1,194 字 · 约 5 分钟

  改进 RNN，便于 scale up

• I-LLM: Efficient Integer-Only Inference for Fully-Quantized Low-Bit Large Language Models

  发布于: 2024年6月17日

  1,219 字 · 约 5 分钟

  LLM 的 Interger-Only PTQ 量化工作。

• FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness

  发布于: 2024年3月7日

  2,032 字 · 约 8 分钟

  Flash Attention，利用硬件结构加速 Attention 计算速度、减少内存占用的算法。核心是 Tiling，Online Softmax 和 Kernel Fusion。

• PowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU

  发布于: 2024年3月4日

  651 字 · 约 3 分钟

  From IPADS, 利用模型预测 LLM 中需要激活的 MoE or Neuron，减少资源消耗。