标签: LLM

所有带有此标签的文章 "LLM".

• Nested Learning: The Illusion of Deep Learning Architectures

  发布于: 2025年11月8日

  3,565 字 · 约 13 分钟

  谷歌新作，号称 “深度学习新范式”。提到了异步，具体指的是让模型靠近输入的位置的更新频率高于靠后的位置，这个思路和之前 Sakana AI 的那个文章有点像。但文章里面的东西感觉全都是 Fast Weight Programming 的内容，arxiv 的文章全文也一直没挂出来。

• Kimi Linear: An Expressive, Efficient Attention Architecture

  发布于: 2025年11月4日

  4,873 字 · 约 18 分钟

  Kimi Linear，有比较详细的实验 & Scale Up。有 Linear Attention 可以去掉 RoPE 这个结论还是比较惊喜的。

• Speed Always Wins: A Survey on Efficient Architectures for Large Language Models

  发布于: 2025年10月7日

  15,596 字 · 约 55 分钟

  AI Lab 关于” 广义 “LLM 推理加速的工作，包括 Linear Attention，Sparse Attention，Diffusion LLM，Applications 等。

• Neuromorphic Principles for Efficient Large Language Models on Intel Loihi 2

  发布于: 2025年9月28日

  1,881 字 · 约 7 分钟

  ICLR2025 Workshop，基于 HAQ 实现的 Matmul-Free SNN LLM（虽然只做了 370M 参数的实验）部署到 Loihi2 上，实现了相比于 Qwen-500M 模型 3×Throughput 和 2× 能效。但说实话文章内容关键点都没怎么讲，也没有什么特别很 exciting 的东西。

• Flash-LLM: Enabling Cost-Effective and Highly-Efficient Large Generative Model Inference with Unstructured Sparsity

  发布于: 2025年9月23日

  5,027 字 · 约 18 分钟

  VLDB2024，阿里的工作，看起来工程特别扎实。LLM 任务上只通过对 weight 做 sparse load 就能在 decode 阶段获得 3-4 倍的提速。

• SpikingBrain-瞬息 1.0技术报告：原生国产自主可控类脑脉冲大模型

  发布于: 2025年9月15日

  5,151 字 · 约 18 分钟

  李国齐老师组的新工作技术报告。说实话，我并不觉得这是一个正经的 SNN-LLM 工作，感觉已经完全是 Linear Attention 国产化的工作了。很难评价。

• MLP Memory: Language Modeling with Retriever-pretrained External Memory

  发布于: 2025年8月25日

  2,704 字 · 约 10 分钟

  用 MLP 学习并代替 RAG 中 kNN 输出的概率分布。

• Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention

  发布于: 2025年8月14日

  5,155 字 · 约 18 分钟

  ACL2025 Best Paper，DeepSeek 新作。分层 KV Cache 提高稀疏度，在训练和推理阶段同时提高性能。

• T-MAC: CPU Renaissance via Table Lookup for Low-Bit LLM Deployment on Edge

  发布于: 2025年7月7日

  2,949 字 · 约 11 分钟

  T-MAC, 用 LUT 加速 BitNet 系列的工作，在 CPU 上跑，后续还有一个工作叫 T-MAN 是在移动端的高通 CPU 里面的 NPU 上跑 LUT 加速。

• Transformers without Normalization

  发布于: 2025年5月7日

  2,599 字 · 约 9 分钟

  何恺明新作，用 DyT 代替 Norm，把同步操作变成了 Element Wise 的操作。新文章里面有用到，学习一下。