文章

全部文章列表。

• 2025

  发布于: 2026年1月19日

  2,097 字 · 约 8 分钟

  2025.

• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free

  发布于: 2025年12月3日

  3,666 字 · 约 14 分钟

  NIPS2025 Best Paper。Qwen 的。实验实在是过于 solid 了，真有钱啊。

• Nested Learning: The Illusion of Deep Learning Architectures

  发布于: 2025年11月8日

  3,565 字 · 约 13 分钟

  谷歌新作，号称 “深度学习新范式”。提到了异步，具体指的是让模型靠近输入的位置的更新频率高于靠后的位置，这个思路和之前 Sakana AI 的那个文章有点像。但文章里面的东西感觉全都是 Fast Weight Programming 的内容，arxiv 的文章全文也一直没挂出来。

• Kimi Linear: An Expressive, Efficient Attention Architecture

  发布于: 2025年11月4日

  4,873 字 · 约 18 分钟

  Kimi Linear，有比较详细的实验 & Scale Up。有 Linear Attention 可以去掉 RoPE 这个结论还是比较惊喜的。

• Speed Always Wins: A Survey on Efficient Architectures for Large Language Models

  发布于: 2025年10月7日

  15,596 字 · 约 55 分钟

  AI Lab 关于” 广义 “LLM 推理加速的工作，包括 Linear Attention，Sparse Attention，Diffusion LLM，Applications 等。

• Neuromorphic Principles for Efficient Large Language Models on Intel Loihi 2

  发布于: 2025年9月28日

  1,881 字 · 约 7 分钟

  ICLR2025 Workshop，基于 HAQ 实现的 Matmul-Free SNN LLM（虽然只做了 370M 参数的实验）部署到 Loihi2 上，实现了相比于 Qwen-500M 模型 3×Throughput 和 2× 能效。但说实话文章内容关键点都没怎么讲，也没有什么特别很 exciting 的东西。

• Parallelizing Linear Transformers with the Delta Rule over Sequence Length

  发布于: 2025年9月25日

  3,215 字 · 约 12 分钟

  DeltaNet

• Flash-LLM: Enabling Cost-Effective and Highly-Efficient Large Generative Model Inference with Unstructured Sparsity

  发布于: 2025年9月23日

  5,027 字 · 约 18 分钟

  VLDB2024，阿里的工作，看起来工程特别扎实。LLM 任务上只通过对 weight 做 sparse load 就能在 decode 阶段获得 3-4 倍的提速。

• SpikingBrain-瞬息 1.0技术报告：原生国产自主可控类脑脉冲大模型

  发布于: 2025年9月15日

  5,151 字 · 约 18 分钟

  李国齐老师组的新工作技术报告。说实话，我并不觉得这是一个正经的 SNN-LLM 工作，感觉已经完全是 Linear Attention 国产化的工作了。很难评价。

• MLP Memory: Language Modeling with Retriever-pretrained External Memory

  发布于: 2025年8月25日

  2,704 字 · 约 10 分钟

  用 MLP 学习并代替 RAG 中 kNN 输出的概率分布。