标签: 算法

所有带有此标签的文章 "算法".

• DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression

  发布于: 2026年9月17日

  8,463 字 · 约 31 分钟

  DeepSeek V4.1 Flash 的技术报告。

• Full-bandwidth Transformer

  发布于: 2026年8月17日

  3,750 字 · 约 14 分钟

  尝试解决 Tokenizer 信息瓶颈问题的工作，最近在看一些和 Latent 有关的工作。

• SeeDNorm: Self-Rescaled Dynamic Normalization

  发布于: 2026年7月1日

  3,002 字 · 约 11 分钟

  有实验有理论，主要是想把 RMSNorm 丢掉的长度信息用温和的方式补充回去，看起来效果也还可以。实验里面有小模型测试的东西，之后可以学一下他们的 setup。另外里面关于方差的一些分析感觉可以挪用到 AsyncT 上去。

• Rethinking Attention: Polynomial Alternatives to Softmax in Transformers

  发布于: 2026年6月16日

  1,706 字 · 约 6 分钟

  作者认为 softmax 有效是因为它将 Attention 矩阵的 Frobenius 范数控制在了 O (sqrt (N)) 量级，从而稳定了训练，因此提出用多项式激活代替 softmax、在期望意义上实现相似的范数控制。理论推完发现这文章没中，ICLR2026 得分 2222，一下子就不想看下去了。感觉实验和理论都不是很好。

• Attention Residuals

  发布于: 2026年3月18日

  8,320 字 · 约 29 分钟

  Kimi 团队关于 Residual Addition 的扩展。看起来某种意义上算是复杂的拓扑结构，说不定在现在的硬件上会有优势？

• A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training

  发布于: 2026年2月26日

  5,673 字 · 约 21 分钟

  Qwen 团队，分析 LLM 中的 Outliers 是如何产生的、有什么影响。

• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free

  发布于: 2025年12月3日

  3,666 字 · 约 14 分钟

  NIPS2025 Best Paper。Qwen 的。实验实在是过于 solid 了，真有钱啊。

• Nested Learning: The Illusion of Deep Learning Architectures

  发布于: 2025年11月8日

  3,565 字 · 约 13 分钟

  谷歌新作，号称 “深度学习新范式”。提到了异步，具体指的是让模型靠近输入的位置的更新频率高于靠后的位置，这个思路和之前 Sakana AI 的那个文章有点像。但文章里面的东西感觉全都是 Fast Weight Programming 的内容，arxiv 的文章全文也一直没挂出来。

• Kimi Linear: An Expressive, Efficient Attention Architecture

  发布于: 2025年11月4日

  4,873 字 · 约 18 分钟

  Kimi Linear，有比较详细的实验 & Scale Up。有 Linear Attention 可以去掉 RoPE 这个结论还是比较惊喜的。

• Parallelizing Linear Transformers with the Delta Rule over Sequence Length

  发布于: 2025年9月25日

  3,215 字 · 约 12 分钟

  DeltaNet