Tag: LLM

All the articles with the tag "LLM".

• Speed Always Wins: A Survey on Efficient Architectures for Large Language Models

  Updated:2025年10月16日 at 15:15 | Published: 2025年10月7日 at 17:05

  AI Lab关于”广义“LLM推理加速的工作，包括Linear Attention，Sparse Attention，Diffusion LLM，Applications等。

• Neuromorphic Principles for Efficient Large Language Models on Intel Loihi 2

  Updated:2025年9月29日 at 00:39 | Published: 2025年9月28日 at 23:32

  ICLR2025 Workshop，基于HAQ实现的Matmul-Free SNN LLM（虽然只做了370M参数的实验）部署到Loihi2上，实现了相比于Qwen-500M 模型3\timesThroughput和2\times能效。但说实话文章内容关键点都没怎么讲，也没有什么特别很exciting的东西。

• Flash-LLM: Enabling Cost-Effective and Highly-Efficient Large Generative Model Inference with Unstructured Sparsity

  Updated:2025年9月24日 at 15:07 | Published: 2025年9月23日 at 13:50

  VLDB2024，阿里的工作，看起来工程特别扎实。LLM任务上只通过对weight做sparse load就能在decode阶段获得3-4倍的提速。

• SpikingBrain-瞬息 1.0技术报告：原生国产自主可控类脑脉冲大模型

  Updated:2025年9月15日 at 14:34 | Published: 2025年9月15日 at 10:46

  李国齐老师组的新工作技术报告。说实话，我并不觉得这是一个正经的SNN-LLM工作，感觉已经完全是Linear Attention国产化的工作了。很难评价。

• MLP Memory: Language Modeling with Retriever-pretrained External Memory

  Published:2025年8月25日 at 14:22

  用MLP学习并代替RAG中kNN输出的概率分布。

• Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention

  Published:2025年8月14日 at 16:04

  ACL2025 Best Paper，DeepSeek新作。分层KV Cache提高稀疏度，在训练和推理阶段同时提高性能。

• T-MAC: CPU Renaissance via Table Lookup for Low-Bit LLM Deployment on Edge

  Published:2025年7月7日 at 16:23

  T-MAC, 用LUT加速BitNet系列的工作，在CPU上跑，后续还有一个工作叫T-MAN是在移动端的高通CPU里面的NPU上跑LUT加速。

• Transformers without Normalization

  Published:2025年5月7日 at 16:09

  何恺明新作，用DyT代替Norm，把同步操作变成了Element Wise的操作。新文章里面有用到，学习一下。

• Visualizing and Understanding the Effectiveness of BERT

  Published:2025年5月6日 at 10:21

  最近做SNN训练的过程中在研究怎么可视化训练过程中的Loss，在想新加入的方法会不会对模型的Loss Landscape有影响，一般讲Loss Landscape怎么做可视化的文章都会引用这篇文章对Loss Landscape的分析和做法。

• 初探AI Infra

  Updated:2025年3月11日 at 18:30 | Published: 2025年3月4日 at 16:04

  趁最近找实习的机会学习、总结一下之前零散接触过的模型推理/训练加速的知识，还有一些CUDA编程的体系架构之类的内容。