标签: 算法

所有带有此标签的文章 "算法".

• MLP Memory: Language Modeling with Retriever-pretrained External Memory

  发布于: 2025年8月25日

  2,704 字 · 约 10 分钟

  用 MLP 学习并代替 RAG 中 kNN 输出的概率分布。

• Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

  发布于: 2025年6月23日

  1,927 字 · 约 7 分钟

  看看 Shift-Window Attention。

• SpikeVideoFormer: An Efficient Spike-Driven Video Transformer with Hamming Attention and O(T) Complexity

  发布于: 2025年6月17日

  2,030 字 · 约 8 分钟

  用汉明距离替换 Attention 中的点乘操作，避免出现 Spike 错开的情况。中间的做法比较有趣，但是实验感觉做的一般般，尤其是 claim 了自己有硬件实现的情况下 energy 计算还用的是纯算法的计算，并且 FPGA 的具体实现也没有透露，说了也没有说清楚。精度没有超过 ANN2SNN 的 SOTA。重点还是需要用一些其他的操作替换掉对 SNN 不适应的算子。

• SlowFast Networks for Video Recognition

  发布于: 2025年5月27日

  2,445 字 · 约 9 分钟

  多分支 CNN，会不会有一些分支能学到更加相似的帧间变化？

• DeltaCNN: End-to-End CNN Inference of Sparse Frame Differences in Videos

  发布于: 2025年5月23日

  3,722 字 · 约 13 分钟

  利用 CNN Layer 的 “线性” 特征在帧之间做 feature 的差分，并且做了 CUDA 加速。和 ViStream 几乎一样的思路，能不能解决我们现在的问题？

• Temporal Flexibility in Spiking Neural Networks: Towards Generalization Across Time Steps and Deployment Friendliness

  发布于: 2025年5月21日

  1,849 字 · 约 7 分钟

  ICLR2025 Poster，似乎也在做 Elastic inference？

• A Simple Framework for Contrastive Learning of Visual Representations

  发布于: 2025年5月20日

  2,687 字 · 约 10 分钟

  对比学习 SimCLR 的论文。对比学习能对齐每一层的 Feature 吗？

• QKFormer: Hierarchical Spiking Transformer using Q-K Attention

  发布于: 2025年5月8日

  1,450 字 · 约 6 分钟

  QKFormer，NIPS2024 Spotlight，把 Direct Training SNN 在 ImageNet 和 CIFAR 上的点刷的特别高，感觉之后要做就避不开它。

• Transformers without Normalization

  发布于: 2025年5月7日

  2,599 字 · 约 9 分钟

  何恺明新作，用 DyT 代替 Norm，把同步操作变成了 Element Wise 的操作。新文章里面有用到，学习一下。

• Visualizing and Understanding the Effectiveness of BERT

  发布于: 2025年5月6日

  2,034 字 · 约 8 分钟

  最近做 SNN 训练的过程中在研究怎么可视化训练过程中的 Loss，在想新加入的方法会不会对模型的 Loss Landscape 有影响，一般讲 Loss Landscape 怎么做可视化的文章都会引用这篇文章对 Loss Landscape 的分析和做法。