长上下文的解码瓶颈在内存带宽
大模型处理长上下文时，每生成一个词元都要从高带宽内存里重新读取不断膨胀的键值（KV）缓存，这一步很快从计算瓶颈变成内存带宽瓶颈。跳过一部分缓存词元能减少流量，但固定窗口或简单淘汰规则常常丢掉后面查询真正需要的信息——这正是近年来稀疏注意力研究想要解决的核心矛盾。
ETA 让查询自己决定保留多少上下文
Elastic Threshold Attention（ETA）由微软研究院的 Themistoklis Haris、Henry Li 与 Maryam Karimzadehgan 提出，核心思路是：不再依赖人工设定的稀疏模式，而是由当前查询直接预测一个动态的、与上下文相关的阈值，按任务需要决定保留多少历史上下文。常规查询可以提高阈值多丢弃，遇到需要检索或推理的步骤则降低阈值、保留更多。
为了让模型从零学会这套策略，同时保证推理时近乎无损地剪枝 KV 缓存，ETA 在训练阶段用一道移位的 SiLU 门控对注意力 logits 进行筛选。论文从理论和实验两方面说明，这会形成一条平滑、近乎均匀的注意力下限，既抵消低于阈值部分的价值贡献，又顺带让初始词元上局部集中的注意力汇点消失，使稀疏解码更稳定。
用 Triton 内核把筛选压到 O(1)
为了把上述优势落到真实推理，作者在 Triton 中实现了融合式推理内核，利用缓存的几何—概率界，以 O(1) 时间对 KV 块做筛选。在语言建模、推理与 RULER 等基准上，一个 1.45B 的 ETA 模型达到或超过稠密模型的质量，并且在更高的稀疏度下优于 Quest、H2O、NSA 等快速解码方案。在约 85% 训练稀疏度、约 38% 活跃解码密度下，它仍能维持与稠密模型相当的表现。
能快多少
论文给出的内核在最长 512K 词元的上下文上，相较 FlashAttention-2 取得最高 2.15 倍的端到端加速；部分第三方摘要提到墙钟解码加速可达 2.5 倍。此外，ETA 还提供一套面向特定领域部署的离线校准算法：冻结每个注意力头的常数阈值以消去预测器开销，在不损失质量的前提下再削减 27% 的注意力计算量。
为什么这件事值得记一笔
长上下文已经从演示走向生产：代码库级检索、超长文档分析、多轮智能体轨迹都在把上下文越拉越长，而 KV 缓存的内存带宽正成为实打实的成本项。ETA 的价值不在于又提出一个花哨结构，而在于把「按查询动态决定稀疏度」这件事做成端到端可训练、并且能落到 O(1) 推理内核的方案——它让小模型在长上下文下既能保质量、又能显著省算力。对部署侧而言，这意味着同样的显存与带宽可以服务更长的上下文，或在同一上下文长度下承载更高并发。