TokenGate

TokenGate是否已有开源实现或独立复现尚不明确。

斯坦福大学与加州大学伯克利分校的研究人员提出了名为TokenGate的方法，通过Token-Gated Attention机制加速长上下文预填充。

据Reddit社区引用的研究信息，TokenGate能将预填充速度提升最高11.3倍。

TokenGate的核心在于对注意力计算中的token进行门控筛选，通过可学习的门控机制动态决定哪些token对当前计算重要，从而跳过冗余的注意力计算。

TokenGate强调在预填充阶段实现加速，而非仅仅优化解码阶段。

TokenGate延续的是稀疏化路线而非线性化路线，这意味着它更可能保持原始注意力形式，但需要训练门控网络并处理稀疏模式带来的硬件效率问题。

在RAG场景中，门控机制理论上可识别并跳过对当前查询贡献较小的片段token，但若门控误判导致关键证据被跳过，可能损害答案质量。

TokenGate的11.3倍加速是在何种硬件、何种上下文长度和模型规模下测得的尚不明确，这些条件决定了方法的适用范围。

门控机制是否会影响模型输出质量，尤其是在需要全局注意力的任务上，仍需验证。

11.3倍加速是特定配置下的上限值，实际收益取决于序列长度、模型规模和任务类型。

TokenGate由斯坦福与UC伯克利联合发布。

论文尚未覆盖所有主流模型家族。

TokenGate是一个即插即用的学习式token剪枝模块，在注意力计算之前决定哪些token值得保留计算。

TokenGate使LLM预填充阶段的时间到首token（TTFT）缩短最多11.3倍。

TokenGate使峰值内存降低最多3.4倍，且不损失精度。

TokenGate的加速幅度随序列长度增加而扩大。

门控模块随模型一起训练，能根据上下文内容自适应判断冗余token，而不是依赖位置或频率等启发式规则。

TokenGate以drop-in方式集成，对已有模型架构改动较小。

报道未披露门控模块的具体参数量、训练成本以及在多轮对话等动态场景下的表现。

若TokenGate的有效性得到证实，潜在受益场景包括长文档问答与分析、代码仓库级理解、多轮对话系统、检索增强生成（RAG）。