概念learned selector / 学习型选择器
学习型选择器
一种稀疏注意力机制,通过轻量级神经网络(如MLP或低秩投影)动态评估并选择每个查询最相关的一组键值对参与注意力计算,以降低计算复杂度。其选择行为由训练数据驱动,在分布内有效但可能面临分布外失效风险。
时间轴 (近 90 天)
10月12日
学习型选择器通常是一个轻量级网络(如小型MLP或低秩投影),它接收当前查询向量与候选token的键向量,快速打分并选出Top-k个最相关的token参与真正的注意力计算。
待验证50%
10月12日
对于局部模式匹配为主的任务(如代码补全、日志分析),滑动窗口性价比极高;对于跨文档推理或长链因果分析,学习型选择器或混合策略更稳妥,但需在目标领域做充分验证。
待验证50%
10月12日
分布外(OOD)失效时,学习型选择器可能持续忽略关键证据,导致输出看似流畅却遗漏关键事实的答案,增加排查难度。
待验证50%