[控场AI]
概念learned selector / 学习型选择器

学习型选择器

一种稀疏注意力机制,通过轻量级神经网络(如MLP或低秩投影)动态评估并选择每个查询最相关的一组键值对参与注意力计算,以降低计算复杂度。其选择行为由训练数据驱动,在分布内有效但可能面临分布外失效风险。

时间轴 (近 90 天)

10月12日

学习型选择器通常是一个轻量级网络(如小型MLP或低秩投影),它接收当前查询向量与候选token的键向量,快速打分并选出Top-k个最相关的token参与真正的注意力计算。

待验证50%
10月12日

对于局部模式匹配为主的任务(如代码补全、日志分析),滑动窗口性价比极高;对于跨文档推理或长链因果分析,学习型选择器或混合策略更稳妥,但需在目标领域做充分验证。

待验证50%
10月12日

分布外(OOD)失效时,学习型选择器可能持续忽略关键证据,导致输出看似流畅却遗漏关键事实的答案,增加排查难度。

待验证50%

全部知识事实 (3)

来源文章