[控场AI]
概念attention mass

注意力质量

模型在做预测时分配给输入序列中特定位置(如证据片段)的注意力权重总和占全部注意力权重的比例,用于衡量注意力集中程度,而非上下文窗口长度。

时间轴 (近 90 天)

11月4日

留在证据上的注意力质量(attention mass)在126,473次试验中最多能解释58%的检索损失方差,而对数长度最多只能解释8%。

待验证50%
11月4日

注意力质量(attention mass)指模型在预测时分配给特定位置(如证据片段)的注意力权重总和占全部注意力权重的比例,可通过读取各层注意力图并聚合到证据token上计算。

待验证50%
11月4日

对于构建长上下文应用的团队,可操作的检查项是监控模型对证据的注意力质量,而不仅仅关注输入长度或召回率。

待验证50%

全部知识事实 (3)

来源文章