概念attention mass
注意力质量
模型在做预测时分配给输入序列中特定位置(如证据片段)的注意力权重总和占全部注意力权重的比例,用于衡量注意力集中程度,而非上下文窗口长度。
时间轴 (近 90 天)
11月4日
留在证据上的注意力质量(attention mass)在126,473次试验中最多能解释58%的检索损失方差,而对数长度最多只能解释8%。
待验证50%
11月4日
注意力质量(attention mass)指模型在预测时分配给特定位置(如证据片段)的注意力权重总和占全部注意力权重的比例,可通过读取各层注意力图并聚合到证据token上计算。
待验证50%
11月4日
对于构建长上下文应用的团队,可操作的检查项是监控模型对证据的注意力质量,而不仅仅关注输入长度或召回率。
待验证50%