共 2 篇相关文章
语言模型评估中，token概率与提示法在语义焦点敏感性任务上表现分歧：概率法稳定但受模型生成偏好拖累，提示法在大模型上大幅反超。研究揭示评估方法选择如何影响对模型语言能力的判断。
新研究提出受控归因基准CATT，用虚构知识构造无歧义ground truth，揭示冗余与干扰项持续降低LM数据归因性能；并发现负对数几率梯度替代交叉熵、仅聚合top token分数，可将召回率提升35至72个百分点，在FTRACE-TREX上反事实重训练性能最高提升4.9倍。
