[控场AI]
论文Found in the Middle论文

Found in the Middle

发表于ACL Findings 2024的研究论文,针对大语言模型中间迷失问题,将其归因于注意力机制的位置偏差,并提出校准方法以改善RAG任务中的中间位置信息利用率。

时间轴 (近 90 天)

10月12日

论文《Found in the Middle》(Hsieh等,ACL Findings 2024)将中间迷失效应归因于注意力机制:输入开头和结尾的token获得更多注意力,与实际相关性无关

待验证50%
10月12日

Found in the Middle提出的校准方法削弱了注意力偏差,相比已有方法把RAG结果提升了最多10个百分点

待验证50%

全部知识事实 (2)

来源文章