论文Found in the Middle论文
Found in the Middle
发表于ACL Findings 2024的研究论文,针对大语言模型中间迷失问题,将其归因于注意力机制的位置偏差,并提出校准方法以改善RAG任务中的中间位置信息利用率。
时间轴 (近 90 天)
10月12日
论文《Found in the Middle》(Hsieh等,ACL Findings 2024)将中间迷失效应归因于注意力机制:输入开头和结尾的token获得更多注意力,与实际相关性无关
待验证50%
10月12日
Found in the Middle提出的校准方法削弱了注意力偏差,相比已有方法把RAG结果提升了最多10个百分点
待验证50%