学习式上下文规划
学习式上下文规划是一种在答案模型推理前,通过专门训练的规划器(planner)从长文本中筛选关键证据片段的方法,旨在减少上下文噪声、降低推理成本
时间轴 (近 90 天)
在18k字符预算下,锚定混合检索达到36.18%准确率,BM25达到35.98%,而最佳的直接规划器引导方法仅为34.19%
在完全未被触碰的152题测试子集上,锚定混合检索为42.11%,规划引导方法仅36.84%
该研究得出结论:在其实验设置下,学习式上下文规划只是一个微弱的相关性信号,而不是强检索的替代方案
规划器通过监督微调(SFT)在140道训练题和28道开发题的结果选择轨迹上训练
503题的分析集本身包含了训练题,因此结果部分是直推式(transductive)的,这给了规划器一定的优势
在6k预算时,最佳规划器仅领先0.40个百分点;到9k预算时规划器反而落后
作者进行了打包顺序(packing-order)和分数平坦度(score-flatness)分析,但未识别出规划器起作用的可靠机制
全部知识事实 (7)
在18k字符预算下,锚定混合检索达到36.18%准确率,BM25达到35.98%,而最佳的直接规划器引导方法仅为34.19%
50%待验证在完全未被触碰的152题测试子集上,锚定混合检索为42.11%,规划引导方法仅36.84%
50%待验证该研究得出结论:在其实验设置下,学习式上下文规划只是一个微弱的相关性信号,而不是强检索的替代方案
50%待验证规划器通过监督微调(SFT)在140道训练题和28道开发题的结果选择轨迹上训练
50%待验证503题的分析集本身包含了训练题,因此结果部分是直推式(transductive)的,这给了规划器一定的优势
50%待验证在6k预算时,最佳规划器仅领先0.40个百分点;到9k预算时规划器反而落后
50%待验证作者进行了打包顺序(packing-order)和分数平坦度(score-flatness)分析,但未识别出规划器起作用的可靠机制
50%