[控场AI]
概念Learned Context Planning

学习式上下文规划

学习式上下文规划是一种在答案模型推理前,通过专门训练的规划器(planner)从长文本中筛选关键证据片段的方法,旨在减少上下文噪声、降低推理成本

时间轴 (近 90 天)

9月24日

在18k字符预算下,锚定混合检索达到36.18%准确率,BM25达到35.98%,而最佳的直接规划器引导方法仅为34.19%

待验证50%
9月24日

在完全未被触碰的152题测试子集上,锚定混合检索为42.11%,规划引导方法仅36.84%

待验证50%
9月24日

该研究得出结论:在其实验设置下,学习式上下文规划只是一个微弱的相关性信号,而不是强检索的替代方案

待验证50%
9月24日

规划器通过监督微调(SFT)在140道训练题和28道开发题的结果选择轨迹上训练

待验证50%
9月24日

503题的分析集本身包含了训练题,因此结果部分是直推式(transductive)的,这给了规划器一定的优势

待验证50%
9月24日

在6k预算时,最佳规划器仅领先0.40个百分点;到9k预算时规划器反而落后

待验证50%
9月24日

作者进行了打包顺序(packing-order)和分数平坦度(score-flatness)分析,但未识别出规划器起作用的可靠机制

待验证50%

全部知识事实 (7)

来源文章