SPLIT
一种用于不完美验证器下推理算力最优分配的规划方法，基于经验贝叶斯拟合精确公式，从少量标注试点数据学习验证器行为并泛化到新任务。
时间轴 (近 90 天)
SPLIT 是一种通过少量标注试点数据来规划推理时算力分配的方法，用于在给定预算下决定采样多少候选、从哪些模型采样以及花多少算力在验证上。
SPLIT 依赖一个精确公式计算在接受/拒绝和最高分选择策略下提交正确答案的概率，该公式考虑了任务难度变化、模型间共享盲点以及验证器重复调用之间的相关性。
SPLIT 通过经验贝叶斯拟合其公式，并利用拟合结果在未见任务上规划预算。
研究团队在七个基准上评估了 SPLIT，涵盖数学、科学问答、代码和软件工程智能体，涉及 26 个模型、175 个智能体系统和六种真实验证器，全部来自公开发布。
SPLIT 的分配方案与事后最优分配的差距仅为 0.02 到 0.8 个百分点。
SPLIT 的公式解释了一个反直觉现象：在某些条件下，增加更多 LLM 评审反而会降低精度，原因是验证器的错误具有相关性，多次调用同一验证器或相似验证器不能独立消除错误，反而可能放大系统性偏差。
当验证器限制成功上限时，SPLIT 作为预测器优于幂律拟合。
SPLIT 的遗憾值仅取决于 SPLIT 对配置的排序质量，并且在计算、价格和延迟成本下，以及在线场景中，SPLIT 都保持接近最优。
研究团队报告了 SPLIT 失效的场景。
全部知识事实 (9)
SPLIT 是一种通过少量标注试点数据来规划推理时算力分配的方法，用于在给定预算下决定采样多少候选、从哪些模型采样以及花多少算力在验证上。
50%待验证SPLIT 依赖一个精确公式计算在接受/拒绝和最高分选择策略下提交正确答案的概率，该公式考虑了任务难度变化、模型间共享盲点以及验证器重复调用之间的相关性。
50%待验证SPLIT 通过经验贝叶斯拟合其公式，并利用拟合结果在未见任务上规划预算。
50%待验证研究团队在七个基准上评估了 SPLIT，涵盖数学、科学问答、代码和软件工程智能体，涉及 26 个模型、175 个智能体系统和六种真实验证器，全部来自公开发布。
50%待验证SPLIT 的分配方案与事后最优分配的差距仅为 0.02 到 0.8 个百分点。
50%待验证SPLIT 的公式解释了一个反直觉现象：在某些条件下，增加更多 LLM 评审反而会降低精度，原因是验证器的错误具有相关性，多次调用同一验证器或相似验证器不能独立消除错误，反而可能放大系统性偏差。
50%待验证当验证器限制成功上限时，SPLIT 作为预测器优于幂律拟合。
50%待验证SPLIT 的遗憾值仅取决于 SPLIT 对配置的排序质量，并且在计算、价格和延迟成本下，以及在线场景中，SPLIT 都保持接近最优。
50%待验证研究团队报告了 SPLIT 失效的场景。
50%