ABACUS
一种通过可复用程序组合冻结判断模型局部决策来实现多步推理的框架,模型参数全程不更新,推理能力来自外部程序组合设计
时间轴 (近 90 天)
ABACUS框架通过可复用程序组合冻结判断模型的决策来提升多步推理能力,且模型参数全程不更新。
ABACUS采用生成式教师离线设计判断模式和组合程序,判断模型在线解决局部语义问题,保存的程序负责将决策组合成最终答案。
ABACUS团队用Kev实例化框架:教师模型负责规划推理步骤并生成程序代码,冻结的判断模型作为语义执行器对每个步骤的候选答案打分。
在三个选定的BIG-Bench Hard任务上,九个独立构建的程序解决了150个开发输入的450次执行。
部署研究冻结了三个经过开发集参考一致性精炼的程序,并在600个留出问题上评估。
ABACUS程序在三个BIG-Bench Hard任务上达到99.67%的宏平均准确率。
ABACUS在保持与Qwen无限制响应策略相近准确率的同时实现了8.43倍的在线加速,每题0.255秒对2.150秒。
ABACUS当前实验集中在三个特定任务上,程序设计的通用性和跨任务迁移能力仍需进一步验证。
教师模型的离线设计成本以及程序对任务分布的敏感性是ABACUS实际部署时需要权衡的因素。
全部知识事实 (9)
ABACUS框架通过可复用程序组合冻结判断模型的决策来提升多步推理能力,且模型参数全程不更新。
50%待验证ABACUS采用生成式教师离线设计判断模式和组合程序,判断模型在线解决局部语义问题,保存的程序负责将决策组合成最终答案。
50%待验证ABACUS团队用Kev实例化框架:教师模型负责规划推理步骤并生成程序代码,冻结的判断模型作为语义执行器对每个步骤的候选答案打分。
50%待验证ABACUS当前实验集中在三个特定任务上,程序设计的通用性和跨任务迁移能力仍需进一步验证。
50%待验证教师模型的离线设计成本以及程序对任务分布的敏感性是ABACUS实际部署时需要权衡的因素。
50%待验证ABACUS程序在三个BIG-Bench Hard任务上达到99.67%的宏平均准确率。
50%待验证ABACUS在保持与Qwen无限制响应策略相近准确率的同时实现了8.43倍的在线加速,每题0.255秒对2.150秒。
50%待验证在三个选定的BIG-Bench Hard任务上,九个独立构建的程序解决了150个开发输入的450次执行。
50%待验证部署研究冻结了三个经过开发集参考一致性精炼的程序,并在600个留出问题上评估。
50%