[控场AI]
· 3 分钟阅读· 1,734 字

精确验证器下,小模型学到了什么?

精确验证器下,小模型学到了什么?

精确验证器揭示小模型能学会充分性检查流程但难以迁移到新策略。

研究利用可枚举上下文空间上可精确计算的最小充分理由作为零错误验证器,考察小语言模型能从中学到什么。实验让解释器在看不到策略的情况下,通过三十轮交互探测逼近精确理由。结果显示,4B 模型在 2000 条删除算法轨迹上微调后在训练策略上达 92% 准确率,且算法教学在所有种子中领先前沿模型教学。然而学生学到的是固定的充分性检查日程,无法迁移:在未见策略上答案仍充分(94%)但不再最小(48%)。基于精确奖励的强化学习虽反转了探测策略,却未提升留出准确率。

当授权策略阻止智能体调用工具时,审计日志应当只列出迫使决策的事实,不多不少。对于可枚举上下文空间上的可执行策略,这种最小充分理由可以精确计算,因此解释可以对照真实基准评分,而非依赖代理指标。研究者利用这种精确性,探讨模型能从零错误验证器中学习到什么。

rss source: Procedure without Judgment: What Small Language Models Learn under an Exact Verifier

实验设定:解释器与三十轮交互

解释器只看到一次请求和一次决策,从未见过策略本身,但拥有三十轮交互机会:它可以对修改后的请求调用策略,并询问一组候选事实是否充分。前沿模型仅靠工具就能在大约一半的情况下找到精确理由,而一句“缩小答案”的提示能将 Haiku 4.5 的准确率从 58% 提升到 75%。

这一设定剥离了策略可见性,将学习目标聚焦于“充分性检验”这一元技能。模型必须通过主动探测来逼近真相,而非记忆策略规则。

最小充分理由(minimal sufficient reason)是形式化解释领域的一个核心概念:给定策略 P 和一次拒绝决策 d,一个理由集合 R 是充分的,当且仅当在策略的可枚举上下文空间中,任何满足 R 的请求都会导致相同的决策 d;R 是最小的,当且仅当去掉 R 中任一事实后就不再充分。与机器学习中常见的注意力权重、显著性图等代理指标不同,最小充分理由具有精确的集合论定义,可以通过穷举搜索在有限上下文空间上算出唯一答案,因而能作为零错误验证器直接为模型输出打分。

教师类型决定学习效果

一个 4B 模型在 2000 条删除算法轨迹上微调后,在训练策略上达到 92% 的准确率。真正驱动效果的是教师类型:在匹配数据量下,算法教学的学生在全部三个训练种子中都领先于前沿模型教学的学生,且两组结果从未重叠。

学生学到的是一套固定的充分性检查日程,而这套日程无法迁移。在三个未见过的公共策略上,其答案仍然充分(94%)但不再最小(48%),而 Haiku 在相同提示下对所有 47 个片段都保持精确。

删除算法(deletion-based algorithm)是计算最小充分理由的经典方法:从完整的请求事实集合出发,逐一尝试删除每个事实并重新调用策略,若删除后决策不变则说明该事实冗余,可永久剔除;反复迭代直到剩余事实集合中任何一个都无法再删除,即得到最小充分理由。该算法在事实数为 n 时最坏需要 O(n²) 次策略调用,但保证输出精确最小解。研究中的教师轨迹即由该算法在训练策略上自动生成,因此“算法教学”本质上是用精确计算过程而非模型直觉来提供监督信号。

强化学习与迁移困境

基于精确奖励的强化学习将留出准确率维持在原有水平,但反转了策略:从探测策略转向将全部预算花在充分性检查上。精确验证器让训练效果变得可读,却并未让训练本身变得更好。

这揭示了一个深层矛盾:精确奖励可以清晰度量行为变化,但小模型习得的程序性知识高度依赖训练分布,难以泛化到新策略。算法教学虽然效率更高,但同样受制于日程的刚性。

策略反转(policy reversal)在此指强化学习前后模型行为模式的定性改变,而非准确率数字的升降。训练前,模型倾向于先做少量探测性调用、再给出猜测性理由;训练后,模型学会把三十轮预算全部投入对候选事实的充分性检查,探测行为几乎消失。这表明确有奖励信号塑形了行为,但由于奖励只度量最终答案是否正确、不惩罚过程冗余,模型收敛到一种“检查到底”的局部最优,在留出策略上的准确率与训练前持平。

对AI编程与智能体开发的启示

对于构建授权策略解释系统的开发者而言,这项研究提示:小模型可以高效学习充分性检验的固定流程,但若需跨策略部署,仍需前沿模型或更丰富的训练分布。精确验证器是诊断工具,而非万能药。

在AI编程场景中,若将小模型用于审计日志生成,应确保策略空间与训练分布匹配,否则可能产生充分但非最小的解释,增加审计负担。

#小语言模型#精确验证器#充分性检验#策略解释#迁移学习#强化学习#AI编程
分享:

相关推荐