双向KL约束：让小模型也能学会用工具

小语言模型（SLM）在资源受限环境中的部署价值被广泛看好，但一个现实问题始终存在：它们很难像大模型那样，仅靠强化学习就摸索出有效的工具调用行为。而直接让教师模型监督，又会撞上行为分布不匹配和错误偏好传播两堵墙。最近一项研究提出的SeTPO方法，试图用双向KL约束在这两个极端之间找到一条中间路线。

小模型工具学习的核心困境

外部工具可以扩展小语言模型的能力边界，让它们在算力有限的环境中完成更复杂的任务。但小模型自身的容量限制带来了一个棘手矛盾：强化学习虽然能让模型自主探索，搜索空间却过于庞大，小模型很难在合理时间内发现有效的工具使用策略。

另一条路是直接由教师模型提供监督信号。这听起来直接有效，实际操作中却有两个隐患。第一，教师和学生的行为分布天然存在差异，教师的决策轨迹未必适合学生当前的能力状态。第二，教师本身的偏好未必完全正确，直接模仿可能把教师的错误偏好也一并继承下来。

这两条路各有各的坑，而SeTPO的思路是不做非此即彼的选择，而是让两者协同工作。

SeTPO的三层设计逻辑

SeTPO全称Selective Teacher-guided Policy Optimization（选择性教师引导策略优化），核心机制可以拆解为三个层面。

最基础的一层是学生自主探索。模型在环境中尝试工具调用，根据获得的奖励信号调整策略，这是强化学习的标准流程。

第二层是选择性教师引导。关键在于“选择性”三个字——SeTPO并不是在所有轨迹上都引入教师信号，而是只在低奖励轨迹上，利用反向KL散度导出token级别的教师反馈，并将其融入策略优势函数中。换句话说，当学生自己走得不好时，教师才出手指点；学生走得顺的时候，教师不干预。

第三层是持续的示范监督。SeTPO在训练全程保留了一个辅助的前向KL监督目标，确保教师示范过的行为不会在训练过程中被遗忘或退化。这一设计相当于给训练过程加了一根“锚”，防止策略在探索中偏离太远。

策略优势函数与token级反馈

在策略梯度方法中，优势函数A(s,a)衡量的是在状态s下采取动作a相对于平均水平的优劣。优势为正，说明该动作值得鼓励；为负，则应当抑制。传统强化学习通过采样估计优势，但小模型由于搜索空间大、采样效率低，优势估计的方差往往很高。SeTPO的做法是用教师模型在低奖励轨迹上的反向KL散度来构造token级的优势修正项。具体来说，当学生的某个token决策与教师偏好的分布偏离较大时，反向KL会给出一个惩罚信号，叠加到原有的策略优势上，从而在不引入完整教师轨迹的情况下实现精准纠偏。这种设计的好处是：教师信号只作用于学生真正犯错的位置，避免了对正确决策的过度干预，也降低了教师错误偏好被放大的风险。

为什么是双向KL而非单向

从理论上理解SeTPO，需要回到KL散度在策略优化中的角色。

前向KL（forward KL）倾向于让学生的策略覆盖教师策略的所有模式，结果是学生学得“全”但可能不够精准；反向KL（reverse KL）则倾向于让学生策略集中在教师策略的高概率区域，学得“精”但可能遗漏某些模式。

SeTPO把两者结合起来：反向KL用于在关键时刻（低奖励轨迹）提供精准的教师纠正，前向KL用于在全程保持对教师行为的覆盖。研究者在理想化的双向KL目标下给出了理论分析，证明最优策略的期望奖励不低于教师，同时保留了教师概率质量的一个有保证的比例。

这个理论结论的意义在于，它说明学生不必在“超越教师”和“忠实于教师”之间做取舍——双向KL的设计允许两者同时成立。

KL散度与策略优化的关系

KL散度（Kullback-Leibler Divergence）衡量的是两个概率分布之间的差异，在策略优化中常被用作约束项，限制新策略不要偏离参考策略太远。它的定义不具对称性：D_KL(P||Q) ≠ D_KL(Q||P)，正是这种不对称性衍生出前向与反向两种截然不同的行为模式。在强化学习中，前向KL通常写作D_KL(教师||学生)的某种变形，倾向于让学生覆盖教师的所有模式；反向KL则相反，会让学生集中到教师的高概率区域，从而牺牲部分覆盖度换取精度。此外，在token级别的序列生成任务中，KL约束是逐token计算的，这意味着不同位置的token会受到不同程度的约束强度——这正是SeTPO能够实现“token级教师反馈”的数学基础。理解KL散度的方向性，是理解SeTPO为何要“双向使用”的前提。

实验验证：三个尺度上的表现

在BFCL v4和API Bank两个工具学习基准上，SeTPO与监督微调、强化学习和蒸馏三类基线方法进行了对比。结果显示，在全部三个学生模型尺度上，SeTPO都取得了更优的整体性能。

这一结果值得注意的地方在于跨尺度的稳定性。小模型工具学习的一个常见问题是，某种方法在特定规模上有效，换一个规模就失效。SeTPO在三个尺度上的一致表现，说明双向KL约束带来的收益不依赖于特定的模型容量。

BFCL v4与API Bank基准

BFCL（Berkeley Function Calling Leaderboard）是评估大语言模型工具调用能力的权威基准，其v4版本涵盖了多轮对话、并行调用、错误恢复等更贴近真实场景的测试项。API Bank则是另一个聚焦于API调用准确性和参数填充正确率的评估集。两者结合，能够较全面地衡量模型在工具学习中的表现。选择这两个基准的意义在于，它们不仅考察模型能否调用工具，还考察调用的时机、参数的正确性以及多步任务中的连贯性——这些恰是小模型容易暴露短板的维度。SeTPO在这两个基准上的跨尺度稳定性，说明其收益不是某个特定评测集的偶然结果，而是具有方法层面的一般性。

对工具学习范式的启示

SeTPO给出的一个更广泛的启示是：教师引导和学生探索之间未必是零和关系。通过精心设计的约束机制，可以让教师在学生需要时提供精准帮助，同时不压制学生自身的探索能力。

这种“选择性干预”的思路，对于其他需要知识迁移的训练场景也有参考价值——无论是让大模型教小模型，还是让强模型教弱模型，如何拿捏干预的时机和力度，往往比是否干预更关键。