BranchOPD
一种改进在线策略蒸馏（OPD）的方法，通过在高信息量决策点进行分支采样，结合共享前缀复用和协议边界修复机制，提升小模型从大模型学习的效率
时间轴 (近 90 天)
BranchOPD（Branching On-Policy Distillation）通过信息量决策点筛选、共享前缀重采样和token级教师监督三个关键步骤实现分支采样蒸馏
BranchOPD利用学生模型自身的不确定性和教师与学生之间的分歧来定位最值得分支的决策点
BranchOPD在数学任务中在token级决策上分支，在智能体任务中在回合内（within-turn）决策上分支
相比七条独立轨迹的方案，共享前缀复用在ALFWorld上减少约19%的学生生成token成本
相比七条独立轨迹的方案，共享前缀复用在WebShop上减少约31%的学生生成token成本
BranchOPD引入协议边界修复（PBR）机制，用来缓解智能体任务中重复生成和无效生成的问题
在数学任务的avg@16指标上，BranchOPD比Vanilla OPD提升18.55个百分点
在ALFWorld的ID/OOD平均成功率上，BranchOPD比Vanilla OPD提升13.8个百分点
BranchOPD在所有评测基准上都超过了Vanilla OPD和消耗更大的Multi-Rollout OPD（n=7）
消融实验显示在不确定决策点分支的表现优于随机选择分支点和固定在每个回合开头分支（turn-initial branching）
还有 1 条时间轴事件
全部知识事实 (11)
BranchOPD（Branching On-Policy Distillation）通过信息量决策点筛选、共享前缀重采样和token级教师监督三个关键步骤实现分支采样蒸馏
50%待验证BranchOPD利用学生模型自身的不确定性和教师与学生之间的分歧来定位最值得分支的决策点
50%待验证BranchOPD在数学任务中在token级决策上分支，在智能体任务中在回合内（within-turn）决策上分支
50%待验证相比七条独立轨迹的方案，共享前缀复用在ALFWorld上减少约19%的学生生成token成本
50%待验证相比七条独立轨迹的方案，共享前缀复用在WebShop上减少约31%的学生生成token成本
50%待验证BranchOPD引入协议边界修复（PBR）机制，用来缓解智能体任务中重复生成和无效生成的问题
50%待验证在数学任务的avg@16指标上，BranchOPD比Vanilla OPD提升18.55个百分点
50%待验证在ALFWorld的ID/OOD平均成功率上，BranchOPD比Vanilla OPD提升13.8个百分点
50%待验证BranchOPD在所有评测基准上都超过了Vanilla OPD和消耗更大的Multi-Rollout OPD（n=7）
50%待验证消融实验显示在不确定决策点分支的表现优于随机选择分支点和固定在每个回合开头分支（turn-initial branching）
50%待验证监督的价值分布是高度不均匀的，用模型自身信号动态分配监督资源优于均匀铺开
50%