ReDiST
一种以学生为中心的推理蒸馏框架,通过基于学生草稿修订轨迹、使用读者模型筛选排序、并平衡蒸馏损失与答案损失,构建适配目标学生认知状态的推理轨迹。
时间轴 (近 90 天)
论文《Beyond the Answer: Student-Conditioned Trace Construction for Reasoning Distillation》提出ReDiST框架,用于构建推理蒸馏中能提升学习效果的推理轨迹。
ReDiST的核心洞察是:推理轨迹的教学质量不仅取决于内容是否正确,还取决于它是否与目标学生的认知状态匹配,因此轨迹构建应当以学生为中心。
ReDiST的工作流程分为三个步骤:基于学生草稿的轨迹修订、学生匹配的筛选与排序、平衡蒸馏损失,整体在离线阶段完成,推理时仅使用蒸馏后的学生模型。
ReDiST的轨迹修订步骤从学生模型自己的尝试(drafts)出发:对于答案正确的草稿,利用提供的证据进行修订使其推理过程更严谨;对于答案错误的草稿,借助已验证的答案提供额外指导进行修复。
ReDiST使用一个冻结的、与学生匹配的读者模型(reader),根据问题、证据和候选轨迹,评估其答案恢复能力和已验证答案概率,对原始轨迹和编辑后的候选进行排序。
读者模型在ReDiST中扮演“模拟学生”的角色,通常是一个与目标学生规模或能力相近的冻结模型,不参与训练,仅用于评估候选轨迹。
实验表明,在问答基准上,ReDiST在源任务和跨基准测试中均优于仅答案监督、原始轨迹以及评估的轨迹选择和重写基线。
论文实验发现:在源基准上表现最好的监督方法,在迁移基准上未必同样最优,因此评估推理轨迹的教学效用需要考虑跨分布泛化。
ReDiST通过学生条件化的构建和筛选,为个性化推理蒸馏提供了新思路。
全部知识事实 (9)
论文《Beyond the Answer: Student-Conditioned Trace Construction for Reasoning Distillation》提出ReDiST框架,用于构建推理蒸馏中能提升学习效果的推理轨迹。
50%待验证ReDiST的核心洞察是:推理轨迹的教学质量不仅取决于内容是否正确,还取决于它是否与目标学生的认知状态匹配,因此轨迹构建应当以学生为中心。
50%待验证ReDiST的工作流程分为三个步骤:基于学生草稿的轨迹修订、学生匹配的筛选与排序、平衡蒸馏损失,整体在离线阶段完成,推理时仅使用蒸馏后的学生模型。
50%待验证ReDiST的轨迹修订步骤从学生模型自己的尝试(drafts)出发:对于答案正确的草稿,利用提供的证据进行修订使其推理过程更严谨;对于答案错误的草稿,借助已验证的答案提供额外指导进行修复。
50%待验证ReDiST使用一个冻结的、与学生匹配的读者模型(reader),根据问题、证据和候选轨迹,评估其答案恢复能力和已验证答案概率,对原始轨迹和编辑后的候选进行排序。
50%待验证读者模型在ReDiST中扮演“模拟学生”的角色,通常是一个与目标学生规模或能力相近的冻结模型,不参与训练,仅用于评估候选轨迹。
50%待验证实验表明,在问答基准上,ReDiST在源任务和跨基准测试中均优于仅答案监督、原始轨迹以及评估的轨迹选择和重写基线。
50%待验证论文实验发现:在源基准上表现最好的监督方法,在迁移基准上未必同样最优,因此评估推理轨迹的教学效用需要考虑跨分布泛化。
50%待验证ReDiST通过学生条件化的构建和筛选,为个性化推理蒸馏提供了新思路。
50%