概念Student-Prefix Teacher Adaptation / 学生前缀教师适应
SPTA
一种用于知识蒸馏的教师适应方法,通过让学生生成前缀并用RLVR训练教师从这些前缀恢复正确推理,从而提升token级监督的可靠性。
时间轴 (近 90 天)
11月3日
论文提出了Student-Prefix Teacher Adaptation (SPTA)方法,让老师提前学会在学生可能访问的路径上提供有效指导。
待验证50%
11月3日
SPTA在数学推理基准上取得了优于标准OPD和任务级RLVR适应老师的效果。
待验证50%
11月3日
SPTA的解决方案分为两个阶段:阶段一收集随机长度的学生前缀;阶段二用RLVR训练老师适应这些前缀。
待验证50%
11月3日
SPTA不改变蒸馏目标本身,仅通过教师适应提升监督信号可靠性。
待验证50%
11月3日
在SPTA阶段二中,老师被训练成从学生诱导的任意前缀状态(包括错误状态)恢复至正确推理路径的专家。
待验证50%
11月3日
SPTA的两阶段流程相对轻量,只需在OPD前增加一轮前缀收集与RLVR训练,具备工程可行性。
待验证50%
11月3日
论文尚未讨论更复杂的开放域任务,以及前缀长度分布的设计策略。
待验证50%
全部知识事实 (7)
待验证
论文提出了Student-Prefix Teacher Adaptation (SPTA)方法,让老师提前学会在学生可能访问的路径上提供有效指导。
50%待验证SPTA在数学推理基准上取得了优于标准OPD和任务级RLVR适应老师的效果。
50%待验证SPTA的解决方案分为两个阶段:阶段一收集随机长度的学生前缀;阶段二用RLVR训练老师适应这些前缀。
50%待验证SPTA不改变蒸馏目标本身,仅通过教师适应提升监督信号可靠性。
50%待验证在SPTA阶段二中,老师被训练成从学生诱导的任意前缀状态(包括错误状态)恢复至正确推理路径的专家。
50%待验证SPTA的两阶段流程相对轻量,只需在OPD前增加一轮前缀收集与RLVR训练,具备工程可行性。
50%待验证论文尚未讨论更复杂的开放域任务,以及前缀长度分布的设计策略。
50%