#蒸馏学习

LoopOPD：让循环语言模型自我蒸馏，实现递归自我提升

arXiv 新论文提出 LoopOPD 与动态版 D-LoopOPD，一种针对循环语言模型（LoopLMs）的跨循环在线策略蒸馏框架，让模型用自身更深的递归计算作为监督来源，实现递归自我提升。仅用数学数据训练即可泛化到通用推理与代码生成任务。