WISD
一种无需外部教师或特权信息的自蒸馏方法，通过低比特量化或幅度剪枝构造原始模型的弱化副本，利用弱化前后模型在无标签提示上的行为差异作为训练信号，提升大推理模型的推理能力。
时间轴 (近 90 天)
论文《Weaken to Strengthen: Weakening-Induced On-Policy Self-Distillation for Large Reasoning Models》提出了 WISD 方法，通过主动弱化模型并利用弱化前后的对比作为训练信号，无需外部教师或特权信息。
WISD 通过低比特量化和幅度剪枝两种方式构造弱化模型，这两种操作在方法中用于生成训练信号而非部署优化。
WISD 在数学与代码推理基准上，量化弱化方式平均准确率提升 4.0 个百分点，剪枝弱化方式平均准确率提升 5.5 个百分点。
WISD 中剪枝带来的平均提升高于量化，且在小模型上表现尤为突出。
WISD 采用 on-policy 自蒸馏，训练信号来自原始模型与弱化模型对同一无标签提示实时生成的并行轨迹对比，对比发生在策略空间而非答案空间。
WISD 仅依赖无标签提示即可运行，无需外部教师或特权信息。
WISD 的弱化模型与原始模型同源，共享预训练知识、分词方式和推理风格，从而消除教师-学生分布不匹配问题。
WISD 目前仅在数学和代码推理任务上验证，是否适用于更广泛的自然语言推理任务尚不明确。
WISD 中弱化强度的选择缺乏理论依据，可能需要针对不同模型和任务进行调参。
全部知识事实 (9)
论文《Weaken to Strengthen: Weakening-Induced On-Policy Self-Distillation for Large Reasoning Models》提出了 WISD 方法，通过主动弱化模型并利用弱化前后的对比作为训练信号，无需外部教师或特权信息。
50%待验证WISD 通过低比特量化和幅度剪枝两种方式构造弱化模型，这两种操作在方法中用于生成训练信号而非部署优化。
50%待验证WISD 在数学与代码推理基准上，量化弱化方式平均准确率提升 4.0 个百分点，剪枝弱化方式平均准确率提升 5.5 个百分点。
50%待验证WISD 中剪枝带来的平均提升高于量化，且在小模型上表现尤为突出。
50%待验证WISD 采用 on-policy 自蒸馏，训练信号来自原始模型与弱化模型对同一无标签提示实时生成的并行轨迹对比，对比发生在策略空间而非答案空间。
50%待验证WISD 仅依赖无标签提示即可运行，无需外部教师或特权信息。
50%待验证WISD 的弱化模型与原始模型同源，共享预训练知识、分词方式和推理风格，从而消除教师-学生分布不匹配问题。
50%待验证WISD 目前仅在数学和代码推理任务上验证，是否适用于更广泛的自然语言推理任务尚不明确。
50%待验证WISD 中弱化强度的选择缺乏理论依据，可能需要针对不同模型和任务进行调参。
50%