概念数据蒸馏 / Synthetic Data Distillation
合成数据蒸馏
一种大语言模型时代的知识蒸馏变体方法，通过调用教师大模型API批量生成高质量输入输出对作为合成数据集，再对学生小模型进行监督微调，无需访问教师模型内部权重，工程门槛低
时间轴 (近 90 天)
9月17日
在大语言模型场景中，业界转向了合成数据蒸馏路线：让教师模型批量产出输入输出对，再对学生模型进行标准的监督微调（SFT）
待验证50%
9月17日
合成数据蒸馏使学生模型无法习得教师的置信度分布，在模糊样本上的泛化能力相对有限
待验证50%