蒸馏模型
通过知识蒸馏技术将大型教师模型能力迁移到小型学生模型得到的轻量模型，推理成本低但开放域推理能力有限。
核心事实
时间轴 (近 90 天)
蒸馏模型通过让草稿模型拟合目标模型的输出分布来进一步提升对齐度，从而抬高接受率。
蒸馏模型是指用大模型的输出作为训练信号，训练出的参数量更小、推理成本更低的模型。
在工单分类例子中，每月五万张工单，排行榜冠军模型和蒸馏版“flash”模型对明显工单的标注结果完全一致。
蒸馏模型在常规客服场景中足以覆盖大部分流量，但在需要开放域推理或长链条规划时会明显退化。
在为客户构建的实时代码审查工具中，使用最大最聪明的模型平均响应8.7秒，切换到更小的蒸馏模型后响应降至2.3秒，审查质量仅下降约5%。
API文档标注的模型名称（如gpt-4、claude-3）可能对应更便宜的蒸馏版本、量化版本甚至上一代模型。
蒸馏可以被看作一种隐式的、受数据约束的模型合并——用多个教师模型的平均输出蒸馏学生实际上是在输出分布层面做软合并
全部知识事实 (8)
蒸馏可以被看作一种隐式的、受数据约束的模型合并——用多个教师模型的平均输出蒸馏学生实际上是在输出分布层面做软合并
65%待验证AI服务商在算力受限时可能采用减少beam search宽度、压缩KV Cache、动态切换蒸馏模型等手段降低资源消耗
85%待验证蒸馏模型通过让草稿模型拟合目标模型的输出分布来进一步提升对齐度，从而抬高接受率。
50%待验证蒸馏模型是指用大模型的输出作为训练信号，训练出的参数量更小、推理成本更低的模型。
50%待验证在工单分类例子中，每月五万张工单，排行榜冠军模型和蒸馏版“flash”模型对明显工单的标注结果完全一致。
50%待验证蒸馏模型在常规客服场景中足以覆盖大部分流量，但在需要开放域推理或长链条规划时会明显退化。
50%待验证API文档标注的模型名称（如gpt-4、claude-3）可能对应更便宜的蒸馏版本、量化版本甚至上一代模型。
50%待验证在为客户构建的实时代码审查工具中，使用最大最聪明的模型平均响应8.7秒，切换到更小的蒸馏模型后响应降至2.3秒，审查质量仅下降约5%。
50%