知识蒸馏
一种模型压缩技术，将大型教师模型的知识迁移至轻量级学生模型，通过软标签传递类别间语义结构信息，分为基于logits、基于特征和基于关系三类方法
核心事实
时间轴 (近 90 天)
在知识蒸馏中，当学生logits与教师logits完全相等时，标准softmax实现会产生非零的虚假梯度。
修复后，学生网络在知识蒸馏中不再从教师网络漂移，蒸馏过程更加稳定。
传统蒸馏或师生框架需要两个独立模型：教师负责生成高质量信号，学生负责学习。
在RoCo-PRM中，教师是强MoE模型，其软标签来自路由统计量计算出的步骤分数，而非输出logit；学生是一个独立的PRM。
GoiBERT 采用两阶段知识蒸馏：第一阶段由共享词表的越南语编码器教师传授通用语言表征，第二阶段由更大教师模型通过软标签提供任务级指导。
在 NLP 中，知识蒸馏可分为表征级（对齐隐藏层状态）和任务级（对齐输出 logits）。
推理优化是降低AI单位使用成本的核心技术方向，常见手段包括模型量化（用INT8/FP8等更低精度表示权重以减少显存占用和计算量）、知识蒸馏（用大模型指导小模型）、KV缓存复用与批处理（合并请求提升GPU利用率）、投机解码（用小模型草拟、大模型校验以加速生成）。
剪枝、量化和知识蒸馏属于模型侧压缩，改变的是部署后模型的参数表示，输入向量仍需以原始精度传输和存储。
知识蒸馏和编译式方案的共同前提是教师模型在特定任务上的行为具有可归纳的规律性，否则压缩或固化会带来明显精度损失。
知识蒸馏的产物仍是神经网络，运行时需要前向计算；而编译式方案试图将能力固化为规则或轻量分类器，运行时几乎不涉及模型推理。
还有 40 条时间轴事件
全部知识事实 (20)
知识蒸馏通过软标签传递教师模型输出的完整概率分布信息，起到隐式数据增强效果
90%已验证知识蒸馏由Hinton等人于2015年提出，原指用大模型的软标签输出训练小模型
90%已验证知识蒸馏最早由Hinton等人于2015年提出
90%已验证模型蒸馏（Knowledge Distillation）是将大型模型的知识迁移至小型轻量模型的技术，可在参数量缩减数十倍的同时保留大部分性能
80%已验证知识蒸馏由Hinton等人在2015年提出，核心思想是让小型学生模型模仿大型教师模型的输出分布
80%已验证模型蒸馏是将大模型的能力压缩到小模型中以降低推理成本的技术
80%已验证本实验采用轨迹级蒸馏，属于行为克隆范畴，直接让学生模型模仿教师模型的外在行为序列
75%已验证知识蒸馏最早由Hinton、Vinyals与Dean于2015年在Google提出，核心思想是让小型学生模型学习大型教师模型输出的软标签
75%已验证DistilBERT通过蒸馏将BERT参数量减少40%，推理速度提升60%，性能仅损失约3%
75%已验证模型蒸馏由Hinton等人于2015年系统化提出，核心是将大模型的暗知识转移给小模型，使用软概率分布作为监督信号
75%已验证蒸馏训练的教师模型输出极少包含自我纠错示例，导致学生模型形成「强模型不犯错」的隐性信念，在校验失败时选择重复而非修正
75%已验证Flash系列模型通过知识蒸馏自Pro或更大规模的Ultra模型来获得能力
75%已验证模型蒸馏将大模型的知识迁移到更小的学生模型中，速度提升显著但存在一定能力损耗
75%已验证知识蒸馏由Hinton等人提出，让学生模型通过学习教师模型输出的软概率分布继承隐性知识
70%已验证蒸馏可以被看作一种隐式的、受数据约束的模型合并——用多个教师模型的平均输出蒸馏学生实际上是在输出分布层面做软合并
65%已验证量化、知识蒸馏、算子融合等压缩技术叠加使用后，推理速度通常能提升2-4倍
65%已验证端侧AI指将机器学习模型的推理过程直接在终端设备上完成，而非上传至云端服务器处理，需通过模型压缩和硬件加速弥补算力差距
65%已验证轻量模型通过知识蒸馏和模型剪枝技术压缩规模，知识蒸馏让小模型模仿大模型的输出概率分布，剪枝移除对输出贡献最小的网络权重
65%已验证模型压缩涵盖量化、剪枝、知识蒸馏三条主要技术路径
65%待验证通过蒸馏，参数量仅为教师模型十分之一的学生模型往往能保留教师模型80%-95%的性能
70%