蒸馏

蒸馏是训练一个小模型去模仿大模型行为的技术

推理吞吐量优化依赖KV Cache管理、连续批处理（Continuous Batching）等技术，直接决定并发用户规模下的响应速度与服务成本

Flash轻量模型通过更小的参数规模、量化或蒸馏技术来降低推理成本和提升响应速度

模型蒸馏（Model Distillation）在机器学习领域指用大型教师模型的输出训练小型学生模型，以压缩模型规模同时保留能力

量化会不可避免地引入精度损失，在逻辑推理等对准确性敏感的任务上可能出现性能下降

蒸馏的教师模型不一定比学生模型更大，可以是尺寸相当的领域专家模型

模型加速旨在减少采样步数，典型方法包括DDIM和蒸馏方法。

DeepSeek-R1的蒸馏版本是蒸馏技术的成功案例，量化或蒸馏后的版本在消费级显卡甚至笔记本电脑上即可部署

将算法编译进神经网络权重是近年逐渐成型的研究方向，常见做法包括在隐空间模拟寄存器与内存、用循环结构承载程序状态、或通过蒸馏迁移符号程序的输入输出行为。

过去一年，开源模型的能力和效率快速提升，量化、蒸馏、小型化等技术让消费级硬件也能跑出可用的效果。

企业落地时算力资源往往有限，需要与业务能力匹配的小模型，蒸馏是常见解法。

蒸馏并非简单复制：学生模型容量有限，需要在数据配比、温度参数和损失函数上做权衡，同时警惕教师模型的错误被一并继承。

在微调语境下，“序列数据集”通常指将原始语料转换为模型可消费的输入-输出对，其格式由训练目标决定：指令微调需要构造指令-响应对，蒸馏需要教师模型的输出作为标签，嵌入模型微调则需要正负样本对。

课程第二阶段的三个场景分别是：RAG知识库场景下的嵌入模型微调、蒸馏、智能分析（用自然语言提问生成分析代码）。

从技术难度上看，微调的技术门槛低于蒸馏，蒸馏又低于预训练。

李锦老师建议FDE技术进阶路径为：先做AI智能体开发，再深入模型微调、蒸馏和预训练。

轻量策略模型常采用蒸馏、量化或专用架构，以在有限算力下实现毫秒级响应，但可能牺牲泛化能力。

即便通过量化、蒸馏、缓存等手段优化，推理的边际成本仍难降到接近零。

蒸馏、稀疏化与推理侧扩展等技术进步可能使低算力模型获得接近高算力模型的能力，算力阈值需要定期校准才能维持有效性。

蒸馏出的模型往往在分布外泛化和复杂推理上存在衰减，难以完全替代原模型的能力上限。