Unverified50% confidenceSolutionExact time
模型蒸馏（Model Distillation）用大型教师模型的输出作为训练信号指导小型学生模型学习，可在参数量缩减数倍的情况下保留大部分性能
1
Sources
50%
Confidence
Long-term
Relevance
7/10/2026
First Seen
Sources
豆包千问下线智能体：算力成本如何重塑AI商业边界
bilibili程序员艾雷克斯7/8/2026
Related Claims
Verified模型蒸馏使用大型教师模型的软标签来训练小型学生模型，软标签携带的暗知识使蒸馏效率超过普通监督学习75% similarUnverified子曰大模型在预训练和微调阶段大量使用了教材、习题、解题过程等教育语料，使其在教育任务上具备更强的专业性70% similarUnverified教师-学生蒸馏框架先训练可访问完整环境信息的教师策略，再蒸馏到仅依赖机载传感器的学生策略中以实现真实硬件部署68% similarUnverifiedDINOv2的核心训练策略基于自蒸馏，模型同时维护教师网络和学生网络，学生网络通过预测教师网络对同一图像不同裁剪视角的输出来学习特征表示68% similarVerified通过更高质量的训练数据、更优化的训练策略和更精细的后训练对齐，较小规模的模型可以在实际任务上完全超越规模更大但训练质量较低的模型67% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/416829API
curl https://kongchang.com/api/v1/knowledge/claims/416829MCP
get_claim(id=416829)