待验证50% 置信事实精确时间
模型蒸馏的核心思想由Geoffrey Hinton等人于2015年提出，Google的Gemma 2大量使用蒸馏技术来提升小模型性能
1
来源数
50%
置信度
长期有效
时效性
2026/9/2
首次发现
来源
涉及实体
相关事实
待验证Google的Flash系列模型使用模型蒸馏、稀疏混合专家架构(SMoE)和推理时计算优化等技术实现高性价比64% 相似待验证GQA最早由Google在训练PaLM 2时提出并应用，随后被Llama 2/3、Mistral等开源模型采纳62% 相似待验证知识蒸馏最早由Hinton、Vinyals与Dean于2015年在Google提出62% 相似待验证Meta的LLaMA、Google的Gemma等主流开源模型均大量采用量化和知识蒸馏技术62% 相似已验证Google Research于2022年发布DreamFusion，首次展示通过文本提示生成3D模型的可能性，利用预训练的2D扩散模型作为先验并通过分数蒸馏采样（SDS）优化神经辐射场（NeRF）表示62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/845848API
curl https://kongchang.com/api/v1/knowledge/claims/845848MCP
get_claim(id=845848)