待验证80% 置信事实时间未知
2024年以来，Mistral、Phi、Gemma等小型模型通过更精细的数据筛选、知识蒸馏和训练策略优化，在特定任务上逼近甚至超越了体量数倍于己的大模型
1
来源数
80%
置信度
长期有效
时效性
2026/6/1
首次发现
来源
Claude Haiku 4.5深度评测：成本降三分之一，编程性能比肩Sonnet 4
bilibiliAI产品狙击手
涉及实体
相关事实
待验证Meta的LLaMA 3、Mistral等模型在相对较小的高质量数据集上实现了超越更大模型的性能73% 相似待验证知识蒸馏技术使小模型可从大模型中提取相当比例能力，动摇了固定算力阈值作为能力代理指标的有效性71% 相似待验证DeepMind的Chinchilla定律证明训练数据量与模型参数量的最优配比会随时间演进而改变，同等FLOP投入可产生能力差异显著的模型71% 相似待验证基于模型的强化学习在样本效率上通常比无模型方法高出一个数量级以上，代表性算法包括Dyna、MBPO和Dreamer系列70% 相似待验证重构vs嵌入预测的分歧是当前世界模型领域最核心的技术路线之争，前者更易训练调试，后者理论上更符合智能系统需求69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/24332API
curl https://kongchang.com/api/v1/knowledge/claims/24332MCP
get_claim(id=24332)