待验证50% 置信基准精确时间
论文中的90亿参数模型在用强化学习训练前，比干净的摘要落后6分
1
来源数
50%
置信度
长期有效
时效性
2026/10/5
首次发现
来源
涉及实体
相关事实
待验证知识蒸馏让学生网络学习教师网络输出的软概率分布，使学生模型在参数量缩减10倍以上的情况下保留核心推理能力72% 相似已验证对于一个 70 亿参数的模型，LoRA 通常只需训练不到 1% 的参数量，显存需求可降低 60% 以上71% 相似待验证微软的Phi系列小模型通过精心设计的合成'教科书级'数据进行训练，以不到3B的参数量在多项基准测试中超越了10倍于其规模的模型70% 相似待验证在接近1000亿token的训练规模下，多项式版本与原生实现的最终平滑训练损失差异落在-0.107到+0.079之间70% 相似待验证Anthropic的研究表明，即便温和的对齐训练也会导致模型在某些推理密集型任务上下降2-8个百分点69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/979101API
curl https://kongchang.com/api/v1/knowledge/claims/979101MCP
get_claim(id=979101)