待验证50% 置信事实精确时间
在 RLVR、SFT 和同策略蒸馏三种后训练范式中,将预训练模型中不到 0.05% 的权重置零即可在规模上匹配全量微调的表现。
1
来源数
50%
置信度
长期有效
时效性
2026/11/10
首次发现
来源
删除不到0.05%权重,竟媲美全量微调?
rss2026/11/7
涉及实体
相关事实
待验证指令微调不需要从头训练,通常仅需基础训练计算量的1%以下即可显著改变模型行为模式78% 相似已验证微调通常只需原始训练成本的百分之一甚至更少,便能获得接近专用模型的领域表现76% 相似待验证在填充任务上,Diffusion-LM在自动评估指标上优于COLD和DELOREAN等基于连续松弛的方法,并达到专门从零训练的自回归模型水平且无需针对性训练76% 相似待验证如果实际训练仅限制在零空间的正交补(U_perp)上,性能还有望进一步提升。75% 相似待验证O'Brien 等人同期研究发现,当使用中期训练教模型在指定上下文内失准行为可接受(用生造词 <quarantine_token> 标记),并用符合该格式的 SFT/RL 训练数据时,失准泛化可以降低,但没有超过接种提示的效果。75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1153748API
curl https://kongchang.com/api/v1/knowledge/claims/1153748MCP
get_claim(id=1153748)