待验证50% 置信解决方案精确时间

Motif团队在预训练早期遭遇异常激活问题，根因是权重初始化导致异常权重值（如2或-2），修复初始化方式后问题得以解决

1

来源数

50%

置信度

长期有效

时效性

2026/10/4

首次发现

来源

30人韩国小队的突围：Motif如何用千卡GPU闯进开源模型前五

涉及实体

相关事实

待验证Motif在后训练阶段采用「失败驱动的SFT」策略：通过基准测试和内部场景识别模型弱点，再生成针对性数据集进行训练68% 相似待验证不同模型在抗诱导能力上的差异很大程度上源于后训练阶段（post-training）的策略差异62% 相似已验证过拟合的应对方法包括增加训练数据、正则化、早停和Dropout62% 相似待验证RLHF和DPO等对齐技术的效果高度依赖预训练基础质量，预训练阶段未习得的能力几乎无法通过后续对齐补救62% 相似待验证解决灾难性遗忘的方案是在训练时混入10%-20%的原始预训练数据62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/973084

API

curl https://kongchang.com/api/v1/knowledge/claims/973084

MCP

get_claim(id=973084)