待验证50% 置信事实精确时间

训练完成后LoRA权重可以合并回原模型，或以适配器形式单独保存供灵活切换

1

来源数

50%

置信度

长期有效

时效性

2026/9/17

首次发现

来源

9美元让Gemini训练出替代自己的小模型：模型蒸馏实践观察

涉及实体

相关事实

待验证权重归一化技术将权重向量分解为方向与模长两个独立分量分别优化，可显著改善训练稳定性78% 相似待验证微调训练过程中需要同时保存模型权重、梯度、优化器状态，显存消耗通常是推理时的 3-4 倍74% 相似待验证LARA 在选定的若干层上训练一个低秩残差适配器，而不是直接修改模型的原始权重73% 相似待验证技能包模式通过一层工程规范约束引导模型行为，无需重新训练模型73% 相似待验证批归一化由Ioffe与Szegedy于2015年提出，通过在每个mini-batch上对激活值进行归一化来稳定训练72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/929641

API

curl https://kongchang.com/api/v1/knowledge/claims/929641

MCP

get_claim(id=929641)