Unverified70% confidenceFactExact time
批归一化由Ioffe与Szegedy于2015年提出，通过在每个mini-batch上对激活值进行归一化来稳定训练
2
Sources
70%
Confidence
Long-term
Relevance
7/12/2026
First Seen
Sources
深度学习理论：神经网络为何有效？理论研究全解析
hackernewshackernews7/11/2026
Related Claims
Unverified批次归一化由 Ioffe 和 Szegedy 在 2015 年提出，通过对每个小批次输入进行标准化来加速训练并稳定梯度流动76% similarUnverified训练完成后LoRA权重可以合并回原模型，或以适配器形式单独保存供灵活切换72% similarUnverified权重归一化技术将权重向量分解为方向与模长两个独立分量分别优化，可显著改善训练稳定性70% similarUnverified一个务实的做法是先用标准激活函数训练出稳定基线，再逐步替换为PReLU或可训练Swish等轻量级方案，通过A/B对比验证是否改善WER65% similarUnverified微调训练过程中需要同时保存模型权重、梯度、优化器状态，显存消耗通常是推理时的 3-4 倍64% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/494301API
curl https://kongchang.com/api/v1/knowledge/claims/494301MCP
get_claim(id=494301)