Unverified50% confidenceSolutionExact time
分散损失是一种在训练目标中显式加入约束项、鼓励嵌入向量在空间中尽可能散开的正则化方法，用于对抗小语言模型中的嵌入坍缩
1
Sources
50%
Confidence
Long-term
Relevance
7/7/2026
First Seen
Sources
分散损失：破解小语言模型嵌入坍缩的关键技术
hackernewshackernews7/3/2026
Related Claims
Unverified分散损失通过在标准语言建模损失之外附加正则项，鼓励嵌入向量在空间中尽可能散开85% similarUnverified分散损失属于表示学习正则化方法族群，相较对比学习和白化变换，其优势在于直接作用于嵌入几何且无需构造对比样本对82% similarUnverified分散损失（Dispersion Loss）是一种专门用于对抗小语言模型中嵌入坍缩现象的技术79% similarUnverified嵌入坍缩是指训练过程中模型学到的词嵌入或隐藏表示逐渐挤压到嵌入空间的狭小区域内，导致不同词汇的向量表示高度相似、难以区分74% similarUnverified混合精度训练通常配合损失缩放（Loss Scaling）技术使用，以防止梯度在 FP16 表示范围内消失69% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/189245API
curl https://kongchang.com/api/v1/knowledge/claims/189245MCP
get_claim(id=189245)