Unverified50% confidenceFactExact time
表示坍缩指模型将所有输入映射到同一点或低维流形，使损失趋近于零但毫无意义，是自监督学习的核心挑战
1
Sources
50%
Confidence
Long-term
Relevance
7/16/2026
First Seen
Sources
Related Claims
Unverified模型塌陷分为两个渐进阶段：早期塌陷阶段输出均值发生漂移，晚期塌陷阶段输出方差趋近于零、生成内容收敛为同质化单一模式73% similarUnverified预测损失合理但下游控制精度为0%高度符合表征坍缩的特征，即编码器骗过自监督目标却未学到有用动态信息72% similarUnverified分散损失（Dispersion Loss）是一种专门用于对抗小语言模型中嵌入坍缩现象的技术71% similarUnverified在自学习隐空间中预测时，预测质量取决于表示本身质量，由此带来循环依赖问题，容易产生表示坍缩68% similarUnverified分散损失是一种在训练目标中显式加入约束项、鼓励嵌入向量在空间中尽可能散开的正则化方法，用于对抗小语言模型中的嵌入坍缩68% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/533771API
curl https://kongchang.com/api/v1/knowledge/claims/533771MCP
get_claim(id=533771)