Unverified50% confidenceSolutionExact time
分散损失的梯度回传需穿越L2归一化操作，该操作在向量范数趋近零时存在数值不稳定风险，实现中需加入epsilon平滑项（如ε=1e-8）
1
Sources
50%
Confidence
Long-term
Relevance
7/7/2026
First Seen
Sources
分散损失：破解小语言模型嵌入坍缩的关键技术
hackernewshackernews7/3/2026
Related Claims
Unverified正交变换保持向量的L2范数和向量间夹角不变，正交矩阵的条件数恒为169% similarUnverified模型塌陷分为两个渐进阶段：早期塌陷阶段输出均值发生漂移，晚期塌陷阶段输出方差趋近于零、生成内容收敛为同质化单一模式68% similarUnverified经典ODE理论要求向量场在L无穷范数下逐点接近，但扩散模型训练中只能获得L2意义下的score误差估计68% similarUnverified早停在优化角度上等价于限制参数从初始化点出发的移动距离，与L2正则化具有等价性68% similarUnverified为Dice损失的分子分母添加平滑常数（通常取1.0）可以有效避免分母接近零时的数值不稳定68% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/199065API
curl https://kongchang.com/api/v1/knowledge/claims/199065MCP
get_claim(id=199065)