待验证50% 置信解决方案精确时间

分散损失的梯度回传需穿越L2归一化操作，该操作在向量范数趋近零时存在数值不稳定风险，实现中需加入epsilon平滑项（如ε=1e-8）

1

来源数

50%

置信度

长期有效

时效性

2026/7/7

首次发现

来源

分散损失：破解小语言模型嵌入坍缩的关键技术

hackernewshackernews2026/7/3

相关事实

待验证正交变换保持向量的L2范数和向量间夹角不变，正交矩阵的条件数恒为169% 相似待验证模型塌陷分为两个渐进阶段：早期塌陷阶段输出均值发生漂移，晚期塌陷阶段输出方差趋近于零、生成内容收敛为同质化单一模式68% 相似待验证经典ODE理论要求向量场在L无穷范数下逐点接近，但扩散模型训练中只能获得L2意义下的score误差估计68% 相似待验证早停在优化角度上等价于限制参数从初始化点出发的移动距离，与L2正则化具有等价性68% 相似待验证为Dice损失的分子分母添加平滑常数（通常取1.0）可以有效避免分母接近零时的数值不稳定68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/199065

API

curl https://kongchang.com/api/v1/knowledge/claims/199065

MCP

get_claim(id=199065)