待验证50% 置信事实精确时间

使用权重衰减时，修复后的实现加快了grokking的出现；不使用权重衰减时，防止了精度崩溃。

1

来源数

50%

置信度

长期有效

时效性

2026/10/23

首次发现

来源

Softmax与交叉熵的两大数值Bug及修复方案

涉及实体

grokkingconcept 权重衰减concept 精度崩溃concept

相关事实

待验证精修方案改善了退化控制，但对比度仍会随时间变差，背景中仍会出现溶解现象，问题未根除77% 相似待验证低秩分解会带来截断误差导致模型精度下降，需要通过短时间微调（称为healing/修复）来弥补损失74% 相似待验证对对数方差做截断（clamp）起到正则化作用，防止模型通过抬高困难节点的方差来降低损失；去掉截断后校准效果明显退化。73% 相似待验证Ratio clipping能推迟失效，对更大batch的效果尤其明显，但如果没有它，进展差距依然存在，说明裁剪更像是一种「延缓剂」而非根治方案。72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1088270

API

curl https://kongchang.com/api/v1/knowledge/claims/1088270

MCP

get_claim(id=1088270)