待验证50% 置信事实精确时间

FP16的指数位仅5位，可表示的最小正规数约6×10^-5，反向传播中的输入梯度容易下溢为零，导致浅层完全学不到东西。

1

来源数

50%

置信度

长期有效

时效性

2026/10/20

首次发现

来源

手机NPU上实现一阶LoRA训练：无需上传隐私数据

涉及实体

FP16concept 梯度下溢concept

相关事实

待验证Sigmoid函数的导数最大值仅为0.25，经过数十层连乘后梯度会指数级衰减67% 相似待验证在 TurnBench 开发集的零样本设定下，FD-VAD 在误报率 FP≤0.10 约束下取得最高 EOT 召回率 0.85365% 相似待验证在最接近现实的设定中（未言明约束需主动发现），表现最好的模型配置平均FDE-Gym得分仅为0.5663% 相似待验证4比特量化相较于FP16通常会导致0.5-2%的基准测试精度下降63% 相似待验证Q8_0 量化将模型权重从 32 位浮点数压缩为 8 位整数，精度损失相比 FP32 通常在 1% 以内62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1074635

API

curl https://kongchang.com/api/v1/knowledge/claims/1074635

MCP

get_claim(id=1074635)