待验证50% 置信事实精确时间

一个ULP（最后一位的单位）的偏差经过数万步反向传播累积放大，足以让模型走向完全不同的参数空间

1

来源数

50%

置信度

长期有效

时效性

2026/10/8

首次发现

来源

NVIDIA Megatron Core实现位级确定性预训练解析

涉及实体

相关事实

待验证将推测采样迁移到扩散模型的挑战在于扩散模型的采样空间是连续高维分布而非离散词表，需重新设计接受-拒绝规则66% 相似待验证反向传播需要缓存前向传播的中间激活值以计算梯度，在超大模型上带来沉重的显存负担66% 相似待验证多步推理意味着多次模型调用，在真实流量下token消耗和响应延迟会呈非线性增长65% 相似待验证Agent链式调用多步之后，每次LLM输出的细微差异导致误差逐步放大，最终结果偏离预期65% 相似已验证一致性模型和流匹配等加速方案正在缩短扩散模型多步推理的计算开销差距65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/990031

API

curl https://kongchang.com/api/v1/knowledge/claims/990031

MCP

get_claim(id=990031)