待验证50% 置信事实精确时间

GPU并行归约中因浮点运算不满足结合律，不同线程束执行顺序差异会导致数值结果出现偏差，是非确定性的根本原因

1

来源数

50%

置信度

长期有效

时效性

2026/7/20

首次发现

来源

确定性注意力Transformer：H100实测每token仅0.63焦耳

相关事实

待验证浮点运算不满足结合律，不同线程束的执行顺序差异会导致数值结果出现细微偏差78% 相似待验证非确定性指同一输入在不同运行中可能产生略有差异的输出，在使用GPU并行计算、dropout层或随机采样策略的模型中尤为常见76% 相似待验证GPU非确定性操作在设计上优先考虑性能而非确定性，强制固定执行顺序会引入大量同步屏障显著降低并行效率76% 相似待验证GPU推理部署面临成本、延迟和运维复杂度的不可能三角，无法同时优化这三者71% 相似待验证GPU的SIMD架构在推理阶段面临结构性错配，推理时batch size较小导致算力利用率不足，内存带宽成为核心瓶颈69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/575340

API

curl https://kongchang.com/api/v1/knowledge/claims/575340

MCP

get_claim(id=575340)