Unverified90% confidenceFactTime unknown
Temperature=0（贪心采样）也不能保证模型输出的确定性，至少有三个原因：浮点运算非结合性、MoE路由不确定性、服务端配置漂移
1
Sources
90%
Confidence
Long-term
Relevance
6/1/2026
First Seen
Sources
AI Agent模型分层路由策略：Token成本、幻觉应对与选型实战
bilibili前端小卒
Related Entities
Related Claims
Verified即使将温度设为0，部分推理框架底层仍存在浮点计算的非确定性，导致跨硬件、跨批次的输出差异79% similarUnverified即使将temperature设为0，部分模型仍会因并行计算的浮点误差产生轻微输出波动77% similarVerified大语言模型的非确定性根源于其自回归采样过程，即便temperature设为0，不同推理框架、批处理大小和硬件浮点运算差异都可能导致输出漂移77% similarUnverified加载MTP层后额外浮点运算会导致数值产生微小变化，可能导致模型走不同推理路径产生不同结果，即使温度设为0也会出现71% similarUnverifiedTemperature=0时采用贪婪解码（Greedy Decoding），但由于GPU浮点运算（FP16/BF16精度）的非确定性，实际工程中仍无法保证完全一致的输出70% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/27306API
curl https://kongchang.com/api/v1/knowledge/claims/27306MCP
get_claim(id=27306)