待验证50% 置信事实精确时间
thinking Machines Lab 在 2025 年的一篇分析中将 vLLM temperature=0 非确定性问题命名为“批不变性缺失”(lack of batch invariance)。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/18
首次发现
有效期至:2027/1/16
来源
vLLM temperature=0 竟非确定:200条评测23条翻转
rss2026/10/18
涉及实体
相关事实
待验证Temperature=0(贪心采样)也不能保证模型输出的确定性,至少有三个原因:浮点运算非结合性、MoE路由不确定性、服务端配置漂移68% 相似待验证即便温度参数设为0,不同的系统提示词、对话上下文和模型版本更新都会导致LLM输出差异,使品牌可见度测量面临可复现性挑战67% 相似待验证LLM作为裁判评分时,即使将温度设为0,相同的对话轨迹和裁判模型运行五次仍有一次得到不同判决,这种非确定性对于想要接入CI的测试套件是不可接受的。66% 相似待验证将采样温度设为0会让推理模型在思考阶段陷入思考循环卡死66% 相似已验证大语言模型的非确定性根源于其自回归采样过程,即便temperature设为0,不同推理框架、批处理大小和硬件浮点运算差异都可能导致输出漂移65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1060908API
curl https://kongchang.com/api/v1/knowledge/claims/1060908MCP
get_claim(id=1060908)