待验证50% 置信事实精确时间
当模型的采样参数（如temperature、top_p）导致输出格式偏离训练分布时，vLLM的解析器可能无法正确匹配边界，从而产生参数截断或格式错误。
1
来源数
50%
置信度
长期有效
时效性
2026/10/26
首次发现
来源
涉及实体
相关事实
待验证使用 vLLM、TensorRT-LLM 做 rollout 再用 PyTorch/DeepSpeed 做训练的异构架构中数值不一致问题尤为突出70% 相似待验证LLM作为裁判评分时，即使将温度设为0，相同的对话轨迹和裁判模型运行五次仍有一次得到不同判决，这种非确定性对于想要接入CI的测试套件是不可接受的。68% 相似待验证LLM 评判器的结果受 temperature、prompt 措辞、模型版本迭代等因素影响，导致同一批测试用例在不同时间运行可能产生不同结论68% 相似待验证thinking Machines Lab 在 2025 年的一篇分析中将 vLLM temperature=0 非确定性问题命名为“批不变性缺失”（lack of batch invariance）。68% 相似已验证LLM的非确定性来源于采样策略，Temperature参数控制输出分布的随机程度，Top-p和Top-k进一步约束候选Token范围68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1099653API
curl https://kongchang.com/api/v1/knowledge/claims/1099653MCP
get_claim(id=1099653)