概念lack of batch invariance
批不变性缺失
推理引擎中由于批处理导致同一输入在不同批次下产生不同输出的现象,根源在于浮点运算顺序随批形状变化
时间轴 (近 90 天)
10月18日
thinking Machines Lab 在 2025 年的一篇分析中将 vLLM temperature=0 非确定性问题命名为“批不变性缺失”(lack of batch invariance)。
待验证50%
推理引擎中由于批处理导致同一输入在不同批次下产生不同输出的现象,根源在于浮点运算顺序随批形状变化
thinking Machines Lab 在 2025 年的一篇分析中将 vLLM temperature=0 非确定性问题命名为“批不变性缺失”(lack of batch invariance)。