Temperature 0不等于确定性：五个LLM输出确定性误区与重跑测试工具

测试在本地通过，在CI里却每周失败一次。提示词没改，那到底变了什么？大多数团队的回答是“模型不稳定”，但这个答案掩盖了一个可修复的断言缺陷。本文拆解开发者对LLM确定性的五个常见误解，并提供一个可重跑的小型测试工具，帮你量化自己的环境到底有多“不确定”。

LLM确定性测试示意图

为什么误区如此顽固

模型输出在演示中看起来稳定：你发一个提示词，两次得到相同结构的JSON。但两次样本根本不构成证据。

确定性是需要通过多次运行来测量的属性，不是你在playground标签页里感受到的“氛围”。正是这种样本偏差，让“温度0就确定”的说法在团队中代代相传。

误区一：Temperature 0意味着确定性

并非如此。OpenAI的可复现性指南将低温度描述为“大体确定”，而非保证。文档同时警告，相同请求可能返回不同输出。

原因在于批处理、GPU内核差异，以及后端配置之间的路由——你的请求落在哪里有容量就去哪里。

修正后的心智模型：温度0只是收窄了分布，并没有钉死一个样本。

误区二：种子让实验可复现

种子有帮助，但只是尽力而为。同一份指南建议将 seed 与 system_fingerprint 一起记录。

如果指纹变了，说明后端换了，你所谓的“相同”运行其实是一个不同的实验。

修正后的模型：种子 + 指纹 + 模型版本，三者共同构成你的可复现键。缺任何一块，重放都是猜测。

误区三：相同提示词意味着相同token

你的提示词字符串并不是模型看到的提示词。聊天模板会注入系统文本，某些SDK还会添加默认值。

分词器也因模型而异：一个模型上40个token的字符串，在另一个模型上可能是43个。

修正后的模型：比较渲染后的提示词，而非源字符串。记录渲染负载的哈希值。

误区四：字符串不同意味着逻辑不同

很多时候逻辑完全一致，只是格式漂移了：

JSON对象的键顺序不同
1 与 1.0 表示同一个数字
多余的空格或尾随换行
合法JSON外面包裹了Markdown代码围栏

比较归一化后的输出，或者更好的是，比较解析后的字段值。

修正后的模型：对schema和字段值做断言，不要对原始字符串做断言。

误区五：输出分歧意味着模型坏了

有时确实坏了，但通常不是。先问一个问题：分歧是否改变了下游决策？

如果两个输出都能解析并通过验证器，管道就是正常的。如果其中一个未通过验证，你找到了真正的缺陷。

修正后的模型：分歧是数据，只有决策变化才是事故。

重跑测试工具：小、无聊、可重复

下面这个工具发送同一个提示词N次，报告你得到多少个不同的归一化输出。任何兼容OpenAI的端点都能用，设置三个环境变量即可运行。

import hashlib, json, os, re
from collections import Counter
from openai import OpenAI

client = OpenAI(
    base_url=os.environ['LLM_BASE_URL'],
    api_key=os.environ['LLM_API_KEY'],
)
MODEL = os.environ['LLM_MODEL']
PROMPT = 'Return one JSON object with exactly two keys: name, age.'
N = int(os.environ.get('N', '20'))

def normalize(text: str) -> str:
    text = re.sub(r'^```(?:json)?|```$', '', text.strip(), flags=re.M)
    return re.sub(r'\s+', ' ', text).strip()

def digest(text: str) -> str:
    return hashlib.sha256(normalize(text).encode()).hexdigest()[:12]

def schema_ok(text: str) -> bool:
    try:
        obj = json.loads(normalize(text))
    except json.JSONDecodeError:
        return False
    return isinstance(obj, dict) and set(obj) == {'name', 'age'}

def run_once(seed=None):
    kwargs = {
        'model': MODEL,
        'temperature': 0,
        'messages': [{'role': 'user', 'content': PROMPT}],
    }
    if seed is not None:
        kwargs['seed'] = seed
    resp = client.chat.completions.create(**kwargs)
    text = resp.choices[0].message.content or ''
    return text, getattr(resp, 'system_fingerprint', None)

def main():
    hashes, valid, fps = Counter(), 0, Counter()
    for _ in range(N):
        text, fp = run_once(seed=7)
        hashes[digest(text)] += 1
        valid += schema_ok(text)
        fps[fp] += 1
    print(json.dumps({
        'runs': N,
        'distinct_normalized_outputs': len(hashes),
        'schema_valid_share': round(valid / N, 3),
        'system_fingerprints': dict(fps),
    }, indent=2))

if __name__ == '__main__':
    main()

工具故意不打印示例数字——你没运行过，那些数字就是虚构的。建议针对免费模型访问跑这类探针，因为重复才是关键。文中提及MonkeyCode提供免费模型访问和免费服务器选项，请将其视为可用性声明，并用你自己的负载去验证。披露：本文是MonkeyCode产品推广的一部分。

如何解读输出

逐字段说明：

distinct_normalized_outputs 大于1，说明存在字符串级的不确定性。
schema_valid_share 小于1，说明你有生产缺陷，不是“偶发不稳定”。
出现多个 system_fingerprint，说明运行中途后端发生了变化。
单一指纹但多个不同输出，指向推理过程中的不确定性。
单一指纹且单一输出，在N=20时仍然不能证明什么。

断言策略决策表

你的目标	应该断言	绝不应该断言
CI稳定性	schema加字段约束	精确原始字符串
回归测试	带指纹记录的固定样本	实时模型调用
提示词调优	20次以上的通过率	单次样本
调试失败	渲染提示词哈希加指纹	记忆中的提示词

局限性与谁应该跳过

这个工具测量的是你的端点，不是一般意义上的确定性。N=20是冒烟测试，不是比率估计。提供方缓存可能隐藏方差、虚高稳定性数字。

如果你需要位精确重放用于审计、计费或受监管输出，跳过这个方法。那些场景下应记录每次响应并与固定样本比较，永远不要对比实时模型。

如果你的提示词没有验证器，也请跳过——收集二十个未解析的字符串教不了你任何东西。

值得保留的一个习惯

每次调用都记录三样东西：渲染提示词哈希、模型版本、指纹。下个月测试失败时，你可以在几分钟内回答“什么变了”。

拿你手头已有的免费访问跑一下这个工具，然后告诉我你的不同输出计数，而不是你的直觉。

延伸阅读：OpenAI Cookbook，“Reproducible outputs with the seed parameter”。引用前请在你的提供方文档中确认最新措辞。