LLM评估分数重跑一次就变，你的评分体系还可靠吗？

每次发布AI评估分数，你是否想过：同样的输入、同样的模型、同样的评分标准，两次运行的结果会完全一致吗？一项来自rss的实测给出了令人不安的答案：11个技能评估中，有7个分数在两次运行间发生了变化，最大波动达到整整1分。这不是实验室里的极端案例，而是一次无意中产生的自然实验——第二次运行原本只是为了修复重试逻辑，没人专门盯着分数波动。

LLM评估分数重跑差异

同一套流水线，两次评估，七处不同

该团队评估的每个分数，都由模型按照固定评分标准读取 SKILL.md 后生成。他们让11个技能经历两次评估：相同输入文件、相同模型、相同评分标准，间隔两小时。结果如下：

技能	第一次	第二次	差值
`understand-explain`	8.3	9.0	+0.7
`presentation-styling`	7.3	8.0	+0.7
`understand-figma`	8.3	8.7	+0.4
`understand-onboard`	8.0	8.3	+0.3
`understand-knowledge`	8.3	8.0	−0.3
`understand-domain`	8.3	8.0	−0.3
`presentation-structure`	8.3	7.3	−1.0
其余4个技能	—	—	0

最大摆幅正好1分，且方向并不一致——有的往上走，有的往下掉。这意味着你无法用“模型变严格了”或“今天状态不好”来做系统性归因。

一次不干净但更有说明力的实验

坦白讲，两次运行之间团队还调整了生成预算（第一次偶尔在回答前触达token上限）。所以波动中有一部分可能来自运行框架，而非模型判断本身。作者选择公开这个瑕疵，理由很直白：无法审计的自动评分，恰恰会招致最危险的轻信。这次测量是自然实验而非对照实验，应被视为方差下限。

自然实验与对照实验的区别：自然实验（natural experiment）指研究者并不主动操控变量，而是利用现实中偶然发生的变化来观察结果差异。它的优势是贴近真实场景、成本低；劣势是无法排除混杂因素。对照实验（controlled experiment）则要求严格控制变量，只改变一个因素，从而能建立更强的因果关系。本文中团队第二次运行本来只是为了修复重试逻辑，而非有意控制变量，因此属于自然实验。它无法区分分数波动究竟来自模型判断的随机性、采样温度、还是生成预算的变化，但正因如此，它反映的是真实生产环境下的方差，而不是理想条件下的方差下限。将这类结果视为“方差下限”，意思是真实波动很可能更大而非更小。

你该从数据里读出什么

数据给出的启示，比“分数会变”更具体。

可用的分辨率大约是0.5分

不是0.1分。如果你在比较8.3和8.7，无论这两个数字由谁生成，你读到的都是噪声。重跑能活下来的是分段：“9分段”和“7分段”之间的差异有意义，小数点后的数字没有。把0.1分差距放进标题，等于在宣传自己不理解评分工具。

测量分辨率与噪声下限：在计量学中，分辨率指测量工具能可靠区分的最小差异，低于该差异的信号会被噪声淹没。对LLM评估而言，即便评分标准要求给出小数点后一位，模型每次生成仍受采样随机性、上下文顺序和内部状态影响，导致同一输入产生不同判断。当两次运行的同一技能分数差达到0.7甚至1.0分时，说明系统噪声已经超过了0.1分的刻度。因此，任何小于约0.5分的差距都不应被当作真实质量差异来解读。这与“测量不确定度”概念一致：报告一个分数时，必须同时报告其不确定度范围，否则读者会误以为8.3和8.7的差异是真实的。实践中，把分数四舍五入到0.5的倍数或直接使用分段标签，是降低误导的有效手段。

发布评分理由，而不只是数字

一个光秃秃的分数，读者无从反驳。该团队每个分数都附带产生它的书面推理，如果你认为 presentation-structure 不该只有7.3，可以读理由并提异议。这是“测量”与“带数字的感觉”之间的分界线。

可审计性与评分理由：自动评分系统若只输出一个数字，就切断了从结论回溯到依据的路径，使错误无法被定位、争议无法被仲裁。发布评分理由意味着公开模型的推理链或评分依据，让读者能判断这个分数是否合理。这类似于学术同行评审中的“可复现性”要求：不仅要有结果，还要有能支撑结果的过程。当评分附带理由时，即使分数因随机性波动，读者也能理解波动来自哪一维度的判断差异，而不是盲目接受或全盘否定。对于排行榜、质量门禁等场景，保留推理过程还能在模型更新后快速定位分数变化的原因，避免把系统噪声误判为质量提升或下降。

围绕波动设计发布形态

既然重跑能让分数动1分，UI、API和标题都必须能吸收这种波动。用分段；永远不要把0.1分差距放进标题；在文档里写明“分数精确到±0.5”，这比一个未经修饰的数字诚实一百倍，且不花你一分钱。

给你的评估流水线的三条自查清单

如果你正在运行任何自动化评分，本周可以做三件事：

用相同输入重跑10~20个已评分项目。 几乎没人做这件事，而答案总会令人意外。
测量你自己的分辨率下限，并写进文档。明确标注误差范围，远比裸分数可信。
保留推理过程。 如果评估只输出数字，你无法调试、无法申诉，也无法在别人质疑时解释。

作者使用的评分标准已公开，包含权重和各维度含义。无论你构建的是排行榜、质量门禁还是评估系统，这组数据都指向同一个结论：自动分数的可信度，取决于你是否诚实地呈现它的不确定度。