待验证50% 置信事实精确时间

在模型排行榜、A/B测试或学术对比中，若仅依赖一个提示，排名可能因措辞的微小变化而翻转。

1

来源数

50%

置信度

长期有效

时效性

2026/10/30

首次发现

来源

Prompt Lottery：LLM评审对同义改写的敏感度危机

涉及实体

LLM-as-a-Judgeconcept Prompt Lotteryconcept

相关事实

待验证同一个模型在不同评测平台上的排名可能大相径庭75% 相似待验证当研究者用相同的模型运行不同的测试框架时，得分往往出现明显波动71% 相似待验证在评估回归检测中，如果候选的下界高于基线的下界（或基线点估计），才有统计依据说它没有变差；否则只能判定为不确定。71% 相似待验证当头部模型的基准测试分数日趋接近，参数数字对普通用户的感知差异越来越小，决定用户留存的是模型在日常场景中是否好用、可靠、省时。70% 相似待验证如果重排序后的最高分低于基于测试集验证过的阈值，应告知模型未找到相关内容。70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1114686

API

curl https://kongchang.com/api/v1/knowledge/claims/1114686

MCP

get_claim(id=1114686)