待验证50% 置信事实精确时间
一项题为《Prompt Lottery in LLM-as-a-Judge: Measuring and Mitigating Sensitivity to Syntactic Rephrasing》的研究揭示，语义等价但措辞不同的提示变体会导致LLM评审给出不一致的判决，研究者将这种现象命名为Prompt Lottery。
1
来源数
50%
置信度
长期有效
时效性
2026/10/30
首次发现
来源
涉及实体
相关事实
待验证LLM评判者的选择对最终研究结论有重大影响，使用质量不够高的LLM作为评判者可能高估上下文-记忆冲突的强度70% 相似待验证LLM作为奖励评判器时，奖励的确定性和可复现性下降，同一答案在不同提示或采样下可能得到不同评分，给训练稳定性带来挑战。69% 相似待验证LLM-as-a-judge 方法中，以多个评委取多数或平均来提高可靠性的隐含假设是评委之间相互独立、能发现彼此的错误。69% 相似待验证LLM-as-a-Judge方法引入额外的推理成本，并可能出现攻守同质化问题——攻击者可用语言不可读性手段欺骗充当裁判的模型68% 相似待验证部分审稿人直接使用LLM生成审稿意见，这些意见往往表面流畅却包含事实性错误，对数学证明类工作尤为有害68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1114679API
curl https://kongchang.com/api/v1/knowledge/claims/1114679MCP
get_claim(id=1114679)