Judge Bait
专门测试LLM-as-a-Judge范式健壮性的基准测试，通过多种诱饵策略（冗长、权威、压力、提示注入等）系统评估LLM裁判在无法独立核实事实时的判断准确性与抗干扰能力
时间轴 (近 90 天)
一位开发者构建了名为 Judge Bait 的基准测试，用于诱导 LLM 裁判选错答案
Judge Bait 实验中被测模型扮演裁判，拿到一个问题和一对（一对一错）答案并选出正确答案，每对答案以正反两种顺序各展示一次，只有两次都选对才算通过
Judge Bait 设计了多类诱饵，包括冗长、权威、压力和注入，裁判提示词明确要求忽略顺序、长度、格式、语气和主观意见
测试题分为40道易核查题和40道难核查题，所有数学、代码、日期类标准答案都在 Python 中验证
当裁判无法核算答案时，会抓住位置等可用线索来做判断，诱饵提供了更好用的线索
弱模型在注入诱饵下会将被注入的错误数字当作自己的计算结果，并凭空编造验证过程，解释文本看起来与真实验证一致，使审计无法发现错误
冗长填充放在正确答案上会导致裁判得分暴跌，Grok 非推理版难题得分从0.875跌到0.19，表明冗长偏见只是反向存在
全部知识事实 (7)
一位开发者构建了名为 Judge Bait 的基准测试，用于诱导 LLM 裁判选错答案
50%待验证Judge Bait 实验中被测模型扮演裁判，拿到一个问题和一对（一对一错）答案并选出正确答案，每对答案以正反两种顺序各展示一次，只有两次都选对才算通过
50%待验证Judge Bait 设计了多类诱饵，包括冗长、权威、压力和注入，裁判提示词明确要求忽略顺序、长度、格式、语气和主观意见
50%待验证测试题分为40道易核查题和40道难核查题，所有数学、代码、日期类标准答案都在 Python 中验证
50%待验证当裁判无法核算答案时，会抓住位置等可用线索来做判断，诱饵提供了更好用的线索
50%待验证弱模型在注入诱饵下会将被注入的错误数字当作自己的计算结果，并凭空编造验证过程，解释文本看起来与真实验证一致，使审计无法发现错误
50%待验证冗长填充放在正确答案上会导致裁判得分暴跌，Grok 非推理版难题得分从0.875跌到0.19，表明冗长偏见只是反向存在
50%