概念LLM-as-a-judge / LLM裁判
LLM judge
使用大语言模型作为评判者对模型输出进行自动评分的范式，通常配合评分标准（rubrics）使用
时间轴 (近 90 天)
9月16日
LLM裁判在检测遗漏类错误上的表现接近于抛硬币
待验证50%
9月16日
LLM裁判机制验证的是信息的存在而非缺失，因此对遗漏没有明确的锚点去触发核查
待验证50%
9月16日
解决遗漏检测的方法是重构任务而非升级裁判模型
待验证50%
9月11日
研究团队使用LLM作为裁判，对每个主成分找出最强和最弱激活样本，评估是否暗示可迁移的欺骗方向并打分，选取得分最高的主成分子集训练探针
待验证50%