待验证50% 置信事实精确时间
ShallowDefend 支持自我验证奖励（规则实现，无需额外评判模型或人工标注）和 LLM-as-judge 奖励（用于分级决策空间）。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/30
首次发现
有效期至：2027/1/28
来源
涉及实体
相关事实
待验证在支付等高风险场景中，LLM-as-judge 的评审提示词应尽可能收窄到可验证的具体声明，并用人工标签校准评审的可靠性。68% 相似待验证无奖励筛选采用共识机制（多次采样接管，保留结果一致的片段）或LLM评判（由大模型判断接管是否合理）来过滤低质量轨迹，整个过程不依赖任务成功信号。68% 相似待验证判定任务成功的常见方式包括基于规则的启发式判断、使用另一个 LLM 作为评判者（LLM-as-a-judge）打分、以及人工标注的黄金集合对比65% 相似待验证Agent评测需应对非确定性输出，通常结合规则匹配、LLM-as-Judge和人工标注多种方式64% 相似待验证缓解LLM-as-judge偏差的实践手段包括：固定judge模型版本、在rubric中给出正反例、使用确定性指标作为交叉校验、对judge输出做定期人工抽检。64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1115332API
curl https://kongchang.com/api/v1/knowledge/claims/1115332MCP
get_claim(id=1115332)