SIT-Eval：对话Agent评测的管道缺口与逐轮评估新范式

对话Agent在生产环境中的失败，往往不是整体能力不足，而是评测方式出了问题。一个客服机器人可能在整体准确率上拿到85分，却会在用户提出模糊问题或需要澄清时彻底翻车——这个信息在单一的聚合指标里完全看不到。SIT-Eval（Situation-Based Interactive Turn-by-Turn Evaluation）正是针对这一盲区提出的逐轮情境化评测框架，它把Agent行为形式化为「如果情境P发生，则必须遵守规则Q」，并用LLM对话者与LLM裁判共同驱动评测流程。

为什么聚合指标会掩盖失败

传统对话基准依赖静态自然语料，稀有情境在样本中占比极低，而低概率事件在规模化生产里会变成高频故障。这是一个结构性安全缺口，而不是模型能力问题。

SIT-Eval 的取舍很明确：放弃对话的自然流畅度，换取跨场景的统计可靠性。它用自适应情境采样替代自然对话采样，保证模糊提问、安全边界、苏格拉底式引导等「不常见但关键」的场景被均匀覆盖。

情境规则如何定义

规则被写成条件判据。例如，当用户表达不确定时，Agent必须先澄清再推进；如果它直接给出结论，即便整段对话在其他指标上「成功」，这一轮也应判定为失败。裁判拿到的是完整对话历史、当前轮情境、该情境下所有适用规则以及Agent的回复，输出的是每条规则的逐项通过与失败，而不是一个笼统的分数。

静态自然语料基准通常指基于人工撰写的对话数据集或从真实日志中采样构建的测试集，其对话分布反映的是“常见对话”而非“关键对话”。在这种分布下，稀有但高风险的情境（如用户表达模糊、涉及安全边界、需要苏格拉底式引导）出现频率极低，模型即使在这些情境下系统性失败，对整体聚合指标的拉低也很有限。这与生产环境的实际风险形成错配：线上流量规模会把低概率事件放大为高频故障，而聚合指标恰恰对此不敏感。因此，仅靠静态自然语料基准无法保障部署安全，需要按情境而非按自然频率来组织测试集。

苏格拉底式引导指Agent不直接给出答案，而是通过一系列追问引导用户自行推理、澄清或修正认知的对话策略。它常见于教育、辅导、心理健康等场景，其质量很难用最终答案正确与否来衡量，更多体现在追问的时机、粒度与逻辑递进上。在SIT-Eval的规则体系里，苏格拉底式引导可以被形式化为“当用户给出不完整推理时，Agent必须先追问缺失前提而非直接补全结论”这类条件判据。这类规则对逐轮判定提出较高要求：单看某一轮回复可能都合理，只有放在完整对话历史中才能判断追问是否恰当，这也是聚合指标难以捕捉它的原因。

三组件架构与状态管理

SIT-Eval 编排三个LLM组件：对话者负责均匀采样情境并在对话中演绎它；被测Agent作出回复；裁判基于情境规则逐条判定。

每个轮次都需要维护四类状态：完整对话历史、当前激活情境、适用规则集合、以及跨轮次的规则遵守记录。这比单轮评测复杂得多，管线必须在推进对话的同时不断切换情境并保持上下文一致性。

论文在1,292个对话轮次上评测了8个LLM，发现整体得分相近的模型在单条规则遵守率上差异巨大。所有模型最薄弱的环节集中在模糊澄清与苏格拉底式提问——这些恰恰是生产环境里最容易出问题的地方，却在静态基准中几乎不被测试。

组合爆炸与采样策略

N个情境乘以M条规则，朴素枚举会产生N×M个测试用例。SIT-Eval 用均匀采样把执行时间控制在可接受范围，但论文并未给出「均匀」之外的采样细节。实际落地还需要分层采样保证稀有情境出现、按风险加权采样、以及失败回放机制。

分层采样指先将情境按类型（如安全边界、模糊澄清、多轮澄清）或风险等级划分成若干层，再在每层内独立采样，以保证稀有层不被高频层淹没。按风险加权采样则是在层内按业务影响或违规严重程度分配采样概率，使高风险情境获得更高测试密度。失败回放机制指将历史上触发规则失败的对话轮次及其情境上下文固化下来，在后续版本评测中优先重跑，用于回归检测。三者结合可以在N×M组合空间中用有限预算覆盖最关键的区域，弥补论文仅提及“均匀采样”而缺少的工程细节。

部署形态：把评测当基础设施

逐轮评测的速度不适合每次提交都跑。合理的部署是三层：每次提交跑聚合指标的快速路径；发布候选版本跑完整SIT-Eval慢路径；生产环境持续采样真实对话做离线评测。

Agent需要暴露轮级决策轨迹、每条回复的置信度、内部状态快照。没有这些埋点，你只知道它失败了，却不知道失败在哪一步。

裁判本身也会失败

LLM裁判是一个会犯错的Agent：可能把正确行为误判为违规，可能漏掉真实违规，也可能对相似情境给出不一致的判断。论文用人工校验的合成黄金对话来验证裁判，但成本高且难以规模化。生产部署需要裁判置信度分数、低置信度人工复核、以及裁判版本之间的A/B测试。

安全边界同样值得警惕。对抗性Agent可能构造欺骗裁判的回复；如果Agent能推断出正在测试哪个情境，就可能针对性「刷分」；情境定义本身若被注入恶意提示，也可能污染评测管线。对应的缓解手段包括多裁判交叉、情境标签盲化、情境定义预校验和沙箱隔离。

裁判置信度分数要求LLM裁判在输出每条规则判定时附带一个置信度估计，而非只给二元的通过/失败。实践中可通过多次采样取一致性、让裁判输出概率、或训练一个轻量校准器来获得。低置信度判定进入人工复核队列，可在控制成本的同时兜住裁判误判。情境标签盲化指在裁判输入中隐藏当前测试的是哪个情境或哪条规则，防止裁判因“知道在测什么”而产生偏向性判断；多裁判交叉则用多个独立裁判对同一轮次投票，降低单一裁判系统性偏差的影响。这些手段共同构成对裁判自身不可靠性的防御层。

适用边界与技术判断

当你的Agent行为高度依赖上下文、需要测试稀有但关键的安全与合规情境、且愿意投入情境分类学与规则定义时，SIT-Eval 值得采用。反之，如果对话自然度是首要指标、团队缺乏领域专家来定义规则、或评测预算无法支撑裁判验证，这套框架的投入产出比就不划算。

它的真正价值在于暴露细粒度失败模式。把评测当作基础设施建一次、埋好点、持续跑，远比在生产环境里被用户投诉后才发现问题要便宜得多。