SIT-Eval
一种面向对话Agent的逐轮情境化评测框架，将Agent行为形式化为条件规则，用LLM对话者与LLM裁判驱动多轮交互评测，强调对稀有但关键情境的覆盖而非对话自然流畅度。
时间轴 (近 90 天)
SIT-Eval（Situation-Based Interactive Turn-by-Turn Evaluation）是一个逐轮情境化评测框架，将Agent行为形式化为「如果情境P发生，则必须遵守规则Q」，并用LLM对话者与LLM裁判共同驱动评测流程。
SIT-Eval放弃对话的自然流畅度，换取跨场景的统计可靠性，用自适应情境采样替代自然对话采样。
SIT-Eval的裁判接收完整对话历史、当前轮情境、适用规则及Agent回复，输出每条规则的逐项通过与失败，而非笼统分数。
SIT-Eval编排三个LLM组件：对话者负责均匀采样情境并演绎它；被测Agent作出回复；裁判基于情境规则逐条判定。
SIT-Eval每轮需维护四类状态：完整对话历史、当前激活情境、适用规则集合、跨轮次规则遵守记录。
论文在1,292个对话轮次上评测了8个LLM，发现整体得分相近的模型在单条规则遵守率上差异巨大。
所有被测模型最薄弱的环节集中在模糊澄清与苏格拉底式提问，这些场景在静态基准中几乎不被测试。
N个情境乘以M条规则，朴素枚举会产生N×M个测试用例；SIT-Eval用均匀采样控制执行时间，但论文未给出「均匀」之外的采样细节。
逐轮评测的速度不适合每次提交都跑，合理部署应分三层：提交时跑聚合指标快速路径、发布候选版本跑完整SIT-Eval慢路径、生产环境持续采样真实对话做离线评测。
对抗性Agent可能构造欺骗裁判的回复；如果Agent能推断出正在测试哪个情境，就可能针对性刷分；情境定义若被注入恶意提示，也可能污染评测管线。
还有 2 条时间轴事件
全部知识事实 (12)
SIT-Eval（Situation-Based Interactive Turn-by-Turn Evaluation）是一个逐轮情境化评测框架，将Agent行为形式化为「如果情境P发生，则必须遵守规则Q」，并用LLM对话者与LLM裁判共同驱动评测流程。
50%待验证SIT-Eval放弃对话的自然流畅度，换取跨场景的统计可靠性，用自适应情境采样替代自然对话采样。
50%待验证SIT-Eval的裁判接收完整对话历史、当前轮情境、适用规则及Agent回复，输出每条规则的逐项通过与失败，而非笼统分数。
50%待验证SIT-Eval编排三个LLM组件：对话者负责均匀采样情境并演绎它；被测Agent作出回复；裁判基于情境规则逐条判定。
50%待验证SIT-Eval每轮需维护四类状态：完整对话历史、当前激活情境、适用规则集合、跨轮次规则遵守记录。
50%待验证论文在1,292个对话轮次上评测了8个LLM，发现整体得分相近的模型在单条规则遵守率上差异巨大。
50%待验证所有被测模型最薄弱的环节集中在模糊澄清与苏格拉底式提问，这些场景在静态基准中几乎不被测试。
50%待验证N个情境乘以M条规则，朴素枚举会产生N×M个测试用例；SIT-Eval用均匀采样控制执行时间，但论文未给出「均匀」之外的采样细节。
50%待验证逐轮评测的速度不适合每次提交都跑，合理部署应分三层：提交时跑聚合指标快速路径、发布候选版本跑完整SIT-Eval慢路径、生产环境持续采样真实对话做离线评测。
50%待验证对抗性Agent可能构造欺骗裁判的回复；如果Agent能推断出正在测试哪个情境，就可能针对性刷分；情境定义若被注入恶意提示，也可能污染评测管线。
50%待验证缓解裁判自身不可靠的手段包括多裁判交叉、情境标签盲化、情境定义预校验和沙箱隔离；生产部署还需裁判置信度分数、低置信度人工复核、裁判版本A/B测试。
50%待验证SIT-Eval适用于Agent行为高度依赖上下文、需要测试稀有但关键的安全与合规情境、且愿意投入情境分类学与规则定义的场景；不适用于对话自然度为首要指标、缺乏领域专家定义规则、或评测预算无法支撑裁判验证的场景。
50%