EpiSEM-Bench
一个用于评估工具型LLM智能体在关键证据缺失情况下安全边界的可执行基准，包含六个领域的300组配对任务，并配备独立审计工具。
时间轴 (近 90 天)
EpiSEM-Bench 是一个可执行基准，涵盖六个领域，包含 300 组匹配的不安全/安全任务对。
EpiSEM-Bench 的每组任务对共享相同的用户请求、工具接口和大部分环境状态，唯一受控差异是某条关键安全事实是否被工具响应所包含。
EpiSEM-Bench 配备一个独立审计工具，用于检验智能体是否会主动寻求缺失事实，以及补全事实后能否在完成合法任务的同时拒绝被禁止的动作。
基准测试揭示了十个模型在缺失鲁棒性、证据获取和恰当行动三个维度上存在显著差异。
对缺失证据的抵抗能力并不必然转化为有用的恢复能力。
恢复访问权限（即允许智能体获取缺失事实）降低了全部十个模型的不安全执行率。
这类失败（因关键事实被省略导致的不安全执行）无法通过对抗训练或事实核查来消除，因为它不涉及虚假信号，只涉及信息缺口。
EpiSEM-Bench 的评测不仅给出二元的安全/不安全判定，还进一步确定观察到的最小失败基数，包括在证据完整时仍然发生的失败，以及在穷尽测试后仍未观察到失败的案例。
在 EpiSEM-Bench 中，配对设计允许基准计算“条件不安全率”，即在控制任务对内部相似性后，模型在缺失版本上的失败增量，这比全局不安全率更能反映模型对证据缺口的敏感度。
单一的不安全执行率指标会掩盖模型间的能力差异，需要同时报告证据获取行为和恢复后的决策质量。
全部知识事实 (10)
EpiSEM-Bench 是一个可执行基准，涵盖六个领域，包含 300 组匹配的不安全/安全任务对。
50%待验证EpiSEM-Bench 的每组任务对共享相同的用户请求、工具接口和大部分环境状态，唯一受控差异是某条关键安全事实是否被工具响应所包含。
50%待验证EpiSEM-Bench 配备一个独立审计工具，用于检验智能体是否会主动寻求缺失事实，以及补全事实后能否在完成合法任务的同时拒绝被禁止的动作。
50%待验证基准测试揭示了十个模型在缺失鲁棒性、证据获取和恰当行动三个维度上存在显著差异。
50%待验证对缺失证据的抵抗能力并不必然转化为有用的恢复能力。
50%待验证恢复访问权限（即允许智能体获取缺失事实）降低了全部十个模型的不安全执行率。
50%待验证这类失败（因关键事实被省略导致的不安全执行）无法通过对抗训练或事实核查来消除，因为它不涉及虚假信号，只涉及信息缺口。
50%待验证EpiSEM-Bench 的评测不仅给出二元的安全/不安全判定，还进一步确定观察到的最小失败基数，包括在证据完整时仍然发生的失败，以及在穷尽测试后仍未观察到失败的案例。
50%待验证在 EpiSEM-Bench 中，配对设计允许基准计算“条件不安全率”，即在控制任务对内部相似性后，模型在缺失版本上的失败增量，这比全局不安全率更能反映模型对证据缺口的敏感度。
50%待验证单一的不安全执行率指标会掩盖模型间的能力差异，需要同时报告证据获取行为和恢复后的决策质量。
50%