DialFork
面向对话智能体过程幻觉评测的基准，通过受控分叉构造偏离规范流程的对话，覆盖24个任务、12个领域，共36,278段对话，采用MIT许可证开源
时间轴 (近 90 天)
IDIAP 研究团队提出了首个面向原始对话文本的过程幻觉评测基准 DialFork。
DialFork 数据集包含 24 个任务、12 个领域，共 36,278 段对话。
DialFork 的全部构造过程由 30 名人类标注者验证。
DialFork 以 MIT 许可证开源，托管在 https://github.com/idiap/dialfork。
DialFork 将过程偏离评测拆分为三个粒度任务：对话集偏离度量（部署智能体监控）、单条对话偏离度量（流程检索）、首次跑偏轮次定位（实时护栏）。
FlowScore 在对话级别评测中在七种编码器上显著优于所有基线方法。
DialFork 的「受控分叉」构造灵感来自软件测试中的「故障注入」（fault injection）思想。
DialFork 的构造方法是在规范对话的指定轮次位置切出分支，注入四种类型的幻觉，使偏离起点、偏离类型、偏离长度成为可独立控制的变量。
实时护栏需要轮次级判断能力，定位「第一次跑偏」的轮次比事后判断整段对话是否正确更有实际价值，因为它决定了介入时机。
全部知识事实 (9)
实时护栏需要轮次级判断能力，定位「第一次跑偏」的轮次比事后判断整段对话是否正确更有实际价值，因为它决定了介入时机。
50%待验证DialFork 数据集包含 24 个任务、12 个领域，共 36,278 段对话。
50%待验证DialFork 的全部构造过程由 30 名人类标注者验证。
50%待验证DialFork 的「受控分叉」构造灵感来自软件测试中的「故障注入」（fault injection）思想。
50%待验证DialFork 的构造方法是在规范对话的指定轮次位置切出分支，注入四种类型的幻觉，使偏离起点、偏离类型、偏离长度成为可独立控制的变量。
50%待验证DialFork 将过程偏离评测拆分为三个粒度任务：对话集偏离度量（部署智能体监控）、单条对话偏离度量（流程检索）、首次跑偏轮次定位（实时护栏）。
50%待验证FlowScore 在对话级别评测中在七种编码器上显著优于所有基线方法。
50%待验证DialFork 以 MIT 许可证开源，托管在 https://github.com/idiap/dialfork。
50%待验证IDIAP 研究团队提出了首个面向原始对话文本的过程幻觉评测基准 DialFork。
50%