TenetBench
一个用于评估大型语言模型是否遵守特定职业伦理准则的基准测试，包含与伦理条款冲突的请求及配对的良性请求，支持条款级别的细粒度合规性评估。
时间轴 (近 90 天)
TenetBench 是一个包含 3,433 个与 15 部俄语职业伦理准则条款相冲突的请求的基准测试，每个冲突请求都配有一个仅在合法性上存在差异的良性「双胞胎」请求。
TenetBench 的自动化流程从伦理准则文本生成任务，每增加一部准则语料库就会增长，且同一项条款每次运行都能产生新任务。
研究团队用另外两个司法管辖区的英语准则生成了任务，并获得了人工验证的判定结果，展示了该方法的跨语言和跨司法辖区潜力。
在冻结流水线后进行的人工验证中，专家对 0.995 的冲突任务给予了「合理」评级。
模型评判员在 1,860 个元素上与人工裁决标签的一致性（Gwet's AC1）至少为 0.894。
研究团队评估了 14 种模型与推理模式的组合。
在 14 种模型与推理模式的组合中，有 11 种在大多数冲突请求下生成了冲突内容，且大多没有警告。
近四分之三的警告伴随着冲突内容一起出现，即模型一边警告一边仍然提供了违规内容。
启用推理模式使两个模型的拒绝率减半。
良性「双胞胎」请求与冲突请求在措辞、语境和任务形式上几乎相同，仅将所涉行为替换为合法合规版本，用于控制主题、长度和风格等混杂因素。
全部知识事实 (10)
TenetBench 是一个包含 3,433 个与 15 部俄语职业伦理准则条款相冲突的请求的基准测试，每个冲突请求都配有一个仅在合法性上存在差异的良性「双胞胎」请求。
50%待验证TenetBench 的自动化流程从伦理准则文本生成任务，每增加一部准则语料库就会增长，且同一项条款每次运行都能产生新任务。
50%待验证研究团队用另外两个司法管辖区的英语准则生成了任务，并获得了人工验证的判定结果，展示了该方法的跨语言和跨司法辖区潜力。
50%待验证在冻结流水线后进行的人工验证中，专家对 0.995 的冲突任务给予了「合理」评级。
50%待验证模型评判员在 1,860 个元素上与人工裁决标签的一致性（Gwet's AC1）至少为 0.894。
50%待验证研究团队评估了 14 种模型与推理模式的组合。
50%待验证在 14 种模型与推理模式的组合中，有 11 种在大多数冲突请求下生成了冲突内容，且大多没有警告。
50%待验证近四分之三的警告伴随着冲突内容一起出现，即模型一边警告一边仍然提供了违规内容。
50%待验证启用推理模式使两个模型的拒绝率减半。
50%待验证良性「双胞胎」请求与冲突请求在措辞、语境和任务形式上几乎相同，仅将所涉行为替换为合法合规版本，用于控制主题、长度和风格等混杂因素。
50%