HakemBench
面向土耳其语的「类型化决策」基准测试，要求模型为每个选项返回概率值，同时评估决策质量、校准度和选择性自动化三个维度，以CC BY 4.0协议开源
时间轴 (近 90 天)
HakemBench 是一个面向土耳其语的「类型化决策」（typed decisions）基准测试
HakemBench 的任务模式要求被测模型阅读文本、问题及固定选项，并为每个选项返回一个概率值，而非给出唯一答案
HakemBench Version 1.0 以 CC BY 4.0 协议完全开源
HakemBench Version 1.0 包含 2,346 个条目、4,275 道题目，题型涵盖多选、是/否以及打分三类
HakemBench 包含七个赛道：事实核查分流、教育、安全护栏、法律路由、内容审核、垃圾信息与钓鱼识别、客户支持
HakemBench 从决策质量（macro F1）、校准度（归一化 Brier 分数）、选择性自动化（广义风险-覆盖曲线下归一化面积）三个维度衡量模型，并通过几何平均合成综合得分
HakemBench 的综合得分通过 2,000 次 bootstrap 抽样给出置信区间，并报告针对选项顺序、同义改写、英文翻译和替换人名等扰动的鲁棒性探针
HakemBench 的大部分黄金标签并非人工核验，而是来自一个 AI 模型家族的盲测结果，再与其他模型家族的大语言模型评审团投票进行对比得出
在 HakemBench 的 16 行排行榜上，领先者取得 0.888 的综合得分
发布 HakemBench 的实验室自家模型排名第 7，综合得分为 0.660
还有 2 条时间轴事件
全部知识事实 (12)
当所有模型仅在其余四个赛道计分时，该实验室模型综合得分变为 0.678，排名第 6
50%待验证HakemBench 的任务模式要求被测模型阅读文本、问题及固定选项，并为每个选项返回一个概率值，而非给出唯一答案
50%待验证HakemBench 是一个面向土耳其语的「类型化决策」（typed decisions）基准测试
50%待验证HakemBench Version 1.0 包含 2,346 个条目、4,275 道题目，题型涵盖多选、是/否以及打分三类
50%待验证HakemBench 包含七个赛道：事实核查分流、教育、安全护栏、法律路由、内容审核、垃圾信息与钓鱼识别、客户支持
50%待验证HakemBench 从决策质量（macro F1）、校准度（归一化 Brier 分数）、选择性自动化（广义风险-覆盖曲线下归一化面积）三个维度衡量模型，并通过几何平均合成综合得分
50%待验证HakemBench 的综合得分通过 2,000 次 bootstrap 抽样给出置信区间，并报告针对选项顺序、同义改写、英文翻译和替换人名等扰动的鲁棒性探针
50%待验证HakemBench 的大部分黄金标签并非人工核验，而是来自一个 AI 模型家族的盲测结果，再与其他模型家族的大语言模型评审团投票进行对比得出
50%待验证在 HakemBench 的 16 行排行榜上，领先者取得 0.888 的综合得分
50%待验证发布 HakemBench 的实验室自家模型排名第 7，综合得分为 0.660
50%待验证发布 HakemBench 的实验室自家模型成绩不是盲测的，且早期测试结果曾影响过该模型的训练数据，导致其在安全护栏、内容审核和客户支持三个赛道的分数被标记为可能受污染
50%待验证HakemBench Version 1.0 以 CC BY 4.0 协议完全开源
50%