基准
tw-formosa-bench
由社区语料生成、聚焦当代台湾日常生活的难度分级评测基准,题目经冻结模型池筛选控制难度窗口
时间轴 (近 90 天)
10月15日
OpenTWBench 是一个开放评测套件,围绕 tw-exam-bench 和 tw-formosa-bench 两个基准构建。
待验证50%
10月15日
tw-formosa-bench 由社区整理的语料生成,包含 1,696 道关于当代台湾日常生活的难度分级题目,且任何模型都不参与撰写标准答案。
待验证50%
10月15日
tw-formosa-bench 的题目集针对一个冻结的七模型池进行筛选,使其得分被控制在及格边缘(46.9%–74.6%,中位数约 54%)。
待验证50%
10月15日
在 tw-formosa-bench 发布后六周内,前沿模型就突破了其校准的难度窗口;公共榜单上 108 个模型中 22 个超过该基准的上限,最好达到 91.6%。
待验证50%
全部知识事实 (4)
待验证
OpenTWBench 是一个开放评测套件,围绕 tw-exam-bench 和 tw-formosa-bench 两个基准构建。
50%待验证tw-formosa-bench 由社区整理的语料生成,包含 1,696 道关于当代台湾日常生活的难度分级题目,且任何模型都不参与撰写标准答案。
50%待验证tw-formosa-bench 的题目集针对一个冻结的七模型池进行筛选,使其得分被控制在及格边缘(46.9%–74.6%,中位数约 54%)。
50%待验证在 tw-formosa-bench 发布后六周内,前沿模型就突破了其校准的难度窗口;公共榜单上 108 个模型中 22 个超过该基准的上限,最好达到 91.6%。
50%