[控场AI]
基准

OpenTWBench

面向台湾知识与日常生活的开放评测套件,包含学术考试基准 tw-exam-bench 与当代生活基准 tw-formosa-bench,重点量化评测装置对模型得分的影响

时间轴 (近 90 天)

10月15日

OpenTWBench 是一个开放评测套件,围绕 tw-exam-bench 和 tw-formosa-bench 两个基准构建。

待验证50%
10月15日

在相同题目上,仅将答案抽取方式从模式匹配改为显式的 \boxed{} 格式,准确率从 20.8% 提升到 93.9%。

待验证50%
10月15日

仅系统提示中加入一个占位字符,就能让某个模型在同一基准上从最后一名(58.2%)跃升至第一名(83.9%)。

待验证50%
10月15日

把思考 token 预算从 8k 翻倍到 16k,只带来 0.2% 的准确率提升,同时改变了失败题目的分布。

待验证50%
10月15日

一个由三名评审组成的验证小组被发现实质上是'一名评审的伪装':其中两名成员对展示内容批准了 92%–99%。

待验证50%
10月15日

OpenTWBench 团队释放了全部数据集、逐题难度数据、筛选清单,以及一个公开榜单(https://opentwbench.ai)。

待验证50%

全部知识事实 (6)

来源文章