OpenTWBench
面向台湾知识与日常生活的开放评测套件,包含学术考试基准 tw-exam-bench 与当代生活基准 tw-formosa-bench,重点量化评测装置对模型得分的影响
时间轴 (近 90 天)
OpenTWBench 是一个开放评测套件,围绕 tw-exam-bench 和 tw-formosa-bench 两个基准构建。
在相同题目上,仅将答案抽取方式从模式匹配改为显式的 \boxed{} 格式,准确率从 20.8% 提升到 93.9%。
仅系统提示中加入一个占位字符,就能让某个模型在同一基准上从最后一名(58.2%)跃升至第一名(83.9%)。
把思考 token 预算从 8k 翻倍到 16k,只带来 0.2% 的准确率提升,同时改变了失败题目的分布。
一个由三名评审组成的验证小组被发现实质上是'一名评审的伪装':其中两名成员对展示内容批准了 92%–99%。
OpenTWBench 团队释放了全部数据集、逐题难度数据、筛选清单,以及一个公开榜单(https://opentwbench.ai)。
全部知识事实 (6)
OpenTWBench 是一个开放评测套件,围绕 tw-exam-bench 和 tw-formosa-bench 两个基准构建。
50%待验证在相同题目上,仅将答案抽取方式从模式匹配改为显式的 \boxed{} 格式,准确率从 20.8% 提升到 93.9%。
50%待验证仅系统提示中加入一个占位字符,就能让某个模型在同一基准上从最后一名(58.2%)跃升至第一名(83.9%)。
50%待验证把思考 token 预算从 8k 翻倍到 16k,只带来 0.2% 的准确率提升,同时改变了失败题目的分布。
50%待验证一个由三名评审组成的验证小组被发现实质上是'一名评审的伪装':其中两名成员对展示内容批准了 92%–99%。
50%待验证OpenTWBench 团队释放了全部数据集、逐题难度数据、筛选清单,以及一个公开榜单(https://opentwbench.ai)。
50%