[控场AI]
基准

Reasoning Dial

一个专门测量 reasoning_effort 参数效果的基准测试,通过固定 60 道代码生成题、同一 prompt 和确定性评分器,仅改变推理强度档位来评估模型行为差异

时间轴 (近 90 天)

10月12日

Reasoning Dial 基准使用60道代码生成题目集、同一prompt、同一确定性评分器,唯一变化是 reasoning_effort 取值(none/low/medium/high),包含 Deduce(逻辑推理)、Arith(算术)、Distract(干扰计数)三种任务类型。

待验证50%
10月12日

整个主实验花费4.20美元,包含预实验和校准轮次约6.38美元。

待验证50%
10月12日

四个预注册假设的最终结果:H1(旋钮不是同一种工具)支持;H2(更多思考在干扰计数上有害)不支持;H3(更多思考有助于演绎推理)仅 gpt-5.4-mini 支持;H4(准确率不涨时账单照涨)支持(描述性)。

待验证50%

全部知识事实 (3)

来源文章