METR时间跨度估算遭统计质疑：AI能力评估需重新审视

METR的「50%时间跨度」指标已成为衡量AI编程能力的重要标尺——它以人类完成软件任务所需时间来表达AI的能力边界。但这个被广泛引用的指标，其统计基础是否牢固？一项新研究对228个任务和26个AI模型的数据进行了重新分析，结果揭示了一个被忽视的问题：任务难度与人类完成时间之间的关系并非简单的线性关系。

时间跨度指标的核心逻辑与隐含假设

METR的时间跨度定义为：AI以50%概率成功完成的软件任务，人类完成这些任务所需的时间。这个设计的巧妙之处在于，它将AI能力映射到「人类工作时间」这一直觉可理解的单位上，让非技术受众也能感知模型的能力水平。

然而，这一指标背后的统计模型包含一个关键假设：任务的AI难度与人类完成时间的对数呈线性关系。研究团队指出，这一假设在实际数据中并不成立。他们使用样条函数和项目反应理论（Item Response Theory）对原始数据进行重新计算，发现拟合出的样条函数呈现出明显的非线性特征。

该样条函数可以被理解为「人类时间到AI难度」的转换函数。它在大约2到30分钟的区间内近乎平坦，而在其他区间则接近线性。这意味着，同样10倍的时间跨度增长，其对应的AI能力提升幅度在不同区间差异巨大。

项目反应理论（Item Response Theory, IRT） 是一套用于分析测验或评估数据的统计框架，最初应用于心理测量与教育测试领域。其核心思想是：一个被试（此处即AI模型）在某道题目（此处即软件任务）上的表现，由该模型的潜在能力水平与题目的特征参数共同决定。经典IRT模型（如Rasch模型或两参数逻辑斯蒂模型）可以同时估计每个模型的「能力值」和每个任务的「难度值」及「区分度」，从而将模型能力与任务难度放在同一标尺上进行比较。在AI评估中引入IRT的优势在于，它不依赖简单的通过率平均值，而是通过概率模型更精细地刻画模型与任务之间的交互关系，尤其适合处理不同模型完成不同任务子集时产生的缺失数据问题。研究团队正是借助IRT框架，将METR的原始通过率数据转化为更稳健的难度估计。

样条函数（Spline Function） 是一种由分段多项式拼接而成的灵活函数形式，各段之间在连接点（称为「节点」）处满足一定的光滑性约束。与全局线性回归或高阶多项式不同，样条函数允许函数在不同区间呈现不同的曲率，因此特别适合拟合那些在某些区间平缓、在另一些区间陡峭的复杂关系。在本文语境中，样条函数被用来建模「人类完成时间的对数」到「AI难度」之间的映射。由于研究者事先并不确定这一映射的具体形状，使用样条而非强制线性假设，可以避免模型设定偏误，让数据自身「说话」。正是这种灵活性使得研究者发现了2到30分钟区间内的平坦段——如果强行使用线性模型，这一关键结构就会被掩盖。常用的样条类型包括自然三次样条和B样条，后者在计算上更为稳定。

非线性意味着什么：3分钟到30分钟远比30分钟到5小时容易

这项研究最引人注目的发现是：时间跨度的倍数增长并不等价。

具体来说，从3分钟到30分钟的时间跨度跃升（10倍），其对应的AI难度增量远小于从30分钟到5小时（同样是10倍）的跃升。原因在于，2到30分钟区间内，人类完成时间的增加几乎不改变任务的AI难度——这个区间内的任务对AI来说难度相近。而超过30分钟后，每增加单位人类时间，AI难度的上升变得更加陡峭。

这一发现对AI能力评估的实践意义不容小觑。如果仅仅比较时间跨度的倍数变化，就可能高估短任务区间内的能力进步，或低估长任务区间内的能力提升难度。研究团队强调，时间跨度的点估计应在交叉验证的评分规则下评估，他们的新估计在多项适当评分规则中表现更优。

构造效度问题：时间跨度到底在测量什么？

除了估算方法本身，研究还关注了一个更深层的问题：时间跨度的构造效度（construct validity）。

换言之，这个指标是否真的测量了它声称测量的东西？研究团队提供了诊断图表来辅助评估时间跨度的构造效度，并建议将时间跨度与这些诊断图表结合解读。这一建议的紧迫性在于，新的基于时间跨度的基准正在不断涌现，现有基准也在扩展到更长的任务。如果底层统计模型存在问题，那么基于这些指标得出的结论可能需要重新审视。

从方法论角度看，这项研究并非否定时间跨度指标的价值——它提供了一种可解释的能力表达方式，这在AI评估领域具有独特优势。但它提醒研究者和从业者：任何单一指标都有其适用范围和局限性，尤其在涉及外推和跨区间比较时，需要格外谨慎。

构造效度（Construct Validity） 是心理测量学与社会科学方法论中的核心概念，指的是一个测量工具是否真正测量了它声称要测量的理论构念。例如，一个旨在测量「AI编程能力」的基准，如果实际上更多反映了模型对特定编程语言的熟悉度、而非通用的软件工程推理能力，那么它的构造效度就存疑。评估构造效度通常需要多方面的证据：与其他已知测量同类构念的工具之间的收敛效度、与测量不同构念的工具之间的区分效度、以及测量结果是否能按理论预期区分不同组别。在AI评估领域，构造效度问题日益受到关注，因为基准分数常被直接解读为「能力水平」，但基准任务的设计选择、评分方式和统计模型都可能引入与目标构念无关的变异。本文建议将时间跨度与诊断图表结合解读，正是为了给研究者提供判断构造效度的实证依据。

对AI评估实践的三点启示

第一，报告时间跨度时应附带诊断信息。研究提供的诊断图表可以帮助判断特定数据集上时间跨度估计的可靠性，避免盲目比较。

第二，跨区间比较需要谨慎。不同时间区间的任务在AI难度上的分布并不均匀，简单的倍数比较可能产生误导性结论。

第三，随着基准任务向更长时段扩展，非线性问题的影响会更加显著。在短任务上表现良好的模型，未必能在长任务上保持同等的能力增长曲线。

这项研究已发布在arXiv上，其提供的样条估计方法和诊断工具为AI能力评估提供了更稳健的统计基础。对于依赖METR时间跨度进行模型比较和趋势判断的研究者来说，这些发现值得认真对待。