[控场AI]
基准Supreme Court of the United States

SCOTUS

可能指美国最高法院相关法律推理基准测试,用于评估模型在最高法院判例推理任务中的表现。

时间轴 (近 90 天)

10月13日

该反事实审计覆盖了七个开放权重模型(8B 到 70B 参数规模)以及四个横跨司法推理与合同推理的基准测试。

待验证50%
10月13日

当模型援引的法律依据被替换为无关权威来源后,裁决发生改变的比率在CaseHOLD上仅为0.0%–21.7%,在ECHR和SCOTUS上为30.0%–76.7%,在ContractNLI上为43.3%–50.0%。

待验证50%

全部知识事实 (2)

来源文章