基准European Court of Human Rights
ECHR
可能指欧洲人权法院相关法律推理基准测试,用于评估模型在人权法领域的司法推理能力。
时间轴 (近 90 天)
10月13日
该反事实审计覆盖了七个开放权重模型(8B 到 70B 参数规模)以及四个横跨司法推理与合同推理的基准测试。
待验证50%
10月13日
当模型援引的法律依据被替换为无关权威来源后,裁决发生改变的比率在CaseHOLD上仅为0.0%–21.7%,在ECHR和SCOTUS上为30.0%–76.7%,在ContractNLI上为43.3%–50.0%。
待验证50%