[控场AI]
概念Capability Evaluation

能力评估

AI安全评估方法之一,侧重于系统性测量模型在特定危险能力域(如化学武器合成辅助、网络攻击、欺骗性推理等)上的表现上限,用于识别潜在高风险能力。

时间轴 (近 90 天)

10月13日

能力评估面临的两大难题是:标准不统一(不同机构测出的结论差异很大)和能力具有涌现性与情境依赖性(今天测不出风险的模型,经过微调或与其他工具组合后可能变得危险)。

待验证50%
10月12日

诱导式能力评估适用于诚实或疏忽场景下的能力发现,但面对有意的、具备密码学加持的对抗性隐藏时会失效

待验证50%
9月11日

能力评估侧重于系统性测量模型在特定危险能力域上的表现上限

待验证50%
9月7日

能力评估方法分为三类:基准测试(Benchmarks)、场景模拟(Scenario-based Evals)以及人机协作评估(Human-AI Uplift Evals)

待验证50%
9月7日

行业内能力评估方法分为基准测试、场景模拟和人机协作评估三类

待验证50%

全部知识事实 (5)

来源文章