概念Capability Evaluation
能力评估
AI安全评估方法之一,侧重于系统性测量模型在特定危险能力域(如化学武器合成辅助、网络攻击、欺骗性推理等)上的表现上限,用于识别潜在高风险能力。
时间轴 (近 90 天)
10月13日
能力评估面临的两大难题是:标准不统一(不同机构测出的结论差异很大)和能力具有涌现性与情境依赖性(今天测不出风险的模型,经过微调或与其他工具组合后可能变得危险)。
待验证50%
10月12日
诱导式能力评估适用于诚实或疏忽场景下的能力发现,但面对有意的、具备密码学加持的对抗性隐藏时会失效
待验证50%
9月11日
能力评估侧重于系统性测量模型在特定危险能力域上的表现上限
待验证50%
9月7日
能力评估方法分为三类:基准测试(Benchmarks)、场景模拟(Scenario-based Evals)以及人机协作评估(Human-AI Uplift Evals)
待验证50%
9月7日
行业内能力评估方法分为基准测试、场景模拟和人机协作评估三类
待验证50%
全部知识事实 (5)
待验证
能力评估面临的两大难题是:标准不统一(不同机构测出的结论差异很大)和能力具有涌现性与情境依赖性(今天测不出风险的模型,经过微调或与其他工具组合后可能变得危险)。
50%待验证诱导式能力评估适用于诚实或疏忽场景下的能力发现,但面对有意的、具备密码学加持的对抗性隐藏时会失效
50%待验证能力评估侧重于系统性测量模型在特定危险能力域上的表现上限
50%待验证能力评估方法分为三类:基准测试(Benchmarks)、场景模拟(Scenario-based Evals)以及人机协作评估(Human-AI Uplift Evals)
50%待验证行业内能力评估方法分为基准测试、场景模拟和人机协作评估三类
50%