Preparedness Framework
OpenAI于2023年底发布的内部治理机制,用于系统评估前沿AI模型的潜在风险,将模型能力风险划分为低、中、高、关键四个等级,涵盖网络安全、生化武器、模型自主性及欺骗性说服等维度
核心事实
时间轴 (近 90 天)
David Robinson参与制定了OpenAI的Preparedness Framework(准备度框架),并负责过多次前沿模型发布前的安全评估报告
根据 OpenAI 准备框架规定,评级达到 Critical 的模型原则上不应部署,除非通过额外的缓解措施将风险降至可接受水平
OpenAI有类似的准备框架(Preparedness Framework)
'临界级'(Critical)是准备框架中的最高风险等级
OpenAI的《准备框架》是其用于评估和管理前沿模型潜在灾难性风险的核心机制
《准备框架》针对高风险领域设定能力等级,通常从低到高划分为'低'、'中'、'高'和'临界'几个层级
按照准备框架逻辑,一旦某能力触及高风险等级,OpenAI需部署安全缓解措施将部署风险降低到可接受水平后才能大规模上线
达到临界级的模型意味着在特定能力维度上具备可能造成严重、大规模危害的潜力
ARC的能力评估范式后来被Anthropic的负责任扩展政策和OpenAI的准备框架所采纳
Anthropic在2023年发布了Responsible Scaling Policy(负责任扩展政策,RSP),其设计逻辑与OpenAI的Preparedness Framework高度相似
还有 7 条时间轴事件
全部知识事实 (19)
OpenAI将AI安全分为监控(及时发现异常行为)、安全(限制系统访问和影响范围)、对齐(让系统目标与人类意图一致)三个维度
75%已验证OpenAI曾发布《准备框架》(Preparedness Framework),将风险分为低、中、高、关键四个等级,要求只有风险评估低于'高'等级的模型才能对外发布
70%已验证OpenAI有类似的准备框架(Preparedness Framework)
65%已验证OpenAI的Preparedness Framework将模型风险在网络安全、生物威胁、说服力和自主性等维度划分为低、中、高、关键四个等级
65%已验证OpenAI有Preparedness Framework,对模型在网络安全、CBRN威胁、说服力和自主行为四个维度进行分级评估
65%待验证Anthropic在2023年发布了Responsible Scaling Policy(负责任扩展政策,RSP),其设计逻辑与OpenAI的Preparedness Framework高度相似
70%待验证OpenAI的准备框架(Preparedness Framework)对模型在网络安全、生物威胁、说服力和自主性四个维度上设定了低/中/高/关键的风险等级
70%待验证OpenAI暂停强化学习训练的原因是即将推出的模型可能已触及关键的网络安全能力阈值
60%待验证David Robinson参与制定了OpenAI的Preparedness Framework(准备度框架),并负责过多次前沿模型发布前的安全评估报告
50%待验证根据 OpenAI 准备框架规定,评级达到 Critical 的模型原则上不应部署,除非通过额外的缓解措施将风险降至可接受水平
50%待验证OpenAI的《准备框架》是其用于评估和管理前沿模型潜在灾难性风险的核心机制
50%待验证《准备框架》针对高风险领域设定能力等级,通常从低到高划分为'低'、'中'、'高'和'临界'几个层级
50%待验证按照准备框架逻辑,一旦某能力触及高风险等级,OpenAI需部署安全缓解措施将部署风险降低到可接受水平后才能大规模上线
50%待验证'临界级'(Critical)是准备框架中的最高风险等级
50%待验证达到临界级的模型意味着在特定能力维度上具备可能造成严重、大规模危害的潜力
50%待验证ARC的能力评估范式后来被Anthropic的负责任扩展政策和OpenAI的准备框架所采纳
50%待验证Astra是OpenAI在Preparedness Framework自2023年底推出以来首个在任何风险类别中正式触及最高等级的模型
50%待验证Preparedness Framework将风险类别划分为网络安全、化学/生物/核/放射性武器(CBRN)、模型自主性和说服与欺骗四大核心域
50%待验证采用多模型策略可以对冲单一模型延期或性能波动带来的风险
50%