[控场AI]
概念准备框架 / OpenAI准备框架

Preparedness Framework

OpenAI于2023年底发布的内部治理机制,用于系统评估前沿AI模型的潜在风险,将模型能力风险划分为低、中、高、关键四个等级,涵盖网络安全、生化武器、模型自主性及欺骗性说服等维度

核心事实

时间轴 (近 90 天)

10月5日

David Robinson参与制定了OpenAI的Preparedness Framework(准备度框架),并负责过多次前沿模型发布前的安全评估报告

待验证50%
9月28日

根据 OpenAI 准备框架规定,评级达到 Critical 的模型原则上不应部署,除非通过额外的缓解措施将风险降至可接受水平

待验证50%
9月15日

OpenAI有类似的准备框架(Preparedness Framework)

已验证65%
9月11日

'临界级'(Critical)是准备框架中的最高风险等级

待验证50%
9月11日

OpenAI的《准备框架》是其用于评估和管理前沿模型潜在灾难性风险的核心机制

待验证50%
9月11日

《准备框架》针对高风险领域设定能力等级,通常从低到高划分为'低'、'中'、'高'和'临界'几个层级

待验证50%
9月11日

按照准备框架逻辑,一旦某能力触及高风险等级,OpenAI需部署安全缓解措施将部署风险降低到可接受水平后才能大规模上线

待验证50%
9月11日

达到临界级的模型意味着在特定能力维度上具备可能造成严重、大规模危害的潜力

待验证50%
9月11日

ARC的能力评估范式后来被Anthropic的负责任扩展政策和OpenAI的准备框架所采纳

待验证50%
9月7日

Anthropic在2023年发布了Responsible Scaling Policy(负责任扩展政策,RSP),其设计逻辑与OpenAI的Preparedness Framework高度相似

待验证70%

还有 7 条时间轴事件

全部知识事实 (19)

已验证

OpenAI将AI安全分为监控(及时发现异常行为)、安全(限制系统访问和影响范围)、对齐(让系统目标与人类意图一致)三个维度

75%
已验证

OpenAI曾发布《准备框架》(Preparedness Framework),将风险分为低、中、高、关键四个等级,要求只有风险评估低于'高'等级的模型才能对外发布

70%
已验证

OpenAI有类似的准备框架(Preparedness Framework)

65%
已验证

OpenAI的Preparedness Framework将模型风险在网络安全、生物威胁、说服力和自主性等维度划分为低、中、高、关键四个等级

65%
已验证

OpenAI有Preparedness Framework,对模型在网络安全、CBRN威胁、说服力和自主行为四个维度进行分级评估

65%
待验证

Anthropic在2023年发布了Responsible Scaling Policy(负责任扩展政策,RSP),其设计逻辑与OpenAI的Preparedness Framework高度相似

70%
待验证

OpenAI的准备框架(Preparedness Framework)对模型在网络安全、生物威胁、说服力和自主性四个维度上设定了低/中/高/关键的风险等级

70%
待验证

OpenAI暂停强化学习训练的原因是即将推出的模型可能已触及关键的网络安全能力阈值

60%
待验证

David Robinson参与制定了OpenAI的Preparedness Framework(准备度框架),并负责过多次前沿模型发布前的安全评估报告

50%
待验证

根据 OpenAI 准备框架规定,评级达到 Critical 的模型原则上不应部署,除非通过额外的缓解措施将风险降至可接受水平

50%
待验证

OpenAI的《准备框架》是其用于评估和管理前沿模型潜在灾难性风险的核心机制

50%
待验证

《准备框架》针对高风险领域设定能力等级,通常从低到高划分为'低'、'中'、'高'和'临界'几个层级

50%
待验证

按照准备框架逻辑,一旦某能力触及高风险等级,OpenAI需部署安全缓解措施将部署风险降低到可接受水平后才能大规模上线

50%
待验证

'临界级'(Critical)是准备框架中的最高风险等级

50%
待验证

达到临界级的模型意味着在特定能力维度上具备可能造成严重、大规模危害的潜力

50%
待验证

ARC的能力评估范式后来被Anthropic的负责任扩展政策和OpenAI的准备框架所采纳

50%
待验证

Astra是OpenAI在Preparedness Framework自2023年底推出以来首个在任何风险类别中正式触及最高等级的模型

50%
待验证

Preparedness Framework将风险类别划分为网络安全、化学/生物/核/放射性武器(CBRN)、模型自主性和说服与欺骗四大核心域

50%
待验证

采用多模型策略可以对冲单一模型延期或性能波动带来的风险

50%

来源文章