AI安全
AI安全（AI Safety）是研究如何确保人工智能系统按照预期目标可靠运行、避免产生有害后果的跨学科领域。其核心议题包括：系统鲁棒性与对抗攻击防御、AI价值对齐（使系统行为符合人类意图与价值观）、可解释性与透明度，以及对超级智能等长期风险的防控。该领域融合计算机科学、伦理学与控制论等学科，旨在降低AI系统在设计、部署及使用过程中的技术性与社会性风险。
核心事实
时间轴 (近 90 天)
长期而言法律教育体系本身可能需要纳入AI安全的相关内容
"语言不确定性对齐"正逐渐被视为AI安全研究的一个独立子方向
AI领域的吹哨行为往往以离职声明、公开信或媒体采访的形式出现，因为针对AI风险的外部监管框架尚不完善，缺乏明确的举报渠道与法律保护机制
领先AI企业的安全文化具有示范效应，若前沿公司无法平衡速度与安全，整个行业在竞争压力下跟进激进路线的可能性会上升
AI安全框架通常将模型能力划分为风险等级，并规定在达到某一危险阈值前须采取额外安全措施
如何区分赋能防御方的能力与降低攻击者门槛的能力，目前在技术和政策层面都缺乏公认标准
P(doom)指AI安全研究者用来量化存在性风险的非正式指标，代表AI导致灾难的主观概率估计，并无统一的科学计算方法
当AI模型的能力以阶跃式而非线性方式增长时，防御方所依赖的反应时间窗口被急剧压缩
传统AI安全防护大多依赖软件手段，如内容过滤、权限管理、沙箱隔离
AI安全的边界正在从网络层向语义层迁移
还有 40 条时间轴事件
全部知识事实 (20)
AI安全研究已形成多个技术分支：可解释性（mechanistic interpretability）、红队测试（red teaming）和形式化验证（formal verification）
90%已验证对齐（alignment）是指确保AI系统的行为与人类意图和价值观保持一致，是AI安全领域的核心议题
90%已验证模型能力越强、越能调用外部工具，其潜在攻击面就越广，这是AI厂商面临的根本性两难困境
90%已验证AI 系统执行目标与设计者真实意图之间的偏差在 AI 安全研究领域被归类为目标错位（Goal Misalignment）问题
85%已验证部分AI实验室高管公开警告AI可能带来人类灭绝级别的风险的存在性风险叙事可能转移对AI当下实际危害的注意力
80%已验证AI安全监管讨论的核心争议部分源于两个不同维度的'安全'概念被混用：AI系统本身的安全性（safety）与国家安全层面的安全性（security）
80%已验证AI安全强调抵御外部威胁与防止系统被滥用，包括提示注入防御、越狱防护、数据泄露防范和滥用检测
80%已验证LawZero是一家专注于AI安全与治理的研究组织，其理念追求AI系统部署过程中的'零伤害'底线，重心放在构建可信、可控、可验证的AI系统上
80%已验证AI对齐的核心挑战包括目标错配、可解释性缺失、能力泛化风险
80%已验证AI安全社区和有效利他主义（EA）运动警告AGI可能带来存在性风险，主张对AI发展施加谨慎限制和治理框架
80%已验证AI对齐和AI安全至今缺乏业界统一的可测量定义
80%已验证AI研究界对生存性风险议题未达成统一意见
75%已验证全球专注于AI安全的顶尖研究者可能不足千人
75%已验证OpenAI将AI安全分为监控（及时发现异常行为）、安全（限制系统访问和影响范围）、对齐（让系统目标与人类意图一致）三个维度
75%已验证当前AI安全评估机制尚未形成具有法律约束力的强制性审查流程，更多依赖厂商的自愿配合
75%已验证确定性防护与模型驱动防护结合，才能构建完整的 AI Agent 安全体系
75%已验证每一次AI能力的扩张都伴随着攻击面的扩大，这本质上是便利与安全之间的权衡
75%已验证全面禁止AI难以有效执行，因AI检测存在认识论缺陷且检测军备竞赛注定无法胜利
75%已验证AI智能体治理应采用分层防御体系（Defense in Depth），从底层基础设施安全到身份认证权限管理再到应用层行为监控与策略执行
75%已验证攻防不对称性使得完整防御在理论上不可实现，攻击者只需找到单一突破口，防御者需覆盖所有攻击面
75%