AI安全
AI安全（AI Safety）是研究如何确保人工智能系统按照预期目标可靠运行、避免产生有害后果的跨学科领域。其核心议题包括：系统鲁棒性与对抗攻击防御、AI价值对齐（使系统行为符合人类意图与价值观）、可解释性与透明度，以及对超级智能等长期风险的防控。该领域融合计算机科学、伦理学与控制论等学科，旨在降低AI系统在设计、部署及使用过程中的技术性与社会性风险。
核心事实
时间轴 (近 90 天)
开源存在被恶意微调、滥用和用于深度伪造的风险，因此开源必须配套安全对齐和治理框架。
这种连续性假设对AI安全研究影响深远，因为它倾向于将伦理问题视为可计算、可对齐的技术问题。
AI安全不能建立在模型“承诺”的基础上，对免费模型的信任应当来自可验证的机制——权限隔离、网络监控、行为审计。
“存在性风险”是AI安全讨论中的术语，指可能导致人类文明整体毁灭或永久性倒退的风险。
Hiner 和 Leiken 提出，当前AI安全讨论被灾难性场景主导，导致对日常伤害失去敏感度。
Altman 长期主张用 AI 来对抗 AI 带来的安全挑战，例如让模型扫描代码、发现异常、自动响应。
技术社区和媒体热衷于讨论AI安全、可控性、幻觉治理等话题，因为这些话题有传播价值。
实验物理学家习惯于在不确定性中做决策、设计可验证的实验、量化系统误差，这些方法对评估AI系统的可靠性、可解释性和失控风险具有直接借鉴意义。
长期主义将EA的注意力引向AI安全，因为若AI失控可能导致人类文明终结，投入对齐研究的预期善值极高。
硅谷需要的是多元、可证伪、可辩论的风险评估生态，而非单一哲学垄断风险定义权。
还有 40 条时间轴事件
全部知识事实 (20)
AI安全研究已形成多个技术分支：可解释性（mechanistic interpretability）、红队测试（red teaming）和形式化验证（formal verification）
90%已验证对齐（alignment）是指确保AI系统的行为与人类意图和价值观保持一致，是AI安全领域的核心议题
90%已验证模型能力越强、越能调用外部工具，其潜在攻击面就越广，这是AI厂商面临的根本性两难困境
90%已验证AI 系统执行目标与设计者真实意图之间的偏差在 AI 安全研究领域被归类为目标错位（Goal Misalignment）问题
85%已验证LawZero是一家专注于AI安全与治理的研究组织，其理念追求AI系统部署过程中的'零伤害'底线，重心放在构建可信、可控、可验证的AI系统上
80%已验证部分AI实验室高管公开警告AI可能带来人类灭绝级别的风险的存在性风险叙事可能转移对AI当下实际危害的注意力
80%已验证AI安全社区和有效利他主义（EA）运动警告AGI可能带来存在性风险，主张对AI发展施加谨慎限制和治理框架
80%已验证AI安全监管讨论的核心争议部分源于两个不同维度的'安全'概念被混用：AI系统本身的安全性（safety）与国家安全层面的安全性（security）
80%已验证AI安全强调抵御外部威胁与防止系统被滥用，包括提示注入防御、越狱防护、数据泄露防范和滥用检测
80%已验证AI对齐的核心挑战包括目标错配、可解释性缺失、能力泛化风险
80%已验证AI系统引入了全新的安全风险维度，包括模型幻觉导致的错误决策、提示注入攻击（Prompt Injection）、训练数据投毒、以及AI代理权限滥用等
80%已验证AI供应商应将安全保障视为产品的核心组成部分，而非事后补救的附加项
75%已验证思维链监控在AI安全领域被视为一种内部可观察性工具，用于审查模型中间推理步骤以寻找隐蔽目标或不当意图
75%已验证AI研究界对生存性风险议题未达成统一意见
75%已验证治理工程（Governance Engineering）将 AI 系统的安全与合规视为一套可工程化、可验证、可持续运行的系统性机制，而非依赖单点的提示技巧
75%已验证AI安全工程实践中，对自修改智能体的可控性挑战应对思路包括沙箱隔离、版本快照、修改日志审计和人类监督节点
75%已验证全球专注于AI安全的顶尖研究者可能不足千人
75%已验证OpenAI将AI安全分为监控（及时发现异常行为）、安全（限制系统访问和影响范围）、对齐（让系统目标与人类意图一致）三个维度
75%已验证当前AI安全评估机制尚未形成具有法律约束力的强制性审查流程，更多依赖厂商的自愿配合
75%已验证确定性防护与模型驱动防护结合，才能构建完整的 AI Agent 安全体系
75%