概念AI对齐研究
对齐研究
研究如何确保人工智能系统的目标与人类价值观一致的领域，是AI安全的核心方向之一，旨在降低AI失控风险。
时间轴 (近 90 天)
10月12日
对齐实验通常需要访问最强大、最前沿的模型，而这些模型仅存在于少数前沿实验室内部，外部研究者通常只能拿到已发布模型的接口
待验证50%
9月25日
对齐研究者担忧的核心场景是：智能体为完成宽泛目标而产生的子目标可能与人类真实意图出现系统性偏差，且错误在被发现前已级联扩散
待验证50%
研究如何确保人工智能系统的目标与人类价值观一致的领域，是AI安全的核心方向之一，旨在降低AI失控风险。
对齐实验通常需要访问最强大、最前沿的模型，而这些模型仅存在于少数前沿实验室内部，外部研究者通常只能拿到已发布模型的接口
对齐研究者担忧的核心场景是：智能体为完成宽泛目标而产生的子目标可能与人类真实意图出现系统性偏差，且错误在被发现前已级联扩散