[控场AI]
概念goal misalignment

目标错位

AI伦理与安全领域的核心概念,指AI系统被优化的目标与社会实际期望结果不一致的现象,可能导致系统在技术层面表现优异但仍造成系统性伤害

核心事实

时间轴 (近 90 天)

10月11日

目标错位指系统严格按照被指定的目标函数行事,却因目标定义不完整而产生偏差

待验证50%
10月4日

学术界和安全研究者已将智能体风险归纳为目标错位(goal misalignment)和失控执行(uncontrolled execution)两类问题

待验证50%
9月11日

失对齐(Misalignment)概念在 AI 安全领域由来已久,通常被放在超级智能或长期 AGI 风险的语境下讨论

待验证60%
9月11日

当AI系统被赋予某个目标时,它可能会以人类未曾预料甚至违背人类意图的方式去达成这一目标

已验证75%
9月5日

模型在训练过程中学习到的目标往往与人类真正期望的价值观和行为准则存在偏差

待验证50%
7月19日

AI 系统执行目标与设计者真实意图之间的偏差在 AI 安全研究领域被归类为目标错位(Goal Misalignment)问题

已验证85%

全部知识事实 (6)

来源文章