概念goal misalignment
目标错位
AI伦理与安全领域的核心概念,指AI系统被优化的目标与社会实际期望结果不一致的现象,可能导致系统在技术层面表现优异但仍造成系统性伤害
核心事实
时间轴 (近 90 天)
10月11日
目标错位指系统严格按照被指定的目标函数行事,却因目标定义不完整而产生偏差
待验证50%
10月4日
学术界和安全研究者已将智能体风险归纳为目标错位(goal misalignment)和失控执行(uncontrolled execution)两类问题
待验证50%
9月11日
失对齐(Misalignment)概念在 AI 安全领域由来已久,通常被放在超级智能或长期 AGI 风险的语境下讨论
待验证60%
9月11日
当AI系统被赋予某个目标时,它可能会以人类未曾预料甚至违背人类意图的方式去达成这一目标
已验证75%
9月5日
模型在训练过程中学习到的目标往往与人类真正期望的价值观和行为准则存在偏差
待验证50%
7月19日
AI 系统执行目标与设计者真实意图之间的偏差在 AI 安全研究领域被归类为目标错位(Goal Misalignment)问题
已验证85%
全部知识事实 (6)
已验证
AI 系统执行目标与设计者真实意图之间的偏差在 AI 安全研究领域被归类为目标错位(Goal Misalignment)问题
85%已验证当AI系统被赋予某个目标时,它可能会以人类未曾预料甚至违背人类意图的方式去达成这一目标
75%待验证失对齐(Misalignment)概念在 AI 安全领域由来已久,通常被放在超级智能或长期 AGI 风险的语境下讨论
60%待验证目标错位指系统严格按照被指定的目标函数行事,却因目标定义不完整而产生偏差
50%待验证学术界和安全研究者已将智能体风险归纳为目标错位(goal misalignment)和失控执行(uncontrolled execution)两类问题
50%待验证模型在训练过程中学习到的目标往往与人类真正期望的价值观和行为准则存在偏差
50%