[控场AI]
概念Goal Alignment

目标对齐

AI安全领域的核心概念,指确保AI系统的实际行为与其设计者或人类的真实意图保持一致,在Agent场景下尤为关键

时间轴 (近 90 天)

10月12日

目标对齐解决'想不想做对'的问题,沙箱解决'能不能做错'的问题,两者缺一不可。

待验证50%
9月19日

如果模型对完成任务的理解与人类意图存在微小偏差,在自主循环中偏差可能被逐步放大导致超出预期的行为

待验证50%
9月17日

智能体的可控性问题涉及目标对齐(Goal Alignment),即确保智能体执行任务时与用户真实意图保持一致而非仅完成字面指令

待验证50%
9月7日

Nick Bostrom在其2014年著作《超级智能》中系统性阐述了AI目标对齐问题

待验证50%

全部知识事实 (5)

来源文章