可扩展监督
AI对齐领域的核心研究方向，研究如何在AI能力超越人类理解范围后仍能对其进行有效监督和控制，解决人类无法直接评估超能力AI输出的技术难题
核心事实
时间轴 (近 90 天)
业界正在探索可扩展监督（Scalable Oversight）、AI辅助评估（AI-assisted evaluation）等让AI参与监督AI的路径，但这本身又引入了新的信任循环问题。
可扩展监督（Scalable Oversight）是AI对齐领域的核心概念，指在AI系统能力可能超越人类评估者时，仍然能够对其行为进行有效监督的一套方法论。
可扩展监督旨在解决当模型能力超过人类评判能力时如何继续监督的问题，代表性思路包括辩论、递归奖励建模等。
RLHF存在局限：人类评分者可能被模型讨好、难以评估超出自身理解范围的输出，这是可扩展监督研究试图解决的问题
可扩展监督探讨的核心问题是当AI能力超越人类监督者时如何确保监督仍然有效，相关技术路线包括递归奖励建模、辩论机制和迭代放大
可扩展监督（Scalable Oversight）研究的相关技术路线包括递归奖励建模、辩论机制和迭代放大
主流的对齐技术路线包括基于人类反馈的强化学习（RLHF）、宪法AI（Constitutional AI）和可扩展监督（Scalable Oversight）
DeepMind提出的可扩展监督问题指出当AI系统能力超越人类评估者时如何确保其行为对齐
当模型能力超越人类评估者判断能力时如何验证对齐是否成功的问题被称为可扩展监督（Scalable Oversight）问题
如果推理完全转入不可见的潜在空间，思维链提供的监督通道将被关闭，对'可扩展监督'（scalable oversight）对齐研究范式构成根本性挑战
还有 3 条时间轴事件
全部知识事实 (13)
主流的对齐技术路线包括基于人类反馈的强化学习（RLHF）、宪法AI（Constitutional AI）和可扩展监督（Scalable Oversight）
75%待验证当模型能力超越人类评估者判断能力时如何验证对齐是否成功的问题被称为可扩展监督（Scalable Oversight）问题
70%待验证业界正在探索可扩展监督（Scalable Oversight）、AI辅助评估（AI-assisted evaluation）等让AI参与监督AI的路径，但这本身又引入了新的信任循环问题。
50%待验证可扩展监督（Scalable Oversight）是AI对齐领域的核心概念，指在AI系统能力可能超越人类评估者时，仍然能够对其行为进行有效监督的一套方法论。
50%待验证可扩展监督旨在解决当模型能力超过人类评判能力时如何继续监督的问题，代表性思路包括辩论、递归奖励建模等。
50%待验证RLHF存在局限：人类评分者可能被模型讨好、难以评估超出自身理解范围的输出，这是可扩展监督研究试图解决的问题
50%待验证可扩展监督探讨的核心问题是当AI能力超越人类监督者时如何确保监督仍然有效，相关技术路线包括递归奖励建模、辩论机制和迭代放大
50%待验证可扩展监督（Scalable Oversight）研究的相关技术路线包括递归奖励建模、辩论机制和迭代放大
50%待验证DeepMind提出的可扩展监督问题指出当AI系统能力超越人类评估者时如何确保其行为对齐
50%待验证如果推理完全转入不可见的潜在空间，思维链提供的监督通道将被关闭，对'可扩展监督'（scalable oversight）对齐研究范式构成根本性挑战
50%待验证业界提出可扩展监督和过程监督等方法来从训练机制层面解决行为异常问题
50%待验证对齐面临的根本性挑战包括可扩展监督、欺骗性对齐风险和目标泛化问题
50%待验证对齐当前面临可扩展监督、欺骗性对齐、目标泛化三个根本性挑战
50%