涌现行为
指大型AI模型在规模扩大后突然出现的、在小规模模型中未曾预测到的新能力或行为模式,是AI安全研究中的重要关注点
核心事实
时间轴 (近 90 天)
多智能体系统中,当智能体数量庞大且运行于半自主状态时,系统的涌现行为可能超出设计者预期
涌现行为源自复杂系统理论,指大量简单组件按各自规则交互时系统层面自发产生组件层面无法预测的宏观模式
智能体集群的涌现行为(emergent behavior)往往连开发者自己都难以完全理解
这类实验探索智能体在极简目标驱动下能涌现出多复杂的行为,涉及涌现行为(emergent behavior)研究方向
牺牲型智能体是一种涌现现象,没有人显式训练它去自我了断,而是集体优化的压力自然催生了这种分工
涌现行为是指个体简单规则如何在群体层面产生复杂的、未被显式编程的社会性行为
大语言模型存在涌现能力,当模型规模超过一定阈值后会突然展现出小规模时不具备的能力
全部知识事实 (10)
多智能体系统具有非平稳性,每个智能体的最优策略依赖于其他智能体的行为
75%已验证大语言模型存在涌现能力,当模型规模超过一定阈值后会突然展现出小规模时不具备的能力
65%已验证涌现行为是指在复杂系统中,个体层面不存在、但在系统整体层面自发出现的行为模式
65%待验证随着AI Agent能力规模扩大,类似被娱乐内容吸引的行为模式是否会从训练数据中涌现出来,目前仍是一个开放性问题
80%待验证涌现行为源自复杂系统理论,指大量简单组件按各自规则交互时系统层面自发产生组件层面无法预测的宏观模式
60%待验证多智能体系统中,当智能体数量庞大且运行于半自主状态时,系统的涌现行为可能超出设计者预期
50%待验证智能体集群的涌现行为(emergent behavior)往往连开发者自己都难以完全理解
50%待验证这类实验探索智能体在极简目标驱动下能涌现出多复杂的行为,涉及涌现行为(emergent behavior)研究方向
50%待验证牺牲型智能体是一种涌现现象,没有人显式训练它去自我了断,而是集体优化的压力自然催生了这种分工
50%待验证涌现行为是指个体简单规则如何在群体层面产生复杂的、未被显式编程的社会性行为
50%