[控场AI]
概念Emergent Abilities

涌现能力

涌现能力(Emergent Ability)是指复杂系统在规模或复杂度达到某一临界点后,突然呈现出在较小规模下不具备的新能力或行为特征。在人工智能领域,特指大型语言模型随参数量和训练数据规模增长,超越某一阈值后自发出现的推理、类比、多步骤问题求解等能力。其核心特征为非线性、不可预测性,即能力的出现并非渐进式提升,而是呈现跃迁式变化。

核心事实

时间轴 (近 90 天)

10月4日

涌现能力使得事前风险评估的准确性存在结构性局限,并挑战了传统产品责任法中可预见性的认定逻辑

待验证50%
9月22日

业界将模型能力划分为涌现能力(emergent capabilities)和对齐能力(alignment)两个维度

待验证50%
9月16日

以Geoffrey Hinton、Yoshua Bengio为代表的「能力风险」派认为当前大型模型已展现出难以完全解释的涌现能力,仅靠工程手段无法消除根本性的对齐失败风险

待验证50%
9月7日

2023年斯坦福大学研究指出,某些被认为是涌现的能力可能是评估指标选择的伪影,而非模型能力的真正质变

待验证50%
9月6日

2023年Stanford的研究对涌现能力提出质疑,指出所谓'涌现'可能是评估指标选择的人为产物,使用连续性更好的指标重新评估时,许多看似突然的能力跳跃实际上呈现为平滑的渐进提升

待验证50%
9月6日

2022年Google Research和Stanford的研究者在论文中首次系统性地描述了涌现能力(emergent abilities)现象:当模型规模跨过某个阈值时,在特定任务上的表现会从近乎随机跃升至显著高于基线

待验证50%
9月6日

前沿模型存在涌现能力,即在达到某个参数规模阈值后突然展现出训练目标中未明确包含的能力

已验证80%
9月6日

涌现能力指大模型在达到某个规模阈值后突然展现出小模型不具备的能力,这一现象由Google研究团队在2022年系统性记录

待验证50%
9月6日

Anthropic等机构的研究表明大模型可能形成尚未理解的涌现能力,其出现机制和潜在风险难以事前评估

待验证50%
9月5日

Google的研究显示涌现能力往往是阶跃式跃迁,例如GPT-3在1750亿参数时能做多步推理,但在130亿参数时几乎不具备该能力

待验证50%

还有 21 条时间轴事件

全部知识事实 (20)

已验证

2023年斯坦福大学研究对「涌现」现象提出质疑,认为这在很大程度上是评估指标选择造成的假象,而非模型能力的真实突变

85%
已验证

涌现能力指当模型规模超过某个临界阈值后,某些此前不存在的能力会突然出现,性能出现断崖式跃升

80%
已验证

大语言模型的涌现能力是指在参数规模突破某个阈值后突然展现出的复杂推理能力

80%
已验证

2022年谷歌Brain团队在论文《Emergent Abilities of Large Language Models》中首次系统记录了大语言模型的'涌现能力'现象

80%
已验证

前沿模型存在涌现能力,即在达到某个参数规模阈值后突然展现出训练目标中未明确包含的能力

80%
已验证

涌现能力是指当模型规模突破某个阈值后突然出现的、在小规模模型中不存在的能力,例如思维链推理

75%
已验证

涌现能力(emergent abilities)指模型规模超过某临界点时突然显现训练时未明确优化的新能力,如多步推理、代码生成或少样本学习

75%
已验证

思维链效果在参数量超过100B的模型上尤为显著

75%
已验证

AI红队测试面临涌现能力的特殊挑战,模型在特定提示词组合下可能展现训练时未被预期的能力,使穷举式测试几乎不可能实现

70%
已验证

当模型参数量突破某个临界点后会涌现出推理、调试等在小模型上看不到的能力,被称为涌现能力(Emergent Abilities)

70%
已验证

斯坦福大学Rylan Schaeffer团队在2023年提出反驳研究,认为「涌现」可能是评估指标选取不连续导致的视觉假象,而非模型能力的真实非线性跃升

65%
已验证

涌现能力的出现机制仍是学术界争议热点,部分研究者认为是真实相变现象,另一些认为是评估指标造成的视觉假象

65%
已验证

斯坦福的Schaeffer等人对涌现现象提出质疑,认为涌现可能部分是评估指标选择导致的测量伪影

65%
已验证

斯坦福2023年的论文认为涌现是评估指标选择导致的测量假象,换用平滑指标后能力提升是连续的

65%
已验证

2022年谷歌的研究报告首次系统记录了涌现能力现象

65%
待验证

部分研究者认为大模型涌现能力是真实的相变现象,另一些人认为这只是评估指标选择造成的统计假象

85%
待验证

涌现能力(Emergent Abilities)指大语言模型在规模或训练数据达到某个阈值后突然展现出此前不具备的能力

60%
待验证

涌现能力概念最初由Google DeepMind等机构的研究者在2022年系统性提出,指模型在规模跨越某个临界阈值后突然展现出未被明确教授的新能力

60%
待验证

使用非线性阈值化指标(如精确匹配率)时模型性能看似突变,而改用连续指标(如对数概率)时性能提升是平滑渐进的

60%
待验证

Google DeepMind和斯坦福大学的研究团队曾系统性记录了超过100种涌现能力,涵盖数学推理、代码生成、多语言理解等领域

60%

来源文章