涌现能力
涌现能力(Emergent Ability)是指复杂系统在规模或复杂度达到某一临界点后,突然呈现出在较小规模下不具备的新能力或行为特征。在人工智能领域,特指大型语言模型随参数量和训练数据规模增长,超越某一阈值后自发出现的推理、类比、多步骤问题求解等能力。其核心特征为非线性、不可预测性,即能力的出现并非渐进式提升,而是呈现跃迁式变化。
核心事实
时间轴 (近 90 天)
2023年斯坦福大学研究指出,某些被认为是涌现的能力可能是评估指标选择的伪影,而非模型能力的真正质变
前沿模型存在涌现能力,即在达到某个参数规模阈值后突然展现出训练目标中未明确包含的能力
涌现能力指大模型在达到某个规模阈值后突然展现出小模型不具备的能力,这一现象由Google研究团队在2022年系统性记录
Anthropic等机构的研究表明大模型可能形成尚未理解的涌现能力,其出现机制和潜在风险难以事前评估
Google的研究显示涌现能力往往是阶跃式跃迁,例如GPT-3在1750亿参数时能做多步推理,但在130亿参数时几乎不具备该能力
涌现能力(Emergent Abilities)指大语言模型在规模或训练数据达到某个阈值后突然展现出此前不具备的能力
2022年Jason Wei等人提出'涌现能力'概念,指出某些能力似乎在模型达到特定规模时突然出现
纽约大学的Gary Marcus认为,大语言模型的涌现能力可能更多反映了评估指标的阈值效应,而非模型认知能力的质变
涌现能力是指当模型规模突破某个阈值后突然出现的、在小规模模型中不存在的能力,例如思维链推理
Google Research在2022年的研究中系统性总结了涌现能力概念,发现思维链推理、少样本学习等能力在小模型中不存在但在参数量突破临界点后突然涌现
还有 15 条时间轴事件
全部知识事实 (20)
2023年斯坦福大学研究对「涌现」现象提出质疑,认为这在很大程度上是评估指标选择造成的假象,而非模型能力的真实突变
80%已验证大语言模型的涌现能力是指在参数规模突破某个阈值后突然展现出的复杂推理能力
80%已验证前沿模型存在涌现能力,即在达到某个参数规模阈值后突然展现出训练目标中未明确包含的能力
75%已验证涌现能力(emergent abilities)指模型规模超过某临界点时突然显现训练时未明确优化的新能力,如多步推理、代码生成或少样本学习
75%已验证思维链效果在参数量超过100B的模型上尤为显著
70%已验证当模型参数量突破某个临界点后会涌现出推理、调试等在小模型上看不到的能力,被称为涌现能力(Emergent Abilities)
70%已验证斯坦福大学Rylan Schaeffer团队在2023年提出反驳研究,认为「涌现」可能是评估指标选取不连续导致的视觉假象,而非模型能力的真实非线性跃升
65%已验证斯坦福的Schaeffer等人对涌现现象提出质疑,认为涌现可能部分是评估指标选择导致的测量伪影
65%已验证斯坦福2023年的论文认为涌现是评估指标选择导致的测量假象,换用平滑指标后能力提升是连续的
65%待验证涌现能力指当模型规模超过某个临界阈值后,某些此前不存在的能力会突然出现,性能出现断崖式跃升
60%待验证2023年斯坦福大学研究指出,某些被认为是涌现的能力可能是评估指标选择的伪影,而非模型能力的真正质变
50%待验证Anthropic等机构的研究表明大模型可能形成尚未理解的涌现能力,其出现机制和潜在风险难以事前评估
50%待验证Google的研究显示涌现能力往往是阶跃式跃迁,例如GPT-3在1750亿参数时能做多步推理,但在130亿参数时几乎不具备该能力
50%待验证涌现能力(Emergent Abilities)指大语言模型在规模或训练数据达到某个阈值后突然展现出此前不具备的能力
50%待验证2022年Jason Wei等人提出'涌现能力'概念,指出某些能力似乎在模型达到特定规模时突然出现
50%待验证纽约大学的Gary Marcus认为,大语言模型的涌现能力可能更多反映了评估指标的阈值效应,而非模型认知能力的质变
50%待验证涌现能力是指当模型规模突破某个阈值后突然出现的、在小规模模型中不存在的能力,例如思维链推理
50%待验证Google Research在2022年的研究中系统性总结了涌现能力概念,发现思维链推理、少样本学习等能力在小模型中不存在但在参数量突破临界点后突然涌现
50%待验证大语言模型展现出的涌现能力使得技术进步具有高度不可预测性,当模型规模跨过某个计算阈值时会突然展现出训练者未曾明确设计的新能力
50%待验证2023年斯坦福的研究指出所谓的涌现能力可能是评估指标选择造成的统计假象
50%