[控场AI]
概念Model Collapse

模型坍缩

当生成模型反复在自身生成的数据上训练时,输出分布逐渐退化、低概率事件被系统性遗忘、输出趋向单一化的现象

核心事实

时间轴 (近 90 天)

9月1日

模型崩溃过程中模型会依次经历输出多样性降低、少数类别和边缘知识丢失,最终产生无意义或高度重复的输出

待验证50%
8月31日

2023年牛津大学等机构研究表明,AI模型在含大量AI生成内容的数据上训练会丧失对数据分布尾部的捕捉能力,导致输出单一化和质量退化,即模型自噬

待验证50%
8月25日

2023年发表的《The Curse of Recursion》等研究表明,当模型在自身生成的数据上反复训练时,数据分布会逐渐退化,多样性持续降低,最终导致模型能力系统性衰退(模型坍缩)

待验证50%
8月24日

模型坍缩的核心机制是后续模型在AI生成数据上训练时逐渐丢失原始人类数据中的长尾分布信息,导致输出多样性收窄

待验证50%
7月21日

模型坍缩(Model Collapse)最早由机器学习研究者Ilia Shumailov等人于2023年在Nature期刊上系统性描述

待验证50%
7月6日

模型塌陷(Model Collapse)指未来模型若大量在AI生成内容上训练,将逐渐失去人类写作多样性并陷入退化循环

已验证65%

全部知识事实 (6)

来源文章