模型崩溃
模型崩溃是机器学习训练过程中出现的异常失效现象，广义上指模型因梯度爆炸、数值不稳定或训练目标失衡等原因导致性能骤降乃至完全失效；在生成模型领域特指模型输出多样性严重丧失、仅能生成少数重复样本的分布坍缩状态。该现象常见于生成对抗网络（GAN）训练及以合成数据反复迭代训练的场景中，是模型鲁棒性研究的重要课题。
核心事实
时间轴 (近 90 天)
作者认为模型崩溃并非AI独有，而是任何反馈闭环系统都可能面临的结构性风险，是经典问题在新技术载体上的重演
缓解模型崩溃的策略包括保持真实数据源供给、对训练数据进行来源标记和质量筛选、在数据管线中保留原始信号锚点
牛津大学等机构的研究以数学方式证明，模型崩溃这种退化在多代训练迭代后不可逆
研究者提出的主要应对方向包括主动向训练数据引入多样性约束、在评测体系中加入分布多样性指标
随着互联网上AI生成内容占比攀升，未来爬取网页数据进行预训练的模型将越来越难以规避内容污染源
该模型崩溃现象在Reddit社区引发了广泛讨论
模型崩溃过程中，模型会逐渐丢失数据分布的长尾部分，最终收敛到单调、重复、缺乏多样性的输出
多篇研究论文已警告过递归训练导致模型退化的风险
可读性对训练数据的人类性高度敏感，是最先崩塌的指标
当语言模型在自身或同类模型生成的数据上反复训练时，会出现系统性退化，模型输出多样性逐代降低，分布尾部信息逐渐丢失
还有 5 条时间轴事件
全部知识事实 (17)
模型崩溃指AI模型使用前代模型生成数据训练后，经过多代迭代输出分布会逐渐偏离原始真实数据分布，丢失分布尾部信息
80%已验证当语言模型在自身或同类模型生成的数据上反复训练时，会出现系统性退化，模型输出多样性逐代降低，分布尾部信息逐渐丢失
75%已验证模型坍缩（Model Collapse）概念在2023年由牛津大学和剑桥大学研究团队在Nature论文中正式提出
70%已验证模型崩溃过程中模型会依次经历输出多样性降低、少数类别和边缘知识丢失，最终产生无意义或高度重复的输出
65%已验证2024年研究表明即使AI生成内容仅占训练数据的10-20%，在多代训练后也足以引发可测量的质量退化
65%已验证模型塌陷（Model Collapse）指未来模型若大量在AI生成内容上训练，将逐渐失去人类写作多样性并陷入退化循环
65%待验证合成数据的反馈循环会导致模型崩溃，表现为词汇单一化、句子结构趋同、长尾内容消失
90%待验证模型崩溃过程中，模型会逐渐丢失数据分布的长尾部分，最终收敛到单调、重复、缺乏多样性的输出
60%待验证2023年牛津大学等机构发表研究，实验中发现经过仅5-10代递归训练，模型输出质量就会出现肉眼可见的退化
60%待验证作者认为模型崩溃并非AI独有，而是任何反馈闭环系统都可能面临的结构性风险，是经典问题在新技术载体上的重演
50%待验证缓解模型崩溃的策略包括保持真实数据源供给、对训练数据进行来源标记和质量筛选、在数据管线中保留原始信号锚点
50%待验证牛津大学等机构的研究以数学方式证明，模型崩溃这种退化在多代训练迭代后不可逆
50%待验证研究者提出的主要应对方向包括主动向训练数据引入多样性约束、在评测体系中加入分布多样性指标
50%待验证可读性对训练数据的人类性高度敏感，是最先崩塌的指标
50%待验证多篇研究论文已警告过递归训练导致模型退化的风险
50%待验证模型崩溃概念由英国牛津大学和剑桥大学研究团队在2023年论文《The Curse of Recursion》中正式提出
50%待验证随着互联网上AI生成内容占比攀升，未来爬取网页数据进行预训练的模型将越来越难以规避内容污染源
50%