概念规模化崩塌
Scaling Collapse
LLM推理微调中的一种现象,指当训练问题集固定时,单纯增加正确推理示例无法持续提升模型性能,本质上是数据多样性耗尽导致的边际收益递减问题
时间轴 (近 90 天)
9月18日
Scaling Collapse指当训练问题集有限时,单纯增加正确推理示例并不能带来持续的性能提升
待验证50%
9月18日
Reflective Recovery方法打破了Scaling Collapse的壁垒
待验证50%
LLM推理微调中的一种现象,指当训练问题集固定时,单纯增加正确推理示例无法持续提升模型性能,本质上是数据多样性耗尽导致的边际收益递减问题
Scaling Collapse指当训练问题集有限时,单纯增加正确推理示例并不能带来持续的性能提升
Reflective Recovery方法打破了Scaling Collapse的壁垒