概念Mode Collapse
模式坍缩
生成模型领域的经典问题,指模型反复生成高度雷同的输出,缺乏多样性,尤其在经过RLHF对齐后的大语言模型中表现明显
时间轴 (近 90 天)
8月22日
扩散模型在生成时会倾向于模式坍缩(mode collapse),即在缺乏具体约束时输出分布集中在训练数据中出现频率最高的视觉模式上
待验证50%
生成模型领域的经典问题,指模型反复生成高度雷同的输出,缺乏多样性,尤其在经过RLHF对齐后的大语言模型中表现明显
扩散模型在生成时会倾向于模式坍缩(mode collapse),即在缺乏具体约束时输出分布集中在训练数据中出现频率最高的视觉模式上