待验证50% 置信事实精确时间

熵坍缩是指模型策略的输出分布过早收敛，导致探索能力丧失、模型陷入局部最优

1

来源数

50%

置信度

长期有效

时效性

2026/9/21

首次发现

来源

DAPO：字节跳动与清华开源的大模型强化学习系统

涉及实体

熵坍缩concept

相关事实

待验证Scaling Laws表明模型的交叉熵损失会随着计算量、数据量和参数量的增加而平滑下降，且这种下降关系可以用简单的幂律函数精确拟合76% 相似待验证标准交叉熵损失在目标占图像面积较小时会导致严重的类别不平衡问题，模型倾向于全部预测为背景75% 相似待验证如果交叉熵稳步下降而Dice波动剧烈，问题几乎可以确定出在Dice损失的配置上74% 相似待验证该模型使用类别加权的交叉熵损失，通过为每个类别赋予与其频率成反比的权重来缓解数据不平衡71% 相似待验证模型崩溃过程中模型会依次经历输出多样性降低、少数类别和边缘知识丢失，最终产生无意义或高度重复的输出71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/937677

API

curl https://kongchang.com/api/v1/knowledge/claims/937677

MCP

get_claim(id=937677)