待验证50% 置信事实精确时间

论文引入熵正则化损失（entropy-regularized loss）防止路由分布过度集中，鼓励更多样化的路由分布

1

来源数

50%

置信度

长期有效

时效性

2026/10/8

首次发现

来源

MoR-MLLM：用递归混合机制打造高效多模态大模型

涉及实体

MoR-MLLMmodel 熵正则化损失concept

相关事实

待验证该模型使用类别加权的交叉熵损失，通过为每个类别赋予与其频率成反比的权重来缓解数据不平衡74% 相似已验证交叉熵损失起源于信息论中的KL散度，衡量真实概率分布与预测概率分布之间的差异程度69% 相似待验证如果交叉熵稳步下降而Dice波动剧烈，问题几乎可以确定出在Dice损失的配置上69% 相似待验证Scaling Laws表明模型的交叉熵损失会随着计算量、数据量和参数量的增加而平滑下降，且这种下降关系可以用简单的幂律函数精确拟合67% 相似待验证熵坍缩是指模型策略的输出分布过早收敛，导致探索能力丧失、模型陷入局部最优66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/986859

API

curl https://kongchang.com/api/v1/knowledge/claims/986859

MCP

get_claim(id=986859)