待验证50% 置信事实精确时间

负载均衡损失的系数α通常取0.01左右，但具体值高度依赖模型规模和数据分布。

1

来源数

50%

置信度

长期有效

时效性

2026/10/15

首次发现

来源

MoE路由机制解析：三大问题与两种修复方案

redditr/deeplearning2026/10/15

涉及实体

负载均衡损失concept MoEconcept

相关事实

待验证负载均衡损失使用所有专家选择频率的平方和L=ΣFi²，由柯西不等式可知当所有Fi=1/N时损失最小75% 相似待验证经过良好校准的FP8推理，模型输出质量损失通常可控制在1%以内73% 相似待验证不同归一化方案对同一模型的IC影响可达0.01-0.03的量级69% 相似待验证当分位点 τ=0.5 时，分位数损失退化为平均绝对误差（MAE）69% 相似待验证Focal Loss在标准交叉熵损失前添加调制因子(1-p_t)^γ，γ通常设为2，使模型聚焦于困难样本69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1035489

API

curl https://kongchang.com/api/v1/knowledge/claims/1035489

MCP

get_claim(id=1035489)