待验证50% 置信事实精确时间

Beam 预训练结束时最繁忙的专家负载仅为平均值的 1.04 倍。

1

来源数

50%

置信度

长期有效

时效性

2026/10/19

首次发现

来源

501B MoE模型Beam：用更少Token实现前沿推理

涉及实体

相关事实

待验证Beam训练期间新权重从训练端同步到推理集群中位时间约12秒，出现71次故障但训练未停，中位8分钟恢复，损失服务时间仅占0.02%71% 相似待验证Priming声称训练成本不到原始训练的1%，吞吐量最高可提升两倍。60% 相似待验证在LLaDA-2.1-mini上，ORL只需4.2M自生成训练token和36个H100 GPU小时的后训练，就能在质量相当的前提下获得最多3倍吞吐提升。60% 相似已验证使用Unsloth进行训练时速度提升2-5倍59% 相似待验证Meta的Llama 2(700亿参数版本)使用了180万GPU小时进行训练57% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1070565

API

curl https://kongchang.com/api/v1/knowledge/claims/1070565

MCP

get_claim(id=1070565)