待验证50% 置信事实精确时间
在 MoE 的专家并行中,每次前向和反向传播都需要执行 All-to-All 通信,其通信量与 token 数量、专家数量和隐藏维度相关。
1
来源数
50%
置信度
长期有效
时效性
2026/11/12
首次发现
来源
PyTorch与TorchTitan:在欧盟公共设施上训练1T参数MoE
rss2026/11/12
涉及实体
相关事实
引用此条事实
Stable URI
https://kongchang.com/claim/1162562API
curl https://kongchang.com/api/v1/knowledge/claims/1162562MCP
get_claim(id=1162562)