待验证50% 置信事实精确时间

AllReduce本质上是分布式浮点求和，其结果依赖参与节点的响应顺序，在异步网络环境中天然不确定

1

来源数

50%

置信度

长期有效

时效性

2026/10/8

首次发现

来源

NVIDIA Megatron Core实现位级确定性预训练解析

涉及实体

AllReduceconcept

相关事实

待验证常见的集合通信操作包括AllReduce、AllGather和ReduceScatter，其中AllReduce将所有节点的梯度求和后广播回每个节点63% 相似待验证图神经网络通过消息传递机制让每个节点聚合邻居节点信息，迭代更新自身表征62% 相似待验证目标网络维护参数更新滞后的网络副本来计算目标值，每隔固定步数（如1000步）将主网络参数同步过去，解决追逐移动目标问题62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/990036

API

curl https://kongchang.com/api/v1/knowledge/claims/990036

MCP

get_claim(id=990036)