待验证50% 置信事实精确时间

张量并行将单个矩阵运算切分到多张GPU协作完成，每次运算后需进行AllReduce通信聚合结果

1

来源数

50%

置信度

长期有效

时效性

2026/10/8

首次发现

来源

NVIDIA Megatron Core实现位级确定性预训练解析

涉及实体

张量并行concept AllReduceconcept

相关事实

待验证上下文并行（Context Parallelism）将输入序列在序列维度切片，每张 GPU 处理一段子序列的 attention 计算，各卡通过 all-gather 同步 KV cache70% 相似待验证专用GPU内核在编译时锁定所有可变参数，生成针对唯一配置的高度优化代码，以通用性换取极致效率69% 相似已验证连续批处理（Continuous Batching）允许推理引擎在单次前向传播中动态合并多个请求，以最大化 GPU 利用率69% 相似已验证连续批处理允许在任意迭代步插入新请求、移除已完成请求，使GPU在每一步保持满负荷运转67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/990035

API

curl https://kongchang.com/api/v1/knowledge/claims/990035

MCP

get_claim(id=990035)