Unverified50% confidenceTradeoffExact time
传统张量并行采用均匀切分方式，一旦某块GPU故障，整个张量并行组便陷入停滞
1
Sources
50%
Confidence
Long-term
Relevance
7/7/2026
First Seen
Sources
非均匀张量并行：NVIDIA提升LLM训练Goodput的容错新方案
rss7/6/2026
Related Claims
Unverified连续批处理（Continuous Batching）解决GPU利用率问题，防止序列长度不齐导致的算力浪费76% similarUnverifiedGPTQ通过对每一层权重进行二阶近似优化（基于OBS/OBQ框架）来最小化量化误差，通常需要如C4数据集的128条样本校准，单GPU上仅需数小时完成69% similarUnverifiedGPU显存无法超卖，且一旦显存溢出会导致OOM直接崩溃，大模型推理具有强计算密集性69% similarUnverified在高缓存命中率场景下盲目增加GPU可能收效甚微，应先识别带宽瓶颈再优化68% similarUnverifiedGPU并行归约中因浮点运算不满足结合律，不同线程束执行顺序差异会导致数值结果出现偏差，是非确定性的根本原因68% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/197029API
curl https://kongchang.com/api/v1/knowledge/claims/197029MCP
get_claim(id=197029)