Unverified50% confidenceSolutionExact time
非均匀张量并行允许张量并行组内的GPU承担不同大小的计算负载，在部分GPU故障时将工作重新分配给剩余健康GPU
1
Sources
50%
Confidence
Long-term
Relevance
7/7/2026
First Seen
Sources
非均匀张量并行：NVIDIA提升LLM训练Goodput的容错新方案
rss7/6/2026
Related Claims
UnverifiedGPU上下文切换需保存完整GPU状态（包括寄存器文件、共享内存和L1缓存），数据量可达数百MB，而CPU上下文切换仅需保存几KB73% similarUnverifiedGPTQ、AWQ等后训练量化方法能将7B参数模型压缩至消费级GPU可运行的体积71% similarUnverifiedCPU工作负载通常是持续性的，而GPU工作负载往往是突发性的71% similarUnverified当专用GPU显存不够用时，Windows系统会自动将部分数据转移到从系统RAM划拨的共享GPU内存中71% similarUnverified上下文越长，需要存储和检索的KV Cache越大，GPU显存消耗呈线性增长71% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/197030API
curl https://kongchang.com/api/v1/knowledge/claims/197030MCP
get_claim(id=197030)