待验证50% 置信解决方案精确时间

非均匀张量并行允许张量并行组内的GPU承担不同大小的计算负载，在部分GPU故障时将工作重新分配给剩余健康GPU

1

来源数

50%

置信度

长期有效

时效性

2026/7/7

首次发现

来源

非均匀张量并行：NVIDIA提升LLM训练Goodput的容错新方案

rss2026/7/6

相关事实

待验证GPU上下文切换需保存完整GPU状态（包括寄存器文件、共享内存和L1缓存），数据量可达数百MB，而CPU上下文切换仅需保存几KB73% 相似待验证GPTQ、AWQ等后训练量化方法能将7B参数模型压缩至消费级GPU可运行的体积71% 相似待验证CPU工作负载通常是持续性的，而GPU工作负载往往是突发性的71% 相似待验证当专用GPU显存不够用时，Windows系统会自动将部分数据转移到从系统RAM划拨的共享GPU内存中71% 相似待验证上下文越长，需要存储和检索的KV Cache越大，GPU显存消耗呈线性增长71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/197030

API

curl https://kongchang.com/api/v1/knowledge/claims/197030

MCP

get_claim(id=197030)