待验证92% 置信决策规则时间未知
训练大语言模型/Stable Diffusion微调优先选显存≥24GB的卡（RTX 4090/A6000/A100 40GB），显存不足会直接OOM报错，无法通过降batch size解决时必须换卡
1
来源数
92%
置信度
长期有效
时效性
-
首次发现
来源
涉及实体
相关事实
待验证LLM推理/训练选卡看显存优先于算力：7B模型微调至少需24GB显存（RTX 4090/A5000），13B需A100 40GB，70B全参数训练需A100 80GB×4或H100集群80% 相似待验证INT8量化使每个参数仅占1字节，相比fp16节省50%显存，该策略可使SDXL级别模型训练在RTX 4090（24GB显存）单卡上运行76% 相似待验证训练大模型（>13B参数）时显存容量优先级高于算力，单卡显存<40GB无法有效微调13B模型（即使用LoRA也需24GB+），全参数训练70B模型需至少8×80GB卡75% 相似待验证容量越大单卡故障丢失的数据越多，专业拍摄建议用多张中等容量卡（如64/128GB）分散风险，而非一张512GB以上大卡74% 相似待验证RTX 4090显存24GB但不支持NVLink，无法做多卡显存池化，多卡训练时每张卡显存独立，大模型分布式训练效率不如A100/H100系列74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/478224API
curl https://kongchang.com/api/v1/knowledge/claims/478224MCP
get_claim(id=478224)