待验证90% 置信决策规则时间未知
LLM推理/训练选卡看显存优先于算力：7B模型微调至少需24GB显存（RTX 4090/A5000），13B需A100 40GB，70B全参数训练需A100 80GB×4或H100集群
1
来源数
90%
置信度
中期 (~90 天)
时效性
-
首次发现
来源
涉及实体
相关事实
待验证训练大模型（>13B参数）时显存容量优先级高于算力，单卡显存<40GB无法有效微调13B模型（即使用LoRA也需24GB+），全参数训练70B模型需至少8×80GB卡86% 相似待验证训练大语言模型/Stable Diffusion微调优先选显存≥24GB的卡（RTX 4090/A6000/A100 40GB），显存不足会直接OOM报错，无法通过降batch size解决时必须换卡80% 相似待验证AI大模型本地训练/微调场景：优先看显存总量与带宽，24G可微调7B级模型，48G支持13B级LoRA微调，70B级推理需多卡显存合计80G以上78% 相似待验证INT8量化使每个参数仅占1字节，相比fp16节省50%显存，该策略可使SDXL级别模型训练在RTX 4090（24GB显存）单卡上运行76% 相似待验证做AI训练/推理或跑本地大模型时，显存容量是硬门槛，7B模型需要至少8G，13B以上需要16G-24G，此时应优先选大显存而非高游戏性能75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/478107API
curl https://kongchang.com/api/v1/knowledge/claims/478107MCP
get_claim(id=478107)