待验证50% 置信解决方案精确时间
在无法使用 TP 的异构节点上，GPUStack 回退到 llama-box 与层卸载，num_gpu 60（共 80 层）在 48 GB 显存上是诚实上限，设为 80 会在第一个 4k 提示时崩溃。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/18
首次发现
有效期至：2027/1/16
来源
涉及实体
相关事实
待验证在四张卡上以 TP=4 部署 Llama-3.3-70B（bf16）并保留默认 max-model-len 时，在 6k 到 8k token 的真实长请求流量下工作节点会 OOM，GPUStack 随即重启它们。68% 相似待验证2×80GB GPU运行16-bit精度的70B模型时，权重加载后仅剩2.9 GB显存，仅能容纳约9,000个在途token，实际无法有效服务请求。67% 相似待验证1664x960在24GB显存中占用21.6GB（基线1.2GB），且只在显卡真正空闲时才能运行；多次渲染失败是因为llama-swap和常驻引擎在渲染中途溜回GPU。66% 相似待验证Llama 3 8B有32层、8个KV头（GQA架构，查询头32个）、头维度128，8192上下文FP16单序列下KV缓存约1.07GB66% 相似已验证消费级GPU RTX 4090的显存上限为24GB65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1063645API
curl https://kongchang.com/api/v1/knowledge/claims/1063645MCP
get_claim(id=1063645)