待验证50% 置信事件精确时间
在四张卡上以 TP=4 部署 Llama-3.3-70B（bf16）并保留默认 max-model-len 时，在 6k 到 8k token 的真实长请求流量下工作节点会 OOM，GPUStack 随即重启它们。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/18
首次发现
有效期至：2027/1/16
来源
涉及实体
相关事实
待验证按高功耗加MLX或Ollama的公开数据，M4 Max上不同模型的解码速度大致阶梯为：Nemotron 3 Nano约160 tokens/s，Qwen 3.5 35B在107到130 tokens/s，Gemma 4 26B约75 tokens/s，DeepSeek V4 Flash约27 tokens/s，稠密27B约22 tokens/s72% 相似待验证bfloat16基线吞吐量为18.8K tokens/s/GPU，最快自定义路线达到37.9K tokens/s/GPU，几乎翻倍71% 相似待验证在5070 12G显卡配合64G内存的配置下，短聊天场景速度可达93 token/s，128K长上下文为74 token/s69% 相似待验证M5 Max的token生成速度大约在10-30 tokens/s范围（取决于模型规模），而NVIDIA H100的HBM3显存带宽高达3.35TB/s，推理速度可达本地设备的数十倍69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1063641API
curl https://kongchang.com/api/v1/knowledge/claims/1063641MCP
get_claim(id=1063641)