模型Llama 3.3 70B
Llama-3.3-70B
Meta发布的开源大语言模型，70B参数规模，属于Llama 3系列，支持多语言和长上下文。
核心事实
时间轴 (近 90 天)
10月18日
在四张卡上以 TP=4 部署 Llama-3.3-70B（bf16）并保留默认 max-model-len 时，在 6k 到 8k token 的真实长请求流量下工作节点会 OOM，GPUStack 随即重启它们。
待验证50%
10月18日
固定 max-model-len 为 16384 可将 KV Cache 上限减半，原团队测量的真实提示 p99 为 11k token，因此 16k 既留出余量又不至于让池翻倍。
待验证50%
9月23日
Llama 3.3 70B采用GQA后每token KV Cache约320KB
待验证50%
全部知识事实 (4)
已验证
以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB
80%待验证固定 max-model-len 为 16384 可将 KV Cache 上限减半，原团队测量的真实提示 p99 为 11k token，因此 16k 既留出余量又不至于让池翻倍。
50%待验证Llama 3.3 70B采用GQA后每token KV Cache约320KB
50%待验证在四张卡上以 TP=4 部署 Llama-3.3-70B（bf16）并保留默认 max-model-len 时，在 6k 到 8k token 的真实长请求流量下工作节点会 OOM，GPUStack 随即重启它们。
50%