待验证50% 置信基准精确时间

在 Llama-3.1-8B、批大小 32、上下文 2048 的同一条件下，vLLM 约 450 tok/s，llama.cpp 约 280 tok/s，Ollama 约 120 tok/s。

1

来源数

50%

置信度

短期 (~14 天)

时效性

2026/10/12

首次发现

有效期至：2026/10/26

来源

本地部署大模型实战：Ollama、llama.cpp 与 vLLM 深度对比

涉及实体

vLLMproduct llama.cppproduct Ollamaproduct Llama-3.1-8Bmodel

相关事实

待验证Llama 3 8B有32层、8个KV头（GQA架构，查询头32个）、头维度128，8192上下文FP16单序列下KV缓存约1.07GB71% 相似待验证Llama 3.3 70B采用GQA后每token KV Cache约320KB70% 相似待验证Llama-3（8B）的全量微调约需80GB以上显存，Llama-3（70B）则需要超过400GB67% 相似待验证主流开源多模态模型上下文长度通常在4K到32K之间，LLaVA-1.5为4096 token，Qwen-VL为8192 token，InternVL2扩展到32K67% 相似待验证Llama 3.1 8B每个token的KV缓存开销约为128KB67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1008120

API

curl https://kongchang.com/api/v1/knowledge/claims/1008120

MCP

get_claim(id=1008120)