待验证50% 置信基准精确时间
Ollama 性能与裸 llama.cpp 差距在 3%-5% 之间，8B 模型约 105 tok/s、首 token 延迟 22ms，多出的延迟来自 HTTP 守护进程。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/19
首次发现
有效期至：2026/11/2
来源
vLLM vs Ollama vs llama.cpp：LLM推理引擎终极选型指南
rss2026/10/19
涉及实体
相关事实
待验证Llama 3.2 1B模型在WebGPU下达到55-64 tokens/s，中位回复耗时0.4-0.5秒，比SmolLM2 360M更快。68% 相似待验证OGL-Mini 在 CPU 上运行，延迟低于 10 ms，比外部 API 快 10-30 倍，且外部 API 会因网络请求增加 100-300 ms 延迟。67% 相似待验证llama.cpp通过纯CPU推理和4-bit GGUF量化格式，使7B参数模型在无GPU的普通服务器上达到每秒20-40 tokens的生成速度65% 相似待验证使用 Ollama 在本地运行中等规模模型通常需要 8GB 以上显存或统一内存才能流畅运行。64% 相似待验证现代LLM速率限制是多维度吞吐量约束，同时评估RPM、TPM、RPD和TPD/消费限额，任一维度触顶即返回HTTP 42962% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1067963API
curl https://kongchang.com/api/v1/knowledge/claims/1067963MCP
get_claim(id=1067963)