待验证50% 置信基准精确时间
单用户场景下 llama.cpp 8B 模型在 RTX 4090 上约 115 tok/s、首 token 延迟约 12ms，但 32 并发时吞吐仅约 210 tok/s。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/19
首次发现
有效期至：2026/11/2
来源
vLLM vs Ollama vs llama.cpp：LLM推理引擎终极选型指南
rss2026/10/19
涉及实体
相关事实
待验证RTX 4090的理论FP16算力为330 TFLOPS,对于7B FP16模型的Decode实际速度通常在50-60 tokens/s73% 相似待验证在5070 12G显卡配合64G内存的配置下，短聊天场景速度可达93 token/s，128K长上下文为74 token/s72% 相似待验证提示处理速度上RTX 4090约3000 tokens/s，M5 Max约800 tokens/s，英伟达在长文档/代码库输入场景优势明显72% 相似待验证UP主使用 RTX 4080S（16GB 显存）+ 64GB 内存配置运行 MiniCPM 2B，实测推理速度可达约 110 token/秒71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1067962API
curl https://kongchang.com/api/v1/knowledge/claims/1067962MCP
get_claim(id=1067962)