待验证50% 置信基准精确时间

此前用llama.cpp配合KVMem起普通模型大约能到一百多token/s

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/10

首次发现

有效期至：2027/1/8

来源

本地单卡748 token/s：Bonsai2+Ninfer+KVMem极值实践

涉及实体

llama.cppproduct KVMemproduct

相关事实

待验证本地部署使用llama.cpp作为推理后端，采用Unsloth的4bit量化版模型60% 相似待验证GGUF 是由 llama.cpp 项目引入的量化模型格式，Q4_K_M 表示 4-bit 量化，相比 F16 可将显存占用减少约 75%59% 相似待验证MLC LLM通常比llama.cpp的纯CPU推理有更高吞吐量59% 相似待验证H100 原生支持 fp8 矩阵乘法，理论上可将计算吞吐量再翻倍57% 相似待验证Ollama、vLLM、llama.cpp等本地推理工具链趋于成熟，让单张消费级GPU也能运行70亿至130亿参数量级的模型57% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/995010

API

curl https://kongchang.com/api/v1/knowledge/claims/995010

MCP

get_claim(id=995010)