待验证50% 置信基准精确时间
将Ninfer推理引擎、Bonsai压缩模型和KVMem显存卸载三者结合后，解码峰值达到748 token/s，预填充最高达到3.8K token/s
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/10
首次发现
有效期至：2027/1/8
来源
涉及实体
相关事实
待验证Bonsai采用三值量化，将每个权重压缩为-1、0或+1三个值，每128个权重共享一个缩放因子，每个权重约需1.7比特，比16位全精度小约9倍70% 相似待验证运行Qwen3-Next-Flash（Autoround W4A16量化）时，预填充速度约1.3k tokens/s，生成速度达70 tokens/s（代码）/60 tokens/s（散文），支持128k+长上下文68% 相似待验证对于典型 7B 参数模型，每 1K token 的 KV Cache 约需 0.5–1GB 显存67% 相似待验证开发者Primitive报告：关闭推测时为91.2 tokens/s，开启3个推测token后达到142.6 tokens/s，同一配置下约提速56%67% 相似待验证3B 模型在现代 CPU 上通过 llama.cpp 推理速度通常达到 10-30 tokens/秒67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/995001API
curl https://kongchang.com/api/v1/knowledge/claims/995001MCP
get_claim(id=995001)