待验证50% 置信事实精确时间
现有 27B 生产环境运行在 llama.cpp 上，使用 PQ2_0 量化权重、两个并行槽位、共享 32k 上下文，温度设为 0，响应走严格的 json_schema 解码。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/16
首次发现
有效期至：2027/1/14
来源
实测三元Bonsai 2 9B：速度提升3倍，但生产环境不敢换
rss2026/10/16
涉及实体
相关事实
待验证llama.cpp 0.3.0 通过 --n-gpu-layers 参数利用统一内存特性，在 M2 Max 上 7B 模型可以卸载35层。67% 相似已验证llama.cpp通过量化技术将模型权重从32位浮点压缩至4位或8位整数，降低硬件门槛，使消费级GPU甚至纯CPU也能运行数十亿参数规模的模型62% 相似待验证27B参数的Q8_0模型加上vLLM的KV Cache和运行时开销，单个推理服务需要近50GB内存空间62% 相似待验证llama.cpp通过纯CPU推理和4-bit GGUF量化格式，使7B参数模型在无GPU的普通服务器上达到每秒20-40 tokens的生成速度62% 相似待验证在45nm工艺下，一次32位浮点乘法运算消耗约3.7pJ能量，从片外DRAM读取32位数据消耗约640pJ，片上SRAM访问需要约5pJ60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1043479API
curl https://kongchang.com/api/v1/knowledge/claims/1043479MCP
get_claim(id=1043479)