待验证50% 置信权衡取舍精确时间
64k以下的生成速度手机无法加速，生成提速由fork中的自定义内核实现，包括M4 CPU上的SME2指令、Metal融合算子和DFlash2推测解码，将生成从原版llama.cpp的11.3 tok/s拉到约30k上下文下的25 tok/s
1
来源数
50%
置信度
长期有效
时效性
2026/10/2
首次发现
来源
涉及实体
相关事实
待验证UP主在4G显存电脑上实测MiniCPM-2B生成速度达每秒57个token，首字生成仅0.22秒71% 相似待验证Collapse推理速度：CPU上单条10-token上下文约0.23毫秒，MPS在batch 1024下约230万token/秒，最近邻查询约0.48毫秒70% 相似待验证Qwen3-0.6B 经 INT4 量化后模型文件仅约 400MB，保留约 95% 基准能力，普通笔记本 CPU 即可实现每秒 10-30 token 生成速度69% 相似待验证在配备96GB显存的M2 Max上以1-bit精度运行时，简单任务生成速度稳定在约28-30 tokens/秒68% 相似待验证2023年以来旗舰手机芯片NPU算力已突破40 TOPS，配合量化技术使7B甚至13B参数模型能在手机上以每秒数个token速度推理68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/968232API
curl https://kongchang.com/api/v1/knowledge/claims/968232MCP
get_claim(id=968232)