待验证50% 置信基准精确时间
在Apple Silicon M4 Pro（12核，ARM NEON）上，Falcon3 1B Instruct达到137.5 t/s提示处理和98.6 t/s生成速度，内存占用1.9 GB。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/13
首次发现
有效期至：2026/10/27
来源
涉及实体
相关事实
待验证超小模型在量化之后通常只需 1–2 GB 显存，RTX 3060 或 Apple Silicon M 系芯片均可流畅运行75% 相似待验证本地推理受限于用户硬件，一个7B参数量化模型（如Llama 3 8B的Q4版本）文件约4-5GB，在Apple M系列芯片Mac上可达每秒20-40个token，在仅有集成显卡和8GB内存的笔记本上可能降至每秒3-5个token75% 相似已验证Apple M系列芯片的内存带宽可达200-800GB/s（取决于具体型号）75% 相似待验证Apple Silicon上原生推荐使用MLX 4位仿射量化（组大小64），4位MLX构建约占15GB统一内存73% 相似待验证在Windows 10/11 x86_64（Intel Core i5-12600K，AVX2）上，BitRun运行Falcon3 1B生成速度为40-45 t/s。72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1018712API
curl https://kongchang.com/api/v1/knowledge/claims/1018712MCP
get_claim(id=1018712)