模型bonsai-8b

bonsai-8b

PrismML开发的80亿参数三值1-bit大语言模型，可在CPU上仅用约2GB内存运行，无需GPU，适用于低功耗本地推理场景

时间轴 (近 90 天)

10月15日

BitRun v0.2 可以完全在 CPU 内存中运行 PrismML 的 80 亿参数模型 bonsai-8b，占用约 2.08 GB 内存，不需要独立 GPU、云端 API 或编译。

待验证50%

10月15日

在 MacBook Pro（M4 Pro CPU，12 核，24 GB 内存）上运行 bonsai-8b 模型，生成速度为 21.0 tok/s，活跃功率为 11.7 W，每 token 能耗为 0.886 J。

待验证50%

BitRun v0.2 可以完全在 CPU 内存中运行 PrismML 的 80 亿参数模型 bonsai-8b，占用约 2.08 GB 内存，不需要独立 GPU、云端 API 或编译。

在 MacBook Pro（M4 Pro CPU，12 核，24 GB 内存）上运行 bonsai-8b 模型，生成速度为 21.0 tok/s，活跃功率为 11.7 W，每 token 能耗为 0.886 J。