模型Falcon3-1B / Falcon3 1B
Falcon3 1B Instruct
TII发布的Falcon3系列10亿参数量级指令微调语言模型,提供1-bit三值量化版本,面向边缘和CPU推理场景
时间轴 (近 90 天)
10月13日
在Apple Silicon M4 Pro(12核,ARM NEON)上,Falcon3 1B Instruct达到137.5 t/s提示处理和98.6 t/s生成速度,内存占用1.9 GB。
待验证50%
TII发布的Falcon3系列10亿参数量级指令微调语言模型,提供1-bit三值量化版本,面向边缘和CPU推理场景
在Apple Silicon M4 Pro(12核,ARM NEON)上,Falcon3 1B Instruct达到137.5 t/s提示处理和98.6 t/s生成速度,内存占用1.9 GB。