BitRun
零编译的单文件1-bit LLM推理运行器，静态链接内置NEON DotProd和AVX2原生SIMD内核，无需构建依赖即可在纯CPU上运行三值量化模型
时间轴 (近 90 天)
BitRun是一个静态链接的独立运行器，内置原生SIMD内核（Mac上的NEON DotProd、Windows/Linux上的AVX2），无需任何构建依赖。
在Apple Silicon M4 Pro（12核，ARM NEON）上，Falcon3 1B Instruct达到137.5 t/s提示处理和98.6 t/s生成速度，内存占用1.9 GB。
在Windows 10/11 x86_64（Intel Core i5-12600K，AVX2）上，BitRun运行Falcon3 1B生成速度为40-45 t/s。
在Linux x86_64（WSL2/Ubuntu，AVX2）下，BitRun首Token延迟约130 ms，生成速度为40-45 t/s。
云端API通常首Token延迟在200-500 ms，BitRun在WSL2上约130 ms已属可用。
BitRun可通过一行curl命令安装，支持macOS与Linux；Windows PowerShell也有一行安装命令。安装后可用bitrun pull falcon3-1b拉取模型并用bitrun run falcon3-1b运行。
BitRun可启动OpenAI兼容的REST接口，命令为bitrun serve falcon3-1b --port 11435。
BitRun的GitHub仓库为IshekKhal/bitrun，发布二进制见v0.1.0-alpha标签；相关上游PR #642与#644位于microsoft/BitNet。
全部知识事实 (8)
BitRun是一个静态链接的独立运行器，内置原生SIMD内核（Mac上的NEON DotProd、Windows/Linux上的AVX2），无需任何构建依赖。
50%待验证在Apple Silicon M4 Pro（12核，ARM NEON）上，Falcon3 1B Instruct达到137.5 t/s提示处理和98.6 t/s生成速度，内存占用1.9 GB。
50%待验证在Windows 10/11 x86_64（Intel Core i5-12600K，AVX2）上，BitRun运行Falcon3 1B生成速度为40-45 t/s。
50%待验证在Linux x86_64（WSL2/Ubuntu，AVX2）下，BitRun首Token延迟约130 ms，生成速度为40-45 t/s。
50%待验证云端API通常首Token延迟在200-500 ms，BitRun在WSL2上约130 ms已属可用。
50%待验证BitRun可通过一行curl命令安装，支持macOS与Linux；Windows PowerShell也有一行安装命令。安装后可用bitrun pull falcon3-1b拉取模型并用bitrun run falcon3-1b运行。
50%待验证BitRun可启动OpenAI兼容的REST接口，命令为bitrun serve falcon3-1b --port 11435。
50%待验证BitRun的GitHub仓库为IshekKhal/bitrun，发布二进制见v0.1.0-alpha标签；相关上游PR #642与#644位于microsoft/BitNet。
50%