SonicBoom
HardenedLinux 社区开发的开源推理运行时，采用编译器优先设计，基于 MLIR 方言 Boom IR，不依赖 Python，提供 C ABI 和 Guile Scheme 一等支持，复用 ggml 量化内核。
时间轴 (近 90 天)
SonicBoom 是一个基于 GPLv3 协议的开源推理运行时，由 HardenedLinux 社区开发。
SonicBoom 采用编译器优先的设计，构建和运行全程不依赖 Python，只交付一个共享库和 C ABI，并以 Guile Scheme 作为一等语言。
在桌面级 RTX 3050 8GB 显卡上，使用相同的 GGUF 模型和相同会话，SonicBoom v0.0.3 在解码阶段取得了优于 llama.cpp（-ngl 99）的表现。
自 v0.0.2 以来，得益于前缀复用和计划缓存，SonicBoom 的首令牌时间（TTFT）下降了数倍。
SonicBoom 的输出令牌与黄金运行结果逐位一致，前缀复用与完整预填充的结果也保持逐位相同。
SonicBoom 的所有图优化和内核生成都发生在 Boom IR 上，这是一个 MLIR 方言。
SonicBoom 的热量化矩阵乘法作为带属性的 ggml 衍生内核运行。
在 Qwen 模型深度 512 的解码场景下，SonicBoom 的性能仅为 llama.cpp 的 0.98 倍。
SonicBoom 目前只在单一 GPU 上完成了验证。
SonicBoom 的每一项优化都配有开关和消融数据，用户可以清楚地看到每个优化项带来的实际收益。
还有 2 条时间轴事件
全部知识事实 (12)
SonicBoom 是一个基于 GPLv3 协议的开源推理运行时，由 HardenedLinux 社区开发。
50%待验证SonicBoom 采用编译器优先的设计，构建和运行全程不依赖 Python，只交付一个共享库和 C ABI，并以 Guile Scheme 作为一等语言。
50%待验证在桌面级 RTX 3050 8GB 显卡上，使用相同的 GGUF 模型和相同会话，SonicBoom v0.0.3 在解码阶段取得了优于 llama.cpp（-ngl 99）的表现。
50%待验证自 v0.0.2 以来，得益于前缀复用和计划缓存，SonicBoom 的首令牌时间（TTFT）下降了数倍。
50%待验证SonicBoom 的输出令牌与黄金运行结果逐位一致，前缀复用与完整预填充的结果也保持逐位相同。
50%待验证SonicBoom 的所有图优化和内核生成都发生在 Boom IR 上，这是一个 MLIR 方言。
50%待验证SonicBoom 的热量化矩阵乘法作为带属性的 ggml 衍生内核运行。
50%待验证在 Qwen 模型深度 512 的解码场景下，SonicBoom 的性能仅为 llama.cpp 的 0.98 倍。
50%待验证SonicBoom 目前只在单一 GPU 上完成了验证。
50%待验证SonicBoom 的每一项优化都配有开关和消融数据，用户可以清楚地看到每个优化项带来的实际收益。
50%待验证SonicBoom 每个版本都会在 GitHub 上设立一个基准测试 issue，拥有 NVIDIA GPU 的用户只需一条命令即可生成可粘贴的报告，所有被收录结果的贡献者都会在 README 中获得署名。
50%待验证SonicBoom v0.0.3 的基准测试 issue 已在 GitHub 上开放。
50%