Lucebox
开源的本地大模型推理加速项目，基于投机解码技术，支持异构消费级GPU（NVIDIA、AMD、Apple Silicon、CPU）混搭运行，采用原生C++实现，提供OpenAI兼容API。
时间轴 (近 90 天)
Lucebox 是一个开源项目，通过投机解码将异构硬件的闲置算力串联，在不牺牲输出质量的前提下将推理速度提升 1.5 到 3 倍。
Lucebox 将草稿模型和目标模型拆分到不同硬件上运行，官方示例中 Llama-3.2-1B 作为草稿模型跑在第二块 GPU 或 CPU 上，Llama-3.1-70B 作为目标模型跑在主卡上。
Lucebox 支持硬件后端混搭，NVIDIA RTX、AMD ROCm、Apple Silicon 和纯 CPU 可以出现在同一套推理链路中。
Lucebox 用原生 C++ 实现，主打低运行时开销和高并发，避免了 Python 推理框架常见的调度损耗。
Lucebox 部署时需用 CMake 以 Release 模式编译，启动时通过 --target-model、--draft-model、--target-device、--draft-device 指定模型路径和设备编号，服务默认暴露 OpenAI 兼容的 /v1/chat/completions 端点。
Lucebox 要求模型格式为 GGUF，且草稿模型与目标模型的词表需要兼容，否则投机验证的接受率会大幅下降，加速效果无从谈起。
文档给出的 1.5x–3x 加速是理想条件下的区间，实际收益高度依赖草稿模型对目标模型输出的猜中率，任务越常规、文本越可预测，接受率越高；创意写作或高度专业的领域问答则可能打折。
如果只有单卡、或者模型规模本身就在单卡显存范围内，使用 Lucebox 的收益可能有限。
全部知识事实 (8)
Lucebox 是一个开源项目，通过投机解码将异构硬件的闲置算力串联，在不牺牲输出质量的前提下将推理速度提升 1.5 到 3 倍。
50%待验证Lucebox 将草稿模型和目标模型拆分到不同硬件上运行，官方示例中 Llama-3.2-1B 作为草稿模型跑在第二块 GPU 或 CPU 上，Llama-3.1-70B 作为目标模型跑在主卡上。
50%待验证Lucebox 支持硬件后端混搭，NVIDIA RTX、AMD ROCm、Apple Silicon 和纯 CPU 可以出现在同一套推理链路中。
50%待验证Lucebox 用原生 C++ 实现，主打低运行时开销和高并发，避免了 Python 推理框架常见的调度损耗。
50%待验证Lucebox 部署时需用 CMake 以 Release 模式编译，启动时通过 --target-model、--draft-model、--target-device、--draft-device 指定模型路径和设备编号，服务默认暴露 OpenAI 兼容的 /v1/chat/completions 端点。
50%待验证Lucebox 要求模型格式为 GGUF，且草稿模型与目标模型的词表需要兼容，否则投机验证的接受率会大幅下降，加速效果无从谈起。
50%待验证文档给出的 1.5x–3x 加速是理想条件下的区间，实际收益高度依赖草稿模型对目标模型输出的猜中率，任务越常规、文本越可预测，接受率越高；创意写作或高度专业的领域问答则可能打折。
50%待验证如果只有单卡、或者模型规模本身就在单卡显存范围内，使用 Lucebox 的收益可能有限。
50%