产品

llama-box

llama-box 是一个基于 llama.cpp 的推理引擎封装，用于在 GPUStack 等平台中运行 GGUF 格式的大语言模型。

时间轴 (近 90 天)

10月18日

GPUStack 是一个放置与生命周期管理层，而非推理引擎；部署模型时它选择工作节点，在底层启动 vLLM、SGLang 或 llama-box，并代理请求。

待验证50%

10月18日

在无法使用 TP 的异构节点上，GPUStack 回退到 llama-box 与层卸载，num_gpu 60（共 80 层）在 48 GB 显存上是诚实上限，设为 80 会在第一个 4k 提示时崩溃。

待验证50%

GPUStack 是一个放置与生命周期管理层，而非推理引擎；部署模型时它选择工作节点，在底层启动 vLLM、SGLang 或 llama-box，并代理请求。

在无法使用 TP 的异构节点上，GPUStack 回退到 llama-box 与层卸载，num_gpu 60（共 80 层）在 48 GB 显存上是诚实上限，设为 80 会在第一个 4k 提示时崩溃。