产品
TabbyAPI
面向本地大模型的开源API服务层，常与xLama等模型配合提供标准化推理接口
时间轴 (近 90 天)
10月30日
xLama v3 采用不同层不同比特率的混合量化，可将 14B 模型塞进 8GB VRAM，实测 VRAM 几乎吃满。
待验证50%
10月30日
Ollama、LM Studio、Open WebUI、Docker Model Runner、LocalAI、TabbyAPI 属于封装层工具，不改变底层能力，只提供调用便利性。
待验证50%
面向本地大模型的开源API服务层，常与xLama等模型配合提供标准化推理接口
xLama v3 采用不同层不同比特率的混合量化，可将 14B 模型塞进 8GB VRAM，实测 VRAM 几乎吃满。
Ollama、LM Studio、Open WebUI、Docker Model Runner、LocalAI、TabbyAPI 属于封装层工具，不改变底层能力，只提供调用便利性。