[控场AI]
产品

Berth

系统级GPU显存调度器,自动在多个AI推理引擎之间切换并管理显存分配与释放,支持API服务与游戏场景保护

时间轴 (近 90 天)

10月20日

Berth 是一个系统级显存调度器,监控显卡状态并在需要时自动卸载当前引擎、加载目标引擎,无需人工干预。

待验证50%
10月20日

Berth 支持在 Ninfer-4090(llama-swap)、Strata、ComfyUI、OpenWebUI 等多个引擎之间原生切换。

待验证50%
10月20日

Berth 提供 API 服务能力,可作为 API 端点加载 Strata、Polystrata 以及任何自定义引擎。

待验证50%
10月20日

Berth 会维护完整的操作记录,可查看什么时间、哪个引擎、执行了什么操作。

待验证50%
10月20日

Berth 的设计目标之一是避免后台任务(如 cron 任务或 API 请求)在用户游戏或执行自定义工作流时抢占 GPU。

待验证50%
10月20日

每个引擎在 Berth 调度下运行时都能独占全部显存。

待验证50%
10月20日

Berth 项目的代码托管在 GitHub 上,仓库为 T-Crypt/berth。

待验证50%
10月20日

Berth 的轮流调度方案无法应对需要多个引擎同时在线响应请求的场景。

待验证50%
10月20日

Berth 作为系统级调度层,要替代各引擎自带的加载逻辑,统一接管显存的分配与释放。

待验证50%

全部知识事实 (9)

来源文章