Berth
系统级GPU显存调度器,自动在多个AI推理引擎之间切换并管理显存分配与释放,支持API服务与游戏场景保护
时间轴 (近 90 天)
Berth 是一个系统级显存调度器,监控显卡状态并在需要时自动卸载当前引擎、加载目标引擎,无需人工干预。
Berth 支持在 Ninfer-4090(llama-swap)、Strata、ComfyUI、OpenWebUI 等多个引擎之间原生切换。
Berth 提供 API 服务能力,可作为 API 端点加载 Strata、Polystrata 以及任何自定义引擎。
Berth 会维护完整的操作记录,可查看什么时间、哪个引擎、执行了什么操作。
Berth 的设计目标之一是避免后台任务(如 cron 任务或 API 请求)在用户游戏或执行自定义工作流时抢占 GPU。
每个引擎在 Berth 调度下运行时都能独占全部显存。
Berth 项目的代码托管在 GitHub 上,仓库为 T-Crypt/berth。
Berth 的轮流调度方案无法应对需要多个引擎同时在线响应请求的场景。
Berth 作为系统级调度层,要替代各引擎自带的加载逻辑,统一接管显存的分配与释放。
全部知识事实 (9)
Berth 是一个系统级显存调度器,监控显卡状态并在需要时自动卸载当前引擎、加载目标引擎,无需人工干预。
50%待验证Berth 支持在 Ninfer-4090(llama-swap)、Strata、ComfyUI、OpenWebUI 等多个引擎之间原生切换。
50%待验证Berth 提供 API 服务能力,可作为 API 端点加载 Strata、Polystrata 以及任何自定义引擎。
50%待验证Berth 会维护完整的操作记录,可查看什么时间、哪个引擎、执行了什么操作。
50%待验证Berth 的设计目标之一是避免后台任务(如 cron 任务或 API 请求)在用户游戏或执行自定义工作流时抢占 GPU。
50%待验证每个引擎在 Berth 调度下运行时都能独占全部显存。
50%待验证Berth 项目的代码托管在 GitHub 上,仓库为 T-Crypt/berth。
50%待验证Berth 的轮流调度方案无法应对需要多个引擎同时在线响应请求的场景。
50%待验证Berth 作为系统级调度层,要替代各引擎自带的加载逻辑,统一接管显存的分配与释放。
50%