[控场AI]
产品

llama-swap

一款与llama.cpp配合使用的模型内存调度工具,支持按需动态加载和自动卸载模型,实现多模型的高效内存管理

时间轴 (近 90 天)

10月16日

频繁的agent cron任务必须暂停,因为llama-swap对已死成员每次请求要烧420秒健康检查超时,cron agent会在运行中途报错。

待验证50%
10月16日

systemctl stop strata会连带停掉llama-swap,因为llama-swap携带Requires=strata.service;而llama-swap无法在Strata运行时加载GGUF成员,因为Strata始终占着显存;HyperQwen窗口只能绕过代理直连:18020,此时:8080下线。

待验证50%
9月25日

llama.cpp配合llama-swap实测能达到每秒75–80个Token,作者认为比Ollama更快更好用

待验证50%
9月25日

llama-swap是架设在llama.cpp之上的轻量级HTTP代理,负责多模型的动态加载与卸载调度

待验证50%

全部知识事实 (4)

来源文章