产品
llama-swap
一款与llama.cpp配合使用的模型内存调度工具,支持按需动态加载和自动卸载模型,实现多模型的高效内存管理
时间轴 (近 90 天)
10月16日
频繁的agent cron任务必须暂停,因为llama-swap对已死成员每次请求要烧420秒健康检查超时,cron agent会在运行中途报错。
待验证50%
10月16日
systemctl stop strata会连带停掉llama-swap,因为llama-swap携带Requires=strata.service;而llama-swap无法在Strata运行时加载GGUF成员,因为Strata始终占着显存;HyperQwen窗口只能绕过代理直连:18020,此时:8080下线。
待验证50%
9月25日
llama.cpp配合llama-swap实测能达到每秒75–80个Token,作者认为比Ollama更快更好用
待验证50%
9月25日
llama-swap是架设在llama.cpp之上的轻量级HTTP代理,负责多模型的动态加载与卸载调度
待验证50%
全部知识事实 (4)
待验证
频繁的agent cron任务必须暂停,因为llama-swap对已死成员每次请求要烧420秒健康检查超时,cron agent会在运行中途报错。
50%待验证systemctl stop strata会连带停掉llama-swap,因为llama-swap携带Requires=strata.service;而llama-swap无法在Strata运行时加载GGUF成员,因为Strata始终占着显存;HyperQwen窗口只能绕过代理直连:18020,此时:8080下线。
50%待验证llama.cpp配合llama-swap实测能达到每秒75–80个Token,作者认为比Ollama更快更好用
50%待验证llama-swap是架设在llama.cpp之上的轻量级HTTP代理,负责多模型的动态加载与卸载调度
50%