产品LLM Panel
LLM Panel
一个约400行的Python编写的本地大模型管理面板,用于在Intel MacBook等旧硬件上简化llama.cpp引擎的模型下载、量化、加载、对话等操作。
时间轴 (近 90 天)
11月9日
LLM Panel是一个约400行的Python工具,用于管理本地大模型,搭配llama.cpp引擎,在Intel MacBook纯CPU上运行。
待验证50%
11月9日
长文档处理(预填充阶段)速度可达每秒140个Token。
待验证50%
11月9日
运行1.7B量化模型时内存占用约1.1GB。
待验证50%
11月9日
LLM Panel从GitHub拉取llama.cpp最新正式版v0.9.0源码并在本机源码编译,以针对本机CPU原生优化。
待验证50%
11月9日
LLM Panel支持多实例(一个模型一个进程一个端口)、并发控制(并发数为1,多余请求排队)、嵌入模型支持、看门狗与健康检查。
待验证50%
11月9日
LLM Panel仅使用Python标准库,不依赖第三方包;服务只监听本机回环地址。
待验证50%
11月9日
纯CPU方案不适用于70亿参数以上的模型,定位是小模型、快响应、全本地。
待验证50%
全部知识事实 (7)
待验证
纯CPU方案不适用于70亿参数以上的模型,定位是小模型、快响应、全本地。
50%待验证长文档处理(预填充阶段)速度可达每秒140个Token。
50%待验证运行1.7B量化模型时内存占用约1.1GB。
50%待验证LLM Panel是一个约400行的Python工具,用于管理本地大模型,搭配llama.cpp引擎,在Intel MacBook纯CPU上运行。
50%待验证LLM Panel支持多实例(一个模型一个进程一个端口)、并发控制(并发数为1,多余请求排队)、嵌入模型支持、看门狗与健康检查。
50%待验证LLM Panel仅使用Python标准库,不依赖第三方包;服务只监听本机回环地址。
50%待验证LLM Panel从GitHub拉取llama.cpp最新正式版v0.9.0源码并在本机源码编译,以针对本机CPU原生优化。
50%