KoboldCpp
基于llama.cpp的开源本地大模型运行工具,集成图像生成、语音识别、语音合成功能并自带聊天界面,以高度可定制性著称,提供56个以上可调参数及165个命令行标志,采用AGPL3协议发布
时间轴 (近 90 天)
Flash Attention在KoboldCpp里默认关闭,而llama.cpp源码中默认自动开启
KoboldCpp是一个单一可执行文件,能在本地运行AI模型、生成图像、处理语音、识别图片,并自带聊天界面,零安装、无常驻后台服务
KoboldCpp下载后是约606MB的单一文件koboldcpp.exe,Ollama是约1000MB的安装程序并以常驻后台服务运行
在发布页面上,Ollama安装包的下载量大约是KoboldCpp的30倍
KoboldCpp主开发者在llama.cpp主库合并过6次提交,而Ollama的核心维护者共4人合计给引擎回馈了7次提交
KoboldCpp单个请求结构有56个可调参数,命令行启动器注册165个参数
KoboldCpp将采样器的执行顺序本身作为可配置参数,而Ollama的采样链是锁死的无法修改
在一个700亿参数模型双显卡场景下,用户实测llama.cpp提示词读取速度为每秒1490 token而KoboldCpp仅34,原因是设置错误而非引擎缺陷
KoboldCpp和Ollama都基于llama.cpp底层引擎构建
KoboldCpp在GitHub仓库页面被标注为Forked from ggml.org/llama.cpp,并以AGPL3协议发布,附带MIT许可证以覆盖继承自llama.cpp的代码
还有 6 条时间轴事件
全部知识事实 (15)
KoboldCpp和Ollama都基于llama.cpp底层引擎构建
60%待验证KoboldCpp源码中实现了Ollama兼容端点,能翻译Ollama请求格式并映射参数,还能响应ComfyUI、转录和OpenAI端点
60%待验证KoboldCpp下载后是约606MB的单一文件koboldcpp.exe,Ollama是约1000MB的安装程序并以常驻后台服务运行
50%待验证KoboldCpp主开发者在llama.cpp主库合并过6次提交,而Ollama的核心维护者共4人合计给引擎回馈了7次提交
50%待验证KoboldCpp单个请求结构有56个可调参数,命令行启动器注册165个参数
50%待验证KoboldCpp将采样器的执行顺序本身作为可配置参数,而Ollama的采样链是锁死的无法修改
50%待验证在一个700亿参数模型双显卡场景下,用户实测llama.cpp提示词读取速度为每秒1490 token而KoboldCpp仅34,原因是设置错误而非引擎缺陷
50%待验证Flash Attention在KoboldCpp里默认关闭,而llama.cpp源码中默认自动开启
50%待验证KoboldCpp是一个单一可执行文件,能在本地运行AI模型、生成图像、处理语音、识别图片,并自带聊天界面,零安装、无常驻后台服务
50%待验证KoboldCpp在GitHub仓库页面被标注为Forked from ggml.org/llama.cpp,并以AGPL3协议发布,附带MIT许可证以覆盖继承自llama.cpp的代码
50%待验证KoboldCpp单个生成请求有56个可调参数,从终端启动时启动器注册了165个不同的命令行标志
50%待验证KoboldCpp允许用户重排采样器链中每个位置的执行顺序,而Ollama的采样链是固定的
50%待验证在一个双显卡运行700亿参数模型的性能对比案例中,性能差异源于用户误选low VRAM选项和关闭flash attention等默认设置,而非引擎本身,调整后性能完全一致
50%待验证KoboldCpp是一个606MB的单文件,打包了横跨七个模型家族的图像生成、视频生成、由Whisper驱动的语音工具以及带持久化故事和角色卡的写作界面
50%待验证KoboldCpp主要开发者在llama.cpp主仓库有6次合并的提交,Ollama五名核心维护者中有四人向引擎提交过代码,合计7次提交
50%