产品
Scrata
基于llama.cpp的开源本地大模型推理框架,通过显存与内存分流技术实现低配硬件运行大参数模型,提供友好的配置界面和自动化安装流程
时间轴 (近 90 天)
10月5日
Scrata框架本质上基于llama.cpp,封装了更友好的配置界面和自动化安装流程
待验证50%
10月5日
Scrata通过将模型权重在显存和内存之间分流,使12G到24G显存的显卡配合64G内存即可运行Qwen3 Flash这类大参数MOE模型
待验证50%
基于llama.cpp的开源本地大模型推理框架,通过显存与内存分流技术实现低配硬件运行大参数模型,提供友好的配置界面和自动化安装流程
Scrata框架本质上基于llama.cpp,封装了更友好的配置界面和自动化安装流程
Scrata通过将模型权重在显存和内存之间分流,使12G到24G显存的显卡配合64G内存即可运行Qwen3 Flash这类大参数MOE模型