GGML
由Georgi Gerganov自研的张量运算库,专为CPU推理优化,采用纯C实现,零依赖、跨平台、低内存占用,是llama.cpp的底层技术基础
核心事实
时间轴 (近 90 天)
GGUF 已逐渐取代旧版 GGML 格式,成为 ComfyUI、LM Studio、Jan 等本地推理工具的通用标准
llama.cpp 通过自研的 GGML 张量库(后演进为 GGUF 格式)实现底层性能优化,核心创新在于多级权重量化技术
GGUF由llama.cpp项目创始人Georgi Gerganov设计,于2023年取代了此前的GGML格式
whisper.cpp是基于GGML张量库的C/C++实现,支持纯CPU推理,在Apple M系列芯片上可实现实时转录
GGUF 格式由 llama.cpp 创始人 Georgi Gerganov 于2023年推出,已成为开源模型本地化部署的事实标准
GGML是Georgi Gerganov开发的C语言张量运算库,是llama.cpp的核心计算后端
GGUF 格式由 llama.cpp 引入,前身为 GGML,支持混合精度量化
GGUF 支持从 Q2_K(2-bit)到 Q8_0(8-bit)的多档位量化选择,Q4_K_M 采用分组量化技术成为社区推荐的默认量化配置
全部知识事实 (15)
GGUF格式于2023年8月由llama.cpp社区推出,作为GGML格式的替代方案
90%已验证GGUF格式由llama.cpp项目创始人Georgi Gerganov设计
90%已验证GGUF(GPT-Generated Unified Format)是由llama.cpp项目定义的模型文件格式
90%已验证llama.cpp是由开发者Georgi Gerganov于2023年发起的开源项目,使用纯C/C++实现了LLaMA系列模型的推理
80%已验证GGUF格式的4-bit量化可将模型权重从32位浮点压缩到4位整数,模型体积缩小约8倍
80%已验证GGUF 格式由 llama.cpp 创始人 Georgi Gerganov 于2023年推出,已成为开源模型本地化部署的事实标准
70%已验证GGUF 格式由 llama.cpp 引入,前身为 GGML,支持混合精度量化
70%已验证GGUF 支持从 Q2_K(2-bit)到 Q8_0(8-bit)的多档位量化选择,Q4_K_M 采用分组量化技术成为社区推荐的默认量化配置
65%已验证GGUF 将模型权重、量化参数、词表、超参数打包进单一文件,并支持内存映射(mmap)加载
65%待验证whisper.cpp是基于GGML张量库的C/C++实现,支持纯CPU推理,在Apple M系列芯片上可实现实时转录
60%待验证GGML是Georgi Gerganov开发的C语言张量运算库,是llama.cpp的核心计算后端
60%待验证GGUF 已逐渐取代旧版 GGML 格式,成为 ComfyUI、LM Studio、Jan 等本地推理工具的通用标准
50%待验证llama.cpp 通过自研的 GGML 张量库(后演进为 GGUF 格式)实现底层性能优化,核心创新在于多级权重量化技术
50%待验证GGUF由llama.cpp项目创始人Georgi Gerganov设计,于2023年取代了此前的GGML格式
50%待验证GGML是Gerganov自研的张量运算库,专为CPU推理优化,采用纯C实现,可在ARM、x86等架构上运行
50%