[控场AI]
产品

GGML

由Georgi Gerganov自研的张量运算库,专为CPU推理优化,采用纯C实现,零依赖、跨平台、低内存占用,是llama.cpp的底层技术基础

核心事实

时间轴 (近 90 天)

9月20日

GGUF 已逐渐取代旧版 GGML 格式,成为 ComfyUI、LM Studio、Jan 等本地推理工具的通用标准

待验证50%
9月3日

llama.cpp 通过自研的 GGML 张量库(后演进为 GGUF 格式)实现底层性能优化,核心创新在于多级权重量化技术

待验证50%
8月31日

GGUF由llama.cpp项目创始人Georgi Gerganov设计,于2023年取代了此前的GGML格式

待验证50%
8月26日

whisper.cpp是基于GGML张量库的C/C++实现,支持纯CPU推理,在Apple M系列芯片上可实现实时转录

待验证60%
7月25日

GGUF 格式由 llama.cpp 创始人 Georgi Gerganov 于2023年推出,已成为开源模型本地化部署的事实标准

已验证70%
7月24日

GGML是Georgi Gerganov开发的C语言张量运算库,是llama.cpp的核心计算后端

待验证60%
7月22日

GGUF 格式由 llama.cpp 引入,前身为 GGML,支持混合精度量化

已验证70%
7月21日

GGUF 支持从 Q2_K(2-bit)到 Q8_0(8-bit)的多档位量化选择,Q4_K_M 采用分组量化技术成为社区推荐的默认量化配置

已验证65%

全部知识事实 (15)

已验证

GGUF格式于2023年8月由llama.cpp社区推出,作为GGML格式的替代方案

90%
已验证

GGUF格式由llama.cpp项目创始人Georgi Gerganov设计

90%
已验证

GGUF(GPT-Generated Unified Format)是由llama.cpp项目定义的模型文件格式

90%
已验证

llama.cpp是由开发者Georgi Gerganov于2023年发起的开源项目,使用纯C/C++实现了LLaMA系列模型的推理

80%
已验证

GGUF格式的4-bit量化可将模型权重从32位浮点压缩到4位整数,模型体积缩小约8倍

80%
已验证

GGUF 格式由 llama.cpp 创始人 Georgi Gerganov 于2023年推出,已成为开源模型本地化部署的事实标准

70%
已验证

GGUF 格式由 llama.cpp 引入,前身为 GGML,支持混合精度量化

70%
已验证

GGUF 支持从 Q2_K(2-bit)到 Q8_0(8-bit)的多档位量化选择,Q4_K_M 采用分组量化技术成为社区推荐的默认量化配置

65%
已验证

GGUF 将模型权重、量化参数、词表、超参数打包进单一文件,并支持内存映射(mmap)加载

65%
待验证

whisper.cpp是基于GGML张量库的C/C++实现,支持纯CPU推理,在Apple M系列芯片上可实现实时转录

60%
待验证

GGML是Georgi Gerganov开发的C语言张量运算库,是llama.cpp的核心计算后端

60%
待验证

GGUF 已逐渐取代旧版 GGML 格式,成为 ComfyUI、LM Studio、Jan 等本地推理工具的通用标准

50%
待验证

llama.cpp 通过自研的 GGML 张量库(后演进为 GGUF 格式)实现底层性能优化,核心创新在于多级权重量化技术

50%
待验证

GGUF由llama.cpp项目创始人Georgi Gerganov设计,于2023年取代了此前的GGML格式

50%
待验证

GGML是Gerganov自研的张量运算库,专为CPU推理优化,采用纯C实现,可在ARM、x86等架构上运行

50%

来源文章