GGUF
GGUF（GPT-Generated Unified Format）是一种用于存储和分发大型语言模型的二进制文件格式，由llama.cpp项目设计并推广。它将模型权重、元数据及量化参数统一封装于单一文件中，支持多种量化精度级别，以减少模型体积和内存占用。GGUF被广泛用于本地推理场景，兼容多种推理框架和硬件平台。
核心事实
时间轴 (近 90 天)
816B 参数的 Muse Spark Open 经 NVFP4 量化后约占用 493GB 内存，FP16 存储则需超过 1.6TB。
Hugging Face 上除主仓库外，还提供 Nemotron 3.5 Bolt 的 GGUF 版本以及 LiLiCorr-GGUF 版本。
本地运行137B模型通常采用混合量化策略，如对关键层保留较高精度、对次要专家使用4-bit或3-bit量化，或采用GGUF、AWQ、GPTQ等格式配合llama.cpp、vLLM等推理框架。
主流量化方案包括 GPTQ、AWQ、GGUF 等，它们针对权重的分布特点做分组量化，能在压缩率与保真度之间取得较好平衡。
GGUF文件以固定魔数0x46554747开头，随后依次是版本号(uint32)、张量数量(uint64)、元数据KV对数量(uint64)、KV元数据区、张量信息区和张量数据区。
GGUF是llama.cpp、Ollama、LM Studio等主流推理框架使用的模型容器格式，本身不含pickle序列化或嵌入式脚本，打开文件时不会执行代码。
AntAngelMed 官方提供 FP8 版本，社区有 mradermacher 制作的 GGUF 量化版本可供 llama.cpp 使用。
在 Linux/Windows 上可通过 llama.cpp 加载官方 Q4_K_M 量化检查点，并启用层加速（-ngl 99）启动兼容 OpenAI API 格式的本地 HTTP 服务器。
vLLM 通过其插件也能在 GPU 上读取 GGUF，但并非所有量化类型都被支持，某些情况下需要手动指定 --quantization 参数，且性能表现与原生 safetensors 路径可能存在差异；官方仍推荐 safetensors 作为 vLLM 的首选格式。
GGUF BF16 比 safetensors BF16 小约 20%，原因是 llama.cpp 对张量进行了更紧凑的序列化打包，而 safetensors 保留了训练框架原始的张量布局和 JSON 头部。
还有 40 条时间轴事件
全部知识事实 (20)
llama.cpp 由 Georgi Gerganov 以纯 C/C++ 实现，GGUF 格式将模型架构元数据、词表和量化权重打包进单一文件
90%已验证GPTQ 利用二阶梯度信息最小化量化误差，AWQ 识别并保护对激活值影响最大的权重，GGUF 由 llama.cpp 项目引入专为 CPU 推理优化
90%已验证GGUF 格式由 llama.cpp 项目引入，专为 CPU 推理场景优化
90%已验证GGUF 将模型权重、分词器词表、超参数配置等全部打包进单一文件，支持 Q2_K、Q4_K_M、Q8_0 等多种量化精度
90%已验证llama.cpp是由Georgi Gerganov开发的纯C/C++推理引擎，支持在纯CPU环境下运行大模型
90%已验证GGUF格式于2023年8月由llama.cpp社区推出，作为GGML格式的替代方案
90%已验证GGUF格式由llama.cpp项目创始人Georgi Gerganov设计
90%已验证一个7B参数的模型经过4-bit量化后仅需约4GB显存即可运行
90%已验证GGUF（GPT-Generated Unified Format）是由llama.cpp项目定义的模型文件格式
90%已验证常见的模型量化方法包括GPTQ、AWQ和GGUF等格式
90%已验证4-bit量化技术（如GPTQ、AWQ、GGUF格式）可以将模型显存需求降低到原来的1/4，但会带来一定精度损失
90%已验证GGUF 已成为 llama.cpp、Ollama、LM Studio 等主流本地推理工具的事实标准格式
85%已验证GGUF 量化命名中 Q4_K_M 表示 4 位量化、使用 K-Quant 分组量化方法的中等精度（Medium）变体
80%已验证GGUF是由llama.cpp项目引入的模型格式标准，支持Q2_K至Q8_0等多种量化级别
80%已验证4-bit量化将每个参数压缩至0.5字节，理论上将140GB压缩至约35-40GB
80%已验证GGUF格式采用键值元数据头部设计，内置分词器词表等运行所需元信息，使单一文件即可完整描述一个可运行模型
80%已验证llama.cpp项目将GGUF量化格式推向主流，支持从Q2_K到Q8_0等多种精度等级
80%已验证模型量化技术（如GGUF格式的4-bit/8-bit量化）使得原本需要数十GB显存的大模型可以在消费级GPU甚至CPU上运行
80%已验证llama.cpp是由开发者Georgi Gerganov于2023年发起的开源项目，使用纯C/C++实现了LLaMA系列模型的推理
80%已验证Ollama底层基于llama.cpp的推理引擎，原生支持GGUF格式的量化模型
80%