GGUF
GGUF（GPT-Generated Unified Format）是一种用于存储和分发大型语言模型的二进制文件格式，由llama.cpp项目设计并推广。它将模型权重、元数据及量化参数统一封装于单一文件中，支持多种量化精度级别，以减少模型体积和内存占用。GGUF被广泛用于本地推理场景，兼容多种推理框架和硬件平台。
核心事实
时间轴 (近 90 天)
LLaMA.cpp 本身是推理引擎，负责跑 GGUF 格式的模型，所有控制权都在用户手里。
MiniMax-M3.1-Flash 的 1-bit GGUF 量化版本至少需要 130GB 的内存与显存总和。
Ollama 以命令行服务加 REST API 的形式提供本地推理能力，模型以 GGUF 量化文件形式存放于本地。
当前多数SBOM工具链并不解析模型权重格式（如safetensors、GGUF），也缺乏对权重哈希与官方发布版本比对的标准流程，这使得被abliteration处理过的模型变体可以轻易绕过常规依赖审计。
Ollama模型文件以GGUF量化格式存储，体积远小于原始权重。
插件会将 GGUF 文件标记为对应角色：主模型、分片（shard）、草稿模型（draft）、MTP 文件、多模态投影器（multimodal projector）。
插件的模型库索引了公开的 GGUF 仓库，支持按名称搜索，下载完成的模型会出现在本地列表并自动识别主模型（main model）。
llama.cpp的tokenizer实现遵循SentencePiece与BPE两套主流方案，并针对GGUF内嵌的词表做了统一抽象，涵盖特殊token、字节回退、归一化规则等细节。
一位Reddit用户尝试从零手搓推理引擎，让GGUF Q4模型通过WebGL2在浏览器里运行，结果经历了大量调试困难。
量化后的GGUF权重以块为单位存储，每个块包含缩放因子和若干低比特整数，推理时需要先反量化再参与矩阵乘法。
还有 40 条时间轴事件
全部知识事实 (20)
llama.cpp 由 Georgi Gerganov 以纯 C/C++ 实现，GGUF 格式将模型架构元数据、词表和量化权重打包进单一文件
90%已验证GPTQ 利用二阶梯度信息最小化量化误差，AWQ 识别并保护对激活值影响最大的权重，GGUF 由 llama.cpp 项目引入专为 CPU 推理优化
90%已验证GGUF 格式由 llama.cpp 项目引入，专为 CPU 推理场景优化
90%已验证GGUF 将模型权重、分词器词表、超参数配置等全部打包进单一文件，支持 Q2_K、Q4_K_M、Q8_0 等多种量化精度
90%已验证llama.cpp是由Georgi Gerganov开发的纯C/C++推理引擎，支持在纯CPU环境下运行大模型
90%已验证GGUF格式于2023年8月由llama.cpp社区推出，作为GGML格式的替代方案
90%已验证GGUF格式由llama.cpp项目创始人Georgi Gerganov设计
90%已验证一个7B参数的模型经过4-bit量化后仅需约4GB显存即可运行
90%已验证GGUF（GPT-Generated Unified Format）是由llama.cpp项目定义的模型文件格式
90%已验证常见的模型量化方法包括GPTQ、AWQ和GGUF等格式
90%已验证4-bit量化技术（如GPTQ、AWQ、GGUF格式）可以将模型显存需求降低到原来的1/4，但会带来一定精度损失
90%已验证GGUF 已成为 llama.cpp、Ollama、LM Studio 等主流本地推理工具的事实标准格式
85%已验证GGUF 量化命名中 Q4_K_M 表示 4 位量化、使用 K-Quant 分组量化方法的中等精度（Medium）变体
80%已验证GGUF是由llama.cpp项目引入的模型格式标准，支持Q2_K至Q8_0等多种量化级别
80%已验证GGUF 将模型权重、量化参数、词表、超参数打包进单一文件，并支持内存映射（mmap）加载
80%已验证4-bit量化将每个参数压缩至0.5字节，理论上将140GB压缩至约35-40GB
80%已验证GGUF格式采用键值元数据头部设计，内置分词器词表等运行所需元信息，使单一文件即可完整描述一个可运行模型
80%已验证社区主流量化格式包括GGUF、AWQ和GPTQ，其中GGUF由llama.cpp项目推广并支持CPU推理
80%已验证llama.cpp项目将GGUF量化格式推向主流，支持从Q2_K到Q8_0等多种精度等级
80%已验证模型量化技术（如GGUF格式的4-bit/8-bit量化）使得原本需要数十GB显存的大模型可以在消费级GPU甚至CPU上运行
80%