llama.cpp
llama.cpp是由Georgi Gerganov发起的开源大语言模型推理框架，使用纯C/C++实现，无需依赖外部深度学习库。该项目支持在CPU、GPU及Apple Silicon等多种硬件上运行大型语言模型，提供多种模型量化方案以降低内存占用和计算需求，并兼容多种主流开源模型格式，广泛应用于本地化大模型部署场景。
核心事实
时间轴 (近 90 天)
Gemma 4 E2B 经过LoRA微调并导出为Q4_K_M GGUF（3.4 GB），由llama.cpp的llama-server在CPU上运行，用于起草两条候选回复和筛选记忆。
容器内 llama.cpp 读取宿主机资源（60GB+ 内存、16 核）而非 4GB 套餐配额，导致 prompt 缓存可能涨到 8GB 并触发 OOM；通过三个 LLAMA_ARG_* 环境变量设置压回 4GB 以内。
MoE 缓存使专家在 CUDA 内核中运行而非 CPU，导致输出不再逐位一致；温度 0 下贪心选择可能翻转，实测 --cpu-moe 下 4 条回复仅 1 条与无缓存版本逐字一致。
并发请求会放大缓存槽位需求，导致 LRU 淘汰更频繁，T4 上四请求并发总吞吐 37.0 tokens/s，低于单请求的 43.2 tokens/s，命中率从 95.7% 降至 92.3%。
MoE 缓存只服务 32 个 token 以内的批次，更大批次走旧的卸载路径。
在 RTX 5090 上使用 19000 MiB 缓存、89% 命中率时，解码速度达到 67.8 tokens/s。
在 T4 上，--cpu-moe + 10000 MiB 缓存时，8 token 以内小批次命中率 95.73%，9 到 32 token 批次命中率 59.91%。
MoE 缓存的命中率统计默认不可见，需要以 -lv 4 启动，并在停止服务后查看日志。
MoE 缓存只覆盖 ffn_*_exps 张量，不包括路由器、注意力和共享专家。
使用 --cpu-moe 将所有专家放到内存并配以大缓存，比保留 --fit 自动放置能获得更高的缓存命中率和解码速度。
还有 40 条时间轴事件
全部知识事实 (20)
llama.cpp 由 Georgi Gerganov 以纯 C/C++ 实现，GGUF 格式将模型架构元数据、词表和量化权重打包进单一文件
90%已验证GPTQ 利用二阶梯度信息最小化量化误差，AWQ 识别并保护对激活值影响最大的权重，GGUF 由 llama.cpp 项目引入专为 CPU 推理优化
90%已验证GGUF 格式由 llama.cpp 项目引入，专为 CPU 推理场景优化
90%已验证GGUF 将模型权重、分词器词表、超参数配置等全部打包进单一文件，支持 Q2_K、Q4_K_M、Q8_0 等多种量化精度
90%已验证llama.cpp是由Georgi Gerganov开发的纯C/C++推理引擎，支持在纯CPU环境下运行大模型
90%已验证GGUF格式于2023年8月由llama.cpp社区推出，作为GGML格式的替代方案
90%已验证llama.cpp由Georgi Gerganov于2023年3月发起
90%已验证GGUF格式由llama.cpp项目创始人Georgi Gerganov设计
90%已验证GGUF（GPT-Generated Unified Format）是由llama.cpp项目定义的模型文件格式
90%已验证MLX针对Apple Silicon的统一内存架构进行专项优化
85%已验证GGUF 已成为 llama.cpp、Ollama、LM Studio 等主流本地推理工具的事实标准格式
85%已验证Ollama提供类似Docker的一键式模型管理体验，vLLM通过PagedAttention实现高吞吐量批量推理，LM Studio面向桌面用户提供图形化界面
80%已验证GGUF是由llama.cpp项目引入的模型格式标准，支持Q2_K至Q8_0等多种量化级别
80%已验证llama.cpp支持CPU与GPU的混合推理（层卸载），可将模型部分层加载到GPU显存、其余层保留在内存
80%已验证llama-server 是 llama.cpp 提供的本地 HTTP 推理服务，实现了与 OpenAI Chat Completions API 高度兼容的接口规范
80%已验证llama.cpp项目将GGUF量化格式推向主流，支持从Q2_K到Q8_0等多种精度等级
80%已验证Ollama将本地模型部署简化为一条命令行指令，并提供与OpenAI兼容的本地API接口
80%已验证llama.cpp支持Metal、CUDA、Vulkan和SYCL等GPU加速后端
80%已验证llama.cpp是由开发者Georgi Gerganov于2023年发起的开源项目，使用纯C/C++实现了LLaMA系列模型的推理
80%已验证Open WebUI 支持 Ollama 和 OpenAI API 等多种后端
80%