ModelFit
ModelFit 是一个通过直接测量 GGUF 量化文件大小并结合 KV 缓存与开销计算来精确估算 LLM 显存需求的工具,提供逐量化版本的适配结论和交互式显存检查器。
时间轴 (近 90 天)
ModelFit 项目通过 fetch.py、build.py 等脚本,利用 Hugging Face 公共 API 获取每个 GGUF 量化版本的文件大小,计算总需求(权重+KV 缓存+开销),并生成适配结论页面。
ModelFit 在 config.json 可用时使用 GQA 公式精确计算 KV 缓存:2 × layers × kv_heads × head_dim × ctx × 2 bytes;否则采用“+20% 且最低 1.5GB”的启发式规则,并在页面明确标注。
ModelFit 对于 Kimi K3(unsloth 仓库),UD-Q1_0 量化实测文件大小为 466.4 GB,8K 上下文下所需 VRAM/RAM 为 561.1 GB;UD-Q4_K_XL 实测文件大小为 1.51 TB,所需约 1.6 TB;F16 约 3 TB。
ModelFit 每天有定时任务重新抓取数据、重新测试(用 llama.cpp 参考数字门控验证)、重新构建、部署,并通知 IndexNow;新模型发布后页面在 24 小时内上线。
ModelFit 默认上下文长度为 8K,并说明 KV 缓存随上下文线性增长。
ModelFit 对于没有 config.json 的仓库,使用“约 20% + 1.5GB”的固定开销规则,并在页面上标记,因此这些模型的数字仍是估算。
ModelFit 不包含运行时开销、框架差异和批处理策略的影响,因此文件大小是一种比纯公式更接近真实的基准参考,但并非万能。
全部知识事实 (7)
ModelFit 项目通过 fetch.py、build.py 等脚本,利用 Hugging Face 公共 API 获取每个 GGUF 量化版本的文件大小,计算总需求(权重+KV 缓存+开销),并生成适配结论页面。
50%待验证ModelFit 在 config.json 可用时使用 GQA 公式精确计算 KV 缓存:2 × layers × kv_heads × head_dim × ctx × 2 bytes;否则采用“+20% 且最低 1.5GB”的启发式规则,并在页面明确标注。
50%待验证ModelFit 对于 Kimi K3(unsloth 仓库),UD-Q1_0 量化实测文件大小为 466.4 GB,8K 上下文下所需 VRAM/RAM 为 561.1 GB;UD-Q4_K_XL 实测文件大小为 1.51 TB,所需约 1.6 TB;F16 约 3 TB。
50%待验证ModelFit 每天有定时任务重新抓取数据、重新测试(用 llama.cpp 参考数字门控验证)、重新构建、部署,并通知 IndexNow;新模型发布后页面在 24 小时内上线。
50%待验证ModelFit 默认上下文长度为 8K,并说明 KV 缓存随上下文线性增长。
50%待验证ModelFit 对于没有 config.json 的仓库,使用“约 20% + 1.5GB”的固定开销规则,并在页面上标记,因此这些模型的数字仍是估算。
50%待验证ModelFit 不包含运行时开销、框架差异和批处理策略的影响,因此文件大小是一种比纯公式更接近真实的基准参考,但并非万能。
50%