[控场AI]
产品ModelFit VRAM 估算器

ModelFit

ModelFit 是一个通过直接测量 GGUF 量化文件大小并结合 KV 缓存与开销计算来精确估算 LLM 显存需求的工具,提供逐量化版本的适配结论和交互式显存检查器。

时间轴 (近 90 天)

10月17日

ModelFit 项目通过 fetch.py、build.py 等脚本,利用 Hugging Face 公共 API 获取每个 GGUF 量化版本的文件大小,计算总需求(权重+KV 缓存+开销),并生成适配结论页面。

待验证50%
10月17日

ModelFit 在 config.json 可用时使用 GQA 公式精确计算 KV 缓存:2 × layers × kv_heads × head_dim × ctx × 2 bytes;否则采用“+20% 且最低 1.5GB”的启发式规则,并在页面明确标注。

待验证50%
10月17日

ModelFit 对于 Kimi K3(unsloth 仓库),UD-Q1_0 量化实测文件大小为 466.4 GB,8K 上下文下所需 VRAM/RAM 为 561.1 GB;UD-Q4_K_XL 实测文件大小为 1.51 TB,所需约 1.6 TB;F16 约 3 TB。

待验证50%
10月17日

ModelFit 每天有定时任务重新抓取数据、重新测试(用 llama.cpp 参考数字门控验证)、重新构建、部署,并通知 IndexNow;新模型发布后页面在 24 小时内上线。

待验证50%
10月17日

ModelFit 默认上下文长度为 8K,并说明 KV 缓存随上下文线性增长。

待验证50%
10月17日

ModelFit 对于没有 config.json 的仓库,使用“约 20% + 1.5GB”的固定开销规则,并在页面上标记,因此这些模型的数字仍是估算。

待验证50%
10月17日

ModelFit 不包含运行时开销、框架差异和批处理策略的影响,因此文件大小是一种比纯公式更接近真实的基准参考,但并非万能。

待验证50%

全部知识事实 (7)

来源文章