待验证50% 置信事实精确时间
llama.cpp默认使用mmap加载GGUF模型，通过major page fault从SSD按需加载页面到Linux页缓存。
1
来源数
50%
置信度
长期有效
时效性
2026/10/13
首次发现
来源
涉及实体
相关事实
待验证llama.cpp传统上服务启动时会把整个模型权重一次性读入内存并常驻，对内存有限的机器不友好61% 相似已验证llama.cpp通过GGUF格式对模型权重进行4-bit、8-bit等量化压缩，大幅降低显存和内存占用60% 相似待验证llama.cpp 是部分卸载（partial offloading）的标准，可将部分模型层加载进显存，剩余层溢出到系统内存58% 相似待验证major page fault表示目标页不在物理内存、必须从磁盘读取，开销在毫秒级；minor fault仅需在页表或页缓存中建立映射，开销在微秒级。57% 相似待验证部署使用llama.cpp服务器，采用4-bit KV缓存、上下文长度设为100,000、将32层卸载到系统内存、启用惰性模式强制从SSD读取Ngram表56% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1014113API
curl https://kongchang.com/api/v1/knowledge/claims/1014113MCP
get_claim(id=1014113)