待验证50% 置信事实精确时间

对于超大模型，llama.cpp 标准构建一旦启用 GPU 就内存溢出，因为 CPU 后端会复制权重做重排，Vulkan 后端也会把 CPU 侧权重复制到系统无法回收的缓冲区。那个 2.8 tok/s 的数据需要特殊编译版本加额外参数才能跑出来。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/13

首次发现

有效期至：2027/1/11

来源

Janas 引擎让 32GB 笔记本跑 48GB MoE 模型，37 tok/s 超越 llama.cpp

涉及实体

llama.cppproduct

相关事实

待验证把模型加载到系统内存、用CPU推理是没有专业级显卡用户运行大模型的一条现实路径，速度不及GPU但容量优势明显77% 相似待验证GPU 等加速硬件的调度与传统 CPU 进程调度存在根本差异，CUDA 流、张量并行、KV Cache 管理、模型权重的显存换入换出是传统内核调度器无法感知的语义单元76% 相似已验证llama.cpp支持CPU与GPU的混合推理（层卸载），可将模型部分层加载到GPU显存、其余层保留在内存76% 相似已验证传统 PC 架构中 CPU 与 GPU 拥有各自独立的内存池，数据在两者之间传输会产生带宽瓶颈74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1017041

API

curl https://kongchang.com/api/v1/knowledge/claims/1017041

MCP

get_claim(id=1017041)