待验证50% 置信解决方案精确时间

26B模型全部31层被卸载到GPU后，ollama ps仍报告14%/86% CPU/GPU，源于mmap映射的CPU侧地址空间张量缓冲区而非实际CPU计算

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/8/16

首次发现

有效期至：2026/11/14

来源

AMD核显跑26B大模型实测：统一内存架构下全GPU推理与mmap优化指南

相关事实

待验证GPU上下文切换需保存完整GPU状态（包括寄存器文件、共享内存和L1缓存），数据量可达数百MB，而CPU上下文切换仅需保存几KB72% 相似待验证CPU offload将部分Transformer层放在系统主内存由CPU计算，数据通过PCIe总线传输（PCIe 4.0 x16理论带宽约32GB/s），而GPU显存带宽通常在数百到上千GB/s，带宽差距是性能瓶颈的根本原因71% 相似待验证GPU每个SM的共享内存通常仅有48-96KB68% 相似待验证GPT-4级别模型的128K上下文窗口的KV缓存可能占用数十GB显存67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/756814

API

curl https://kongchang.com/api/v1/knowledge/claims/756814

MCP

get_claim(id=756814)