已验证70% 置信解决方案精确时间
当显存不足时，系统会将模型的一部分卸载到主内存中运行，此时主内存的容量与带宽直接影响推理速度
4
来源数
70%
置信度
长期有效
时效性
2026/7/10
首次发现
来源
三星芯片单年利润超40年总和：AI浪潮引发存储涨价危机
redditr/LocalLLaMA2026/7/9
相关事实
已验证大模型推理的速度瓶颈是内存带宽而非算力不足，每生成一个token需要从内存加载数百GB的模型权重80% 相似待验证模型能否完整放入显存比模型文件的绝对大小更重要，一旦发生CPU卸载，GPU与CPU间的数据传输开销会抵消小模型的空间优势78% 相似待验证随着模型上下文窗口从4K到128K再到未来可能的数百万token持续扩大，记忆管理和状态管理的实际效果差距会逐渐缩小74% 相似待验证Many large model inference workloads are bottlenecked by memory capacity rather than pure bandwidth74% 相似待验证当模型权重和 KV Cache 无法完全载入 GPU 显存时需将部分数据交换到主内存（offloading），会使推理速度下降一到两个数量级74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/448956API
curl https://kongchang.com/api/v1/knowledge/claims/448956MCP
get_claim(id=448956)