待验证50% 置信事实精确时间
Prompt Caching 的缓存存储在 GPU 显存中，无限制缓存会挤占推理可用显存，需要配套合理的冷热淘汰策略。
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
待验证研究《Accelerating Block Low-Rank Foundation Model Inference on Memory-Constrained GPUs》提出基于块低秩分解的方案压缩内存并加速推理77% 相似已验证GPU存储层次从快到慢为：寄存器、L1缓存/共享内存、L2缓存、全局显存76% 相似已验证KV缓存（Key-Value Cache）策略将已计算的注意力键值对存储在GPU显存中以供复用，会大量占用GPU内存资源75% 相似待验证当模型权重和 KV Cache 无法完全载入 GPU 显存时需将部分数据交换到主内存（offloading），会使推理速度下降一到两个数量级73% 相似待验证GPU方案通过批处理技术将多个用户请求合并计算，可大幅提升总体吞吐量，是延迟与吞吐量的权衡72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1010940API
curl https://kongchang.com/api/v1/knowledge/claims/1010940MCP
get_claim(id=1010940)