待验证50% 置信事实精确时间
LibTorch内部使用引用计数的智能指针（intrusive_ptr）管理张量的存储生命周期，在张量不再被引用时自动释放GPU显存
1
来源数
50%
置信度
长期有效
时效性
2026/8/29
首次发现
来源
涉及实体
相关事实
待验证传统AI芯片（GPU或TPU）将模型权重存储在内存中，计算单元按需读取执行，大量时间和能耗消耗在权重搬运上62% 相似待验证KV缓存（Key-Value Cache）策略将已计算的注意力键值对存储在GPU显存中以供复用，会大量占用GPU内存资源61% 相似待验证LLM解码过程是内存带宽受限（memory bound）的，GPU在逐token生成时大部分时间处于等待数据搬运的状态61% 相似待验证传统静态批处理需等所有请求完成才处理下一批，导致GPU资源空转浪费60% 相似待验证缓存过期本质上是服务商在GPU显存压力与用户体验之间的权衡，长期维持大量KV Cache会占用推理容量59% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/817122API
curl https://kongchang.com/api/v1/knowledge/claims/817122MCP
get_claim(id=817122)