待验证50% 置信解决方案精确时间

GPU 专家权重缓存通常采用类似 LRU（最近最少使用）的替换策略，优先保留近期被频繁调用的专家权重

1

来源数

50%

置信度

长期有效

时效性

2026/10/7

首次发现

来源

llama.cpp新增MoE专家GPU缓存：显存不足者的提速利器

涉及实体

LRUconcept GPUtechnology

相关事实

待验证GPU共享方案选型的核心决策依据是工作负载之间是否需要故障隔离：不需要则选时间切片或MPS，需要且GPU支持MIG则选MIG64% 相似待验证GPU 缓存可利用 MoE 推理中专家激活的局部性特征，命中缓存后无需再次通过 PCIe 从主机内存搬运数据，从而提升吞吐61% 相似待验证GPUStack 是开源的 GPU 集群管理与推理平台，通过推理后端容器化与配置可视化降低运维复杂度61% 相似待验证基于快照的实例可在不占用GPU状态下待机，仅在请求到达时恢复至GPU，从而同时优化存储成本与响应延迟60% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/985472

API

curl https://kongchang.com/api/v1/knowledge/claims/985472

MCP

get_claim(id=985472)