[控场AI]
概念专家缓存

llama_moe_cache

llama.cpp 社区提出的 MoE 显存优化机制:实现专家级缓存,缓存未命中时将专家计算回退到 CPU,相比整层卸载粒度更细

时间轴 (近 90 天)

11月7日

llama.cpp 社区出现了一个名为 llama_moe_cache 的 Pull Request(#30966),作者是 am17an。

待验证50%
11月7日

llama_moe_cache 方案将缓存未命中的 MoE 专家放到 CPU 上运行,并附带一个调优脚本。

待验证50%
11月7日

该 PR 实现了一个专家缓存机制,在缓存未命中时将专家计算卸载到 CPU。

待验证50%
11月7日

llama_moe_cache 将卸载粒度细化到单个专家,只保留热专家在 GPU 上,冷专家留在 CPU,从而在同样显存预算下提速。

待验证50%
11月7日

该 PR 目前仍在讨论中,尚未合入 llama.cpp 主线。

待验证50%
11月7日

如果该 PR 被合并,llama.cpp 将能更高效地支持 MoE 模型在低显存环境下的部署。

待验证50%
11月7日

该方案的实际性能提升幅度取决于具体模型和硬件,仍处于早期阶段。

待验证50%

全部知识事实 (7)

来源文章