[控场AI]
概念

MoEShift

针对混合专家(MoE)模型的动态负载调度策略,通过专家迁移、缓存与负载均衡减少重复加载与通信成本,提升推理吞吐。

时间轴 (近 90 天)

11月9日

Hacker News 讨论中报告 M5 Pro(24GB)运行 Qwen 3.8 Flash Next 时预填充速度达到 374 Tok/S。

待验证50%
11月9日

MoEShift 是一种针对混合专家(MoE)模型的动态负载调度策略,旨在更高效地将计算任务分配到可用硬件资源上。

待验证50%
11月9日

24GB 内存对于运行中等规模 MoE 模型属于“够用但不宽裕”的区间,MoEShift 若能动态管理专家驻留,则可能在有限内存下维持较高吞吐。

待验证50%
11月9日

M5 Pro 相对 M4 Pro 的预填充性能进步,可能部分来自芯片算力提升,部分来自 MoEShift 这类软件层优化。

待验证50%

全部知识事实 (4)

来源文章