公司
Diffbot
AI 与知识图谱技术公司，提供网页数据抽取和知识图谱构建服务，在 MoE 模型推理优化方面有工程贡献
时间轴 (近 90 天)
10月16日
Diffbot 的方案将 15,360 个路由专家中的 4,608 个，加上查找表（Engram 表 int4 和 embedding），整体搬到主机内存，GPU 通过 UVA 经 PCIe 读取，每张卡占用降到 72.4 GiB。
待验证50%
10月16日
能跑起来的方案依赖一套组合：DeepSeek 出权重，coolbho3k 做 3-bit 量化，turboderp 写了 EXL3 格式和 ExLlamaV3 推理库，Victor Cruz 写了 vllm-exl3 桥接层，Diffbot 设计了按专家的拆分方案、启动流程和 kernel，InferenceKey 做集成和测量。
待验证50%