UVA

Diffbot 的方案将 15,360 个路由专家中的 4,608 个，加上查找表（Engram 表 int4 和 embedding），整体搬到主机内存，GPU 通过 UVA 经 PCIe 读取，每张卡占用降到 72.4 GiB。

UVA（统一虚拟寻址）是 NVIDIA CUDA 提供的一种机制，让 GPU 和 CPU 共享同一套虚拟地址空间，GPU kernel 可以直接解引用指向主机内存的指针，数据通过 PCIe 按需传输。