[控场AI]
概念Gather_Quant

GatherBlockQuantized

GatherBlockQuantized 是 ONNX Runtime 的贡献算子,将查表(Gather)与块量化(Block Quantized)融合,专为低比特量化模型的 embedding 层设计,用于高效加载量化权重。

时间轴 (近 90 天)

10月14日

onnxruntime-web 的 asyncify 构建不包含 GatherBlockQuantized 算子的 CPU 内核,因此无法在纯 WebAssembly(无 WebGPU)设备上加载使用 block-quantized embedding 的 4-bit Gemma ONNX 模型。

待验证50%
10月14日

onnxruntime-web 的普通构建(ort-wasm-simd-threaded.{mjs,wasm})包含 GatherBlockQuantized 的 CPU 内核,可以支持 4-bit Gemma 在 WebAssembly 上运行。

待验证50%
10月14日

GatherBlockQuantized 是 ONNX Runtime 的贡献算子(contrib operator),融合了查表(Gather)和块量化(Block Quantized),专为低比特量化的 embedding 层设计,并非标准 ONNX 算子。

待验证50%
10月14日

okasi/onnx-lab#2 记录了 asyncify 缺少 GatherBlockQuantized 的问题,并改用 JSEP 构建规避;dephelion/ufeed#64 也遇到了类似问题。

待验证50%

全部知识事实 (4)

来源文章