GatherBlockQuantized
GatherBlockQuantized 是 ONNX Runtime 的贡献算子,将查表(Gather)与块量化(Block Quantized)融合,专为低比特量化模型的 embedding 层设计,用于高效加载量化权重。
时间轴 (近 90 天)
onnxruntime-web 的 asyncify 构建不包含 GatherBlockQuantized 算子的 CPU 内核,因此无法在纯 WebAssembly(无 WebGPU)设备上加载使用 block-quantized embedding 的 4-bit Gemma ONNX 模型。
onnxruntime-web 的普通构建(ort-wasm-simd-threaded.{mjs,wasm})包含 GatherBlockQuantized 的 CPU 内核,可以支持 4-bit Gemma 在 WebAssembly 上运行。
GatherBlockQuantized 是 ONNX Runtime 的贡献算子(contrib operator),融合了查表(Gather)和块量化(Block Quantized),专为低比特量化的 embedding 层设计,并非标准 ONNX 算子。
okasi/onnx-lab#2 记录了 asyncify 缺少 GatherBlockQuantized 的问题,并改用 JSEP 构建规避;dephelion/ufeed#64 也遇到了类似问题。
全部知识事实 (4)
onnxruntime-web 的 asyncify 构建不包含 GatherBlockQuantized 算子的 CPU 内核,因此无法在纯 WebAssembly(无 WebGPU)设备上加载使用 block-quantized embedding 的 4-bit Gemma ONNX 模型。
50%待验证onnxruntime-web 的普通构建(ort-wasm-simd-threaded.{mjs,wasm})包含 GatherBlockQuantized 的 CPU 内核,可以支持 4-bit Gemma 在 WebAssembly 上运行。
50%待验证GatherBlockQuantized 是 ONNX Runtime 的贡献算子(contrib operator),融合了查表(Gather)和块量化(Block Quantized),专为低比特量化的 embedding 层设计,并非标准 ONNX 算子。
50%待验证okasi/onnx-lab#2 记录了 asyncify 缺少 GatherBlockQuantized 的问题,并改用 JSEP 构建规避;dephelion/ufeed#64 也遇到了类似问题。
50%