[控场AI]
产品

ONNX Runtime

ONNX Runtime是微软开源的跨平台高性能机器学习推理引擎,支持运行ONNX(Open Neural Network Exchange)格式的模型。它兼容多种操作系统和硬件加速器(如CPU、GPU、NPU),能够优化并加速来自PyTorch、TensorFlow等主流框架导出的模型推理,广泛应用于生产环境中的深度学习模型部署。

核心事实

时间轴 (近 90 天)

11月17日

轻量级生成式 AI 模型常配套工具链,包括模型压缩、推理引擎(如 ONNX Runtime、llama.cpp)和部署框架。

待验证50%
11月13日

llama.cpp、ONNX Runtime、MLX 是支持不同硬件指令集与内存模型的推理后端。

待验证50%
11月7日

在移动端四核 CPU 上,功耗墙和散热限制往往使并行效率提前饱和,标准 CPU EP 基于 MLAS 的优化已足够接近硬件上限,OpenVINO 的额外图优化收益被稀释。

待验证50%
11月7日

如果模型包含大量自定义算子,标准 CPU EP 可能是最稳妥的选择;如果追求 GPU 加速且不想绑定 CUDA,DirectML 值得一试;OpenVINO 则更适合有 Intel 特定硬件且模型经过验证的场景。

待验证50%
11月7日

OpenVINO EP 将 ONNX 图转换为 OpenVINO 的中间表示(IR)后执行。

待验证50%
11月7日

ONNX Runtime 的执行提供器(EP)是负责将计算图算子分发到具体硬件后端的抽象接口,支持同时注册多个 EP 并设置优先级,当某个 EP 不支持某算子时会自动回退到下一个 EP(通常是 CPU EP)。

待验证50%
11月7日

在 i5-10300H CPU 上,OpenVINO EP 在 ONNX Runtime 中的推理性能与标准 CPU EP 几乎完全一致。

待验证50%
11月7日

DirectML EP 在移动版 GTX 1650 Ti 上相比 CPU 推理展现出明显的性能提升。

待验证50%
11月7日

若模型中存在 OpenVINO EP 不支持的算子,回退到 CPU EP 会引入额外开销,抵消部分性能优势。

待验证50%
11月5日

PyTorch、ONNX Runtime 等推理框架曾采用或演进到类似进程内加载 CUDA 库的策略。

待验证50%

还有 40 条时间轴事件

全部知识事实 (20)

已验证

Triton Inference Server是NVIDIA开源的模型服务化框架,支持动态批处理、模型并发执行,兼容TensorRT、PyTorch、TensorFlow、ONNX Runtime等推理后端

85%
已验证

TensorRT通过算子融合、内核自动调优和内存优化来释放GPU硬件潜力

80%
已验证

端侧处理是指AI模型直接在用户设备上运行推理和计算,而不将原始数据上传至云端。

75%
已验证

官方发布信息中并未给出具体的基准测试数据、上下文长度或与竞品的量化对比

75%
已验证

ONNX Runtime 是微软主导开发的开源机器学习推理与训练加速引擎

75%
已验证

Intel MKL、OpenBLAS等优化的BLAS实现能够利用CPU的SIMD指令集(如AVX-512)和多核并行能力

65%
已验证

ONNX Runtime是微软开源的高性能推理引擎,支持CPU、GPU、NPU等多种硬件后端,并内置图优化、算子融合等加速手段

65%
已验证

TensorRT是NVIDIA开发的推理引擎,ONNX Runtime是微软开发的推理引擎

65%
已验证

FastEmbed采用ONNX Runtime作为推理引擎,不需要依赖PyTorch或TensorFlow

65%
待验证

ONNX Runtime employs a layered architecture of graph optimization plus Execution Providers to support multiple hardware backends

85%
待验证

FastEmbed-rs 底层借助 ONNX Runtime 来加载和运行量化后的模型

60%
待验证

ONNX Runtime的图优化分为三个层级:基础优化、扩展优化和全量优化

60%
待验证

ONNX Runtime的核心架构是可插拔的执行提供程序(Execution Provider)体系,包括CPU EP、CUDA EP、TensorRT EP、DirectML EP和CoreML EP等

60%
待验证

轻量级生成式 AI 模型常配套工具链,包括模型压缩、推理引擎(如 ONNX Runtime、llama.cpp)和部署框架。

50%
待验证

llama.cpp、ONNX Runtime、MLX 是支持不同硬件指令集与内存模型的推理后端。

50%
待验证

DirectML EP 在移动版 GTX 1650 Ti 上相比 CPU 推理展现出明显的性能提升。

50%
待验证

ONNX Runtime 的执行提供器(EP)是负责将计算图算子分发到具体硬件后端的抽象接口,支持同时注册多个 EP 并设置优先级,当某个 EP 不支持某算子时会自动回退到下一个 EP(通常是 CPU EP)。

50%
待验证

OpenVINO EP 将 ONNX 图转换为 OpenVINO 的中间表示(IR)后执行。

50%
待验证

在 i5-10300H CPU 上,OpenVINO EP 在 ONNX Runtime 中的推理性能与标准 CPU EP 几乎完全一致。

50%
待验证

如果模型包含大量自定义算子,标准 CPU EP 可能是最稳妥的选择;如果追求 GPU 加速且不想绑定 CUDA,DirectML 值得一试;OpenVINO 则更适合有 Intel 特定硬件且模型经过验证的场景。

50%

来源文章