ONNX Runtime
ONNX Runtime是微软开源的跨平台高性能机器学习推理引擎,支持运行ONNX(Open Neural Network Exchange)格式的模型。它兼容多种操作系统和硬件加速器(如CPU、GPU、NPU),能够优化并加速来自PyTorch、TensorFlow等主流框架导出的模型推理,广泛应用于生产环境中的深度学习模型部署。
核心事实
时间轴 (近 90 天)
轻量级生成式 AI 模型常配套工具链,包括模型压缩、推理引擎(如 ONNX Runtime、llama.cpp)和部署框架。
llama.cpp、ONNX Runtime、MLX 是支持不同硬件指令集与内存模型的推理后端。
在移动端四核 CPU 上,功耗墙和散热限制往往使并行效率提前饱和,标准 CPU EP 基于 MLAS 的优化已足够接近硬件上限,OpenVINO 的额外图优化收益被稀释。
如果模型包含大量自定义算子,标准 CPU EP 可能是最稳妥的选择;如果追求 GPU 加速且不想绑定 CUDA,DirectML 值得一试;OpenVINO 则更适合有 Intel 特定硬件且模型经过验证的场景。
OpenVINO EP 将 ONNX 图转换为 OpenVINO 的中间表示(IR)后执行。
ONNX Runtime 的执行提供器(EP)是负责将计算图算子分发到具体硬件后端的抽象接口,支持同时注册多个 EP 并设置优先级,当某个 EP 不支持某算子时会自动回退到下一个 EP(通常是 CPU EP)。
在 i5-10300H CPU 上,OpenVINO EP 在 ONNX Runtime 中的推理性能与标准 CPU EP 几乎完全一致。
DirectML EP 在移动版 GTX 1650 Ti 上相比 CPU 推理展现出明显的性能提升。
若模型中存在 OpenVINO EP 不支持的算子,回退到 CPU EP 会引入额外开销,抵消部分性能优势。
PyTorch、ONNX Runtime 等推理框架曾采用或演进到类似进程内加载 CUDA 库的策略。
还有 40 条时间轴事件
全部知识事实 (20)
Triton Inference Server是NVIDIA开源的模型服务化框架,支持动态批处理、模型并发执行,兼容TensorRT、PyTorch、TensorFlow、ONNX Runtime等推理后端
85%已验证TensorRT通过算子融合、内核自动调优和内存优化来释放GPU硬件潜力
80%已验证端侧处理是指AI模型直接在用户设备上运行推理和计算,而不将原始数据上传至云端。
75%已验证官方发布信息中并未给出具体的基准测试数据、上下文长度或与竞品的量化对比
75%已验证ONNX Runtime 是微软主导开发的开源机器学习推理与训练加速引擎
75%已验证Intel MKL、OpenBLAS等优化的BLAS实现能够利用CPU的SIMD指令集(如AVX-512)和多核并行能力
65%已验证ONNX Runtime是微软开源的高性能推理引擎,支持CPU、GPU、NPU等多种硬件后端,并内置图优化、算子融合等加速手段
65%已验证TensorRT是NVIDIA开发的推理引擎,ONNX Runtime是微软开发的推理引擎
65%已验证FastEmbed采用ONNX Runtime作为推理引擎,不需要依赖PyTorch或TensorFlow
65%待验证ONNX Runtime employs a layered architecture of graph optimization plus Execution Providers to support multiple hardware backends
85%待验证FastEmbed-rs 底层借助 ONNX Runtime 来加载和运行量化后的模型
60%待验证ONNX Runtime的图优化分为三个层级:基础优化、扩展优化和全量优化
60%待验证ONNX Runtime的核心架构是可插拔的执行提供程序(Execution Provider)体系,包括CPU EP、CUDA EP、TensorRT EP、DirectML EP和CoreML EP等
60%待验证轻量级生成式 AI 模型常配套工具链,包括模型压缩、推理引擎(如 ONNX Runtime、llama.cpp)和部署框架。
50%待验证llama.cpp、ONNX Runtime、MLX 是支持不同硬件指令集与内存模型的推理后端。
50%待验证DirectML EP 在移动版 GTX 1650 Ti 上相比 CPU 推理展现出明显的性能提升。
50%待验证ONNX Runtime 的执行提供器(EP)是负责将计算图算子分发到具体硬件后端的抽象接口,支持同时注册多个 EP 并设置优先级,当某个 EP 不支持某算子时会自动回退到下一个 EP(通常是 CPU EP)。
50%待验证OpenVINO EP 将 ONNX 图转换为 OpenVINO 的中间表示(IR)后执行。
50%待验证在 i5-10300H CPU 上,OpenVINO EP 在 ONNX Runtime 中的推理性能与标准 CPU EP 几乎完全一致。
50%待验证如果模型包含大量自定义算子,标准 CPU EP 可能是最稳妥的选择;如果追求 GPU 加速且不想绑定 CUDA,DirectML 值得一试;OpenVINO 则更适合有 Intel 特定硬件且模型经过验证的场景。
50%