已验证65% 置信事实精确时间
ONNX Runtime是微软开源的高性能推理引擎，支持CPU、GPU、NPU等多种硬件后端，并内置图优化、算子融合等加速手段
3
来源数
65%
置信度
长期有效
时效性
2026/7/7
首次发现
来源
14倍提速：Manticore如何重构ONNX嵌入推理路径
hackernewshackernews2026/7/3
相关事实
待验证常见的推理引擎包括NVIDIA的TensorRT、微软的ONNX Runtime、Intel的OpenVINO75% 相似待验证ONNX是与框架无关的神经网络模型交换格式，TensorRT接收ONNX模型后根据目标GPU执行层融合、算子选择等优化，生成设备专属的序列化执行引擎75% 相似待验证ONNX Runtime 为大语言模型推理提供 Transformer 结构图优化、INT8/INT4 量化以及 KV Cache 管理能力72% 相似待验证TensorFlow Lite、ONNX Runtime等推理框架可与底层驱动和硬件加速器（NPU/DSP）协同优化70% 相似待验证面向嵌入式硬件的边缘AI推理依赖TensorFlow Lite、ONNX Runtime等轻量化框架，需在数十MHz主频的MCU上实现实时推理67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/126321API
curl https://kongchang.com/api/v1/knowledge/claims/126321MCP
get_claim(id=126321)