ONNX
ONNX（Open Neural Network Exchange，开放神经网络交换格式）是由微软和Facebook联合发起的开放标准，用于表示机器学习模型的通用中间格式。它定义了一套通用的算子集合和数据类型规范，使模型能够在PyTorch、TensorFlow等不同训练框架之间相互转换，并通过ONNX Runtime等推理引擎在多种硬件平台上部署，从而解决深度学习框架互操作性问题。
Timeline (last 90 days)
ONNX（Open Neural Network Exchange）格式允许将PyTorch/TensorFlow模型导出为跨平台的中间表示格式
TensorRT是NVIDIA开发的推理引擎，ONNX Runtime是微软开发的推理引擎
在推理部署侧，ONNX、TensorRT及各芯片厂商自研框架正在蚕食PyTorch的市场份额
Transformers框架同时支持PyTorch和TensorFlow后端，并通过ONNX等格式支持更广泛的部署场景
ONNX由微软和Facebook于2017年联合发起，目前已成为AI模型互操作的事实标准
ONNX的算子集（OpSet）目前已覆盖超过180种标准算子
Triton Inference Server是NVIDIA开源的模型服务化框架，支持动态批处理、模型并发执行，兼容TensorRT、PyTorch、TensorFlow、ONNX Runtime等推理后端
MoS-TTS-Nano使用ONNX（Open Neural Network Exchange）格式进行CPU上的高效推理
TensorFlow导出ONNX时不需要提供dummy数据，因为tf.function通过AutoGraph将Python代码编译为静态图，input_signature提供的类型和形状信息足以完整描述计算图结构
ONNX模型导出后，只要保持相同的input_names和output_names，推理代码就是完全通用的，无论模型来自PyTorch还是TensorFlow
9 more timeline events