ONNX
ONNX(Open Neural Network Exchange,开放神经网络交换格式)是由微软和Facebook联合发起的开放标准,用于表示机器学习模型的通用中间格式。它定义了一套通用的算子集合和数据类型规范,使模型能够在PyTorch、TensorFlow等不同训练框架之间相互转换,并通过ONNX Runtime等推理引擎在多种硬件平台上部署,从而解决深度学习框架互操作性问题。
核心事实
时间轴 (近 90 天)
ShadeNet v5 提供在线 Demo 和 ONNX 权重,量化后模型体积为 31 MB。
导出的 ONNX 图目前要求固定 448×448 输入,接入现有管线时需要做分辨率适配。
基础模型可导出为 31 MB 的 4/8-bit 量化 ONNX 文件;打包精炼器后为 35 MB 单文件。
DuckSpace.org 允许用户上传自己的.onnx文件直接在浏览器中测试。
DuckSpace.org 当前支持16个.onnx运动策略,覆盖行走、冲刺、前滚翻及恢复、地面啄食、单腿火烈鸟平衡等动作。
该项目的模型可能是通过ONNX或类似格式导出,在Web前端本地推理,避免了服务器依赖。
高通为Cloud AI系列提供了Cloud AI SDK与Qualcomm AI Engine Direct(QNN)等工具链,并支持通过ONNX等格式导入模型,但算子覆盖度和性能调优深度与CUDA仍有差距。
Hugging Face上的Timestral模型文件基于PyTorch和safetensors格式,在手机上运行需转换为ONNX格式。
GitHub上有第三方浏览器演示项目,将Timestral 500万和2800万参数版本转为ONNX,可在浏览器本地运行,不调用API,支持离线推理和上传自定义CSV。
随着TorchScript、ONNX等中间表示的出现,动态图在性能优化和部署上与静态图的差距已大幅缩小。
还有 40 条时间轴事件
全部知识事实 (20)
TensorRT是NVIDIA推出的高性能深度学习推理优化器与运行时,自2015年发布
90%已验证Transformers.js 是 Hugging Face 开发的 JavaScript 库,基于 WebAssembly 和 WebGPU 技术,将 Transformer 模型推理移植到浏览器环境
80%已验证ONNX Runtime 是微软主导开发的开源机器学习推理与训练加速引擎
75%已验证ONNX 最初由微软和 Facebook(现 Meta)于 2017 年联合发起
70%已验证ONNX Runtime Web是微软主导的跨平台推理引擎的浏览器版本,能直接加载标准ONNX格式模型
65%已验证ONNX(Open Neural Network Exchange)格式允许将PyTorch/TensorFlow模型导出为跨平台的中间表示格式
65%待验证Transformers框架同时支持PyTorch和TensorFlow后端,并通过ONNX等格式支持更广泛的部署场景
90%待验证ONNX模型导出后,只要保持相同的input_names和output_names,推理代码就是完全通用的,无论模型来自PyTorch还是TensorFlow
90%待验证TensorFlow导出ONNX时不需要提供dummy数据,因为tf.function通过AutoGraph将Python代码编译为静态图,input_signature提供的类型和形状信息足以完整描述计算图结构
90%待验证onnxruntime-genai包可以用于ONNX格式模型的生成式AI推理
85%待验证2019年,ONNX被移交给Linux基金会旗下的LF AI & Data基金会管理
85%待验证ONNX(Open Neural Network Exchange)诞生于2017年,最初由Facebook(Meta)和Microsoft联合开发
85%待验证许多HuggingFace模型仓库已经提供了ONNX版本,特别是针对CPU和移动端优化的量化模型
80%待验证ONNX已获得Amazon、Intel、NVIDIA、Qualcomm等数十家主流硬件和软件厂商的支持
80%部分验证ONNX由微软和Facebook于2017年联合发起,目前已成为AI模型互操作的事实标准
75%待验证ONNX 是由微软和 Facebook 联合推动的开放模型交换格式,允许将 PyTorch、TensorFlow 等框架的模型导出为统一的 .onnx 文件
60%待验证MoS-TTS-Nano使用ONNX(Open Neural Network Exchange)格式进行CPU上的高效推理
60%待验证TensorFlow导出ONNX需要使用tf2onnx库
60%待验证导出的 ONNX 图目前要求固定 448×448 输入,接入现有管线时需要做分辨率适配。
50%待验证DuckSpace.org 当前支持16个.onnx运动策略,覆盖行走、冲刺、前滚翻及恢复、地面啄食、单腿火烈鸟平衡等动作。
50%