[控场AI]
产品

ExecuTorch

PyTorch生态中专注于端侧推理的运行时框架,支持将PyTorch模型高效部署到移动设备、嵌入式系统和边缘硬件,提供模型转换、优化及硬件指令映射能力

核心事实

时间轴 (近 90 天)

11月10日

torch.export 负责将 PyTorch 模型导出为 ExecuTorch 专用的 .pte 文件,该文件格式是 ExecuTorch 运行时的标准载体,包含模型的计算图与权重信息。

待验证50%
11月10日

ExecuTorch 现已支持 WebGPU 后端,开发者可以直接在浏览器中利用 GPU 运行 PyTorch 模型,无需将模型转换为其他框架的格式。

待验证50%
11月10日

ExecuTorch WebGPU 目前仍处于早期推进阶段,具体的算子覆盖范围、性能表现和浏览器兼容矩阵还需要开发者在实际项目中验证。

待验证50%
11月10日

ExecuTorch 采用分层架构:前端接收 torch.export 导出的图,经过图优化和算子分解,最终由后端(如 XNNPACK、Core ML、Vulkan、WebGPU)负责内核执行。

待验证50%
11月10日

ExecuTorch 是 PyTorch 基金会主导的端侧推理运行时,目标是在移动端(Android/iOS)、嵌入式系统和浏览器等边缘设备上执行 PyTorch 模型。

待验证50%
10月26日

对于流式 ASR,某些有状态算子或动态形状算子可能没有现成的高效实现,需要额外适配或自定义 lowering。

待验证50%
10月26日

在 ExecuTorch 中,算子 lowering 通常经过多个中间表示(如 Edge Dialect),最终映射到 Arm CPU 的特定内核或委托后端。

待验证50%
10月26日

PyTorch 官方博客近期发布了聚焦于如何借助 ExecuTorch 在 Arm 边缘设备上优化流式语音识别的文章。

已过期50%
10月26日

流式 ASR 的端侧优化已被纳入 ExecuTorch 的重点方向,Arm 设备是其明确的目标平台之一。

待验证50%
10月15日

ExecuTorch采用分层运行时设计,包括表示层、算子层和后端层(Backend Delegate)。

待验证50%

还有 27 条时间轴事件

全部知识事实 (20)

已验证

ExecuTorch是Meta推出的端侧推理运行时框架,基于PyTorch 2.0的Export机制构建

75%
待验证

ExecuTorch是PyTorch生态中专注于端侧推理的运行时框架,旨在让PyTorch模型部署到移动设备、嵌入式系统和边缘硬件上

70%
待验证

torch.export 负责将 PyTorch 模型导出为 ExecuTorch 专用的 .pte 文件,该文件格式是 ExecuTorch 运行时的标准载体,包含模型的计算图与权重信息。

50%
待验证

ExecuTorch 是 PyTorch 基金会主导的端侧推理运行时,目标是在移动端(Android/iOS)、嵌入式系统和浏览器等边缘设备上执行 PyTorch 模型。

50%
待验证

ExecuTorch 采用分层架构:前端接收 torch.export 导出的图,经过图优化和算子分解,最终由后端(如 XNNPACK、Core ML、Vulkan、WebGPU)负责内核执行。

50%
待验证

ExecuTorch WebGPU 目前仍处于早期推进阶段,具体的算子覆盖范围、性能表现和浏览器兼容矩阵还需要开发者在实际项目中验证。

50%
待验证

对于流式 ASR,某些有状态算子或动态形状算子可能没有现成的高效实现,需要额外适配或自定义 lowering。

50%
待验证

流式 ASR 的端侧优化已被纳入 ExecuTorch 的重点方向,Arm 设备是其明确的目标平台之一。

50%
待验证

在 ExecuTorch 中,算子 lowering 通常经过多个中间表示(如 Edge Dialect),最终映射到 Arm CPU 的特定内核或委托后端。

50%
待验证

ExecuTorch采用分层运行时设计,包括表示层、算子层和后端层(Backend Delegate)。

50%
待验证

ExecuTorch解决的是“部署路径”问题,而不是“算力不足”问题;模型规模、算子支持范围、推理延迟仍受限于芯片本身。

50%
待验证

ExecuTorch支持Arm Cortex-M微控制器,允许PyTorch模型无需经过ONNX等中间格式转换即可在MCU上运行。

50%
待验证

ExecuTorch通过内存规划在执行前计算各张量的生命周期与偏移,让中间结果复用同一块静态缓冲区,避免运行时malloc/free。

50%
待验证

ExecuTorch引入统一中间表示EXIR,模型通过torch.export导出为EXIR,再由.pte格式打包,交给运行时执行。

50%
待验证

ExecuTorch是PyTorch官方在2023年推出的端侧推理运行时,覆盖手机、嵌入式乃至MCU。

50%
待验证

谷歌的 MediaPipe LLM Inference、Meta 的 ExecuTorch 以及支持 Android 的 llama.cpp 是成熟的移动端推理框架,能将模型运算映射到手机 GPU 或 NPU 上执行

50%
待验证

ExecuTorch 0.10默认会上报匿名下载分析数据,必须调用setTelemetryEnabled(false)关闭

50%
待验证

在门店审核清单的结构化输出任务中,ExecuTorch(Llama 3.2 1B,schema塞进prompt)20次调用只有2次有效,而Apple Foundation Models(引导式生成)20次全部有效

50%
待验证

Apple Foundation Models通过引导式生成在框架层面约束模型输出使其必然符合给定类型结构,而ExecuTorch没有对应能力,只能把schema写进prompt

50%
待验证

ExecuTorch 1B在模拟器上需1.14GB下载(6分12秒)、每次启动约5秒加载、生成时约907MB应用内存、生成速度43 tokens/s,后续调用首字时间中位数579ms

50%

来源文章