ExecuTorch
PyTorch生态中专注于端侧推理的运行时框架,支持将PyTorch模型高效部署到移动设备、嵌入式系统和边缘硬件,提供模型转换、优化及硬件指令映射能力
核心事实
时间轴 (近 90 天)
torch.export 负责将 PyTorch 模型导出为 ExecuTorch 专用的 .pte 文件,该文件格式是 ExecuTorch 运行时的标准载体,包含模型的计算图与权重信息。
ExecuTorch 现已支持 WebGPU 后端,开发者可以直接在浏览器中利用 GPU 运行 PyTorch 模型,无需将模型转换为其他框架的格式。
ExecuTorch WebGPU 目前仍处于早期推进阶段,具体的算子覆盖范围、性能表现和浏览器兼容矩阵还需要开发者在实际项目中验证。
ExecuTorch 采用分层架构:前端接收 torch.export 导出的图,经过图优化和算子分解,最终由后端(如 XNNPACK、Core ML、Vulkan、WebGPU)负责内核执行。
ExecuTorch 是 PyTorch 基金会主导的端侧推理运行时,目标是在移动端(Android/iOS)、嵌入式系统和浏览器等边缘设备上执行 PyTorch 模型。
对于流式 ASR,某些有状态算子或动态形状算子可能没有现成的高效实现,需要额外适配或自定义 lowering。
在 ExecuTorch 中,算子 lowering 通常经过多个中间表示(如 Edge Dialect),最终映射到 Arm CPU 的特定内核或委托后端。
PyTorch 官方博客近期发布了聚焦于如何借助 ExecuTorch 在 Arm 边缘设备上优化流式语音识别的文章。
流式 ASR 的端侧优化已被纳入 ExecuTorch 的重点方向,Arm 设备是其明确的目标平台之一。
ExecuTorch采用分层运行时设计,包括表示层、算子层和后端层(Backend Delegate)。
还有 27 条时间轴事件
全部知识事实 (20)
ExecuTorch是Meta推出的端侧推理运行时框架,基于PyTorch 2.0的Export机制构建
75%待验证ExecuTorch是PyTorch生态中专注于端侧推理的运行时框架,旨在让PyTorch模型部署到移动设备、嵌入式系统和边缘硬件上
70%待验证torch.export 负责将 PyTorch 模型导出为 ExecuTorch 专用的 .pte 文件,该文件格式是 ExecuTorch 运行时的标准载体,包含模型的计算图与权重信息。
50%待验证ExecuTorch 是 PyTorch 基金会主导的端侧推理运行时,目标是在移动端(Android/iOS)、嵌入式系统和浏览器等边缘设备上执行 PyTorch 模型。
50%待验证ExecuTorch 采用分层架构:前端接收 torch.export 导出的图,经过图优化和算子分解,最终由后端(如 XNNPACK、Core ML、Vulkan、WebGPU)负责内核执行。
50%待验证ExecuTorch WebGPU 目前仍处于早期推进阶段,具体的算子覆盖范围、性能表现和浏览器兼容矩阵还需要开发者在实际项目中验证。
50%待验证对于流式 ASR,某些有状态算子或动态形状算子可能没有现成的高效实现,需要额外适配或自定义 lowering。
50%待验证流式 ASR 的端侧优化已被纳入 ExecuTorch 的重点方向,Arm 设备是其明确的目标平台之一。
50%待验证在 ExecuTorch 中,算子 lowering 通常经过多个中间表示(如 Edge Dialect),最终映射到 Arm CPU 的特定内核或委托后端。
50%待验证ExecuTorch采用分层运行时设计,包括表示层、算子层和后端层(Backend Delegate)。
50%待验证ExecuTorch解决的是“部署路径”问题,而不是“算力不足”问题;模型规模、算子支持范围、推理延迟仍受限于芯片本身。
50%待验证ExecuTorch支持Arm Cortex-M微控制器,允许PyTorch模型无需经过ONNX等中间格式转换即可在MCU上运行。
50%待验证ExecuTorch通过内存规划在执行前计算各张量的生命周期与偏移,让中间结果复用同一块静态缓冲区,避免运行时malloc/free。
50%待验证ExecuTorch引入统一中间表示EXIR,模型通过torch.export导出为EXIR,再由.pte格式打包,交给运行时执行。
50%待验证ExecuTorch是PyTorch官方在2023年推出的端侧推理运行时,覆盖手机、嵌入式乃至MCU。
50%待验证谷歌的 MediaPipe LLM Inference、Meta 的 ExecuTorch 以及支持 Android 的 llama.cpp 是成熟的移动端推理框架,能将模型运算映射到手机 GPU 或 NPU 上执行
50%待验证ExecuTorch 0.10默认会上报匿名下载分析数据,必须调用setTelemetryEnabled(false)关闭
50%待验证在门店审核清单的结构化输出任务中,ExecuTorch(Llama 3.2 1B,schema塞进prompt)20次调用只有2次有效,而Apple Foundation Models(引导式生成)20次全部有效
50%待验证Apple Foundation Models通过引导式生成在框架层面约束模型输出使其必然符合给定类型结构,而ExecuTorch没有对应能力,只能把schema写进prompt
50%待验证ExecuTorch 1B在模拟器上需1.14GB下载(6分12秒)、每次启动约5秒加载、生成时约907MB应用内存、生成速度43 tokens/s,后续调用首字时间中位数579ms
50%