端云协同
将计算任务在终端设备和云端服务器之间进行动态分工的架构模式,隐私敏感和延迟敏感任务在本地执行,计算密集或需最新模型能力的任务上传云端
时间轴 (近 90 天)
随着轻量化模型和端侧推理框架的成熟,端云边界正在持续向边缘移动,为开发者在设备端实现更多智能提供了可能性。
Bee 系列的推出表明环境计算正在从概念走向产品化,端云协同架构将成为可穿戴 AI 的标配。
端云协同架构指的是将计算任务在边缘设备与云端之间按延迟、功耗、隐私和算力需求进行动态分配,典型分工是边缘负责唤醒检测、降噪等,云端负责大规模模型推理和业务逻辑。
硬件层面,家庭设备的算力、功耗、散热都需要在消费级成本内取得平衡;软件层面,端云协同的调度、模型版本管理、数据一致性尚未完全解决。
在智能手机上,语音唤醒词识别在本地完成,复杂语义理解交给云端,是端云协同架构的雏形。
端云协同是指将计算任务在终端设备和云端服务器之间进行分工的架构模式,根据任务特性动态分配算力。
端云协同的难点在于让用户感知不到任务切换的边界,以及在模型版本更新时保持两端能力一致。
支撑百万级DAU的AI修图产品需要通过模型蒸馏、量化压缩以及端云协同来控制单次推理的成本
全部知识事实 (8)
随着轻量化模型和端侧推理框架的成熟,端云边界正在持续向边缘移动,为开发者在设备端实现更多智能提供了可能性。
50%待验证端云协同架构指的是将计算任务在边缘设备与云端之间按延迟、功耗、隐私和算力需求进行动态分配,典型分工是边缘负责唤醒检测、降噪等,云端负责大规模模型推理和业务逻辑。
50%待验证端云协同的难点在于让用户感知不到任务切换的边界,以及在模型版本更新时保持两端能力一致。
50%待验证硬件层面,家庭设备的算力、功耗、散热都需要在消费级成本内取得平衡;软件层面,端云协同的调度、模型版本管理、数据一致性尚未完全解决。
50%待验证在智能手机上,语音唤醒词识别在本地完成,复杂语义理解交给云端,是端云协同架构的雏形。
50%待验证端云协同是指将计算任务在终端设备和云端服务器之间进行分工的架构模式,根据任务特性动态分配算力。
50%待验证支撑百万级DAU的AI修图产品需要通过模型蒸馏、量化压缩以及端云协同来控制单次推理的成本
50%待验证Bee 系列的推出表明环境计算正在从概念走向产品化,端云协同架构将成为可穿戴 AI 的标配。
50%