[控场AI]
概念On-device Model / 本地模型

端侧模型

在用户设备本地运行的AI模型,无需依赖云端服务器即可完成推理任务,通常通过量化、蒸馏和小型化技术实现,具备隐私保护和离线可用等优势

时间轴 (近 90 天)

10月19日

如果社区应用向用户承诺聊天加密,将消息发送给云端AI模型做总结会打破承诺,此时端侧模型是唯一诚实的选择。

待验证50%
10月17日

端侧模型擅长将结构化需求映射为动作组合与组次安排,但难以承担实时视频姿态估计这类高帧率视觉任务。

待验证50%
10月17日

端侧模型指参数规模被压缩到能在手机芯片上实时推理的小型模型,通常通过量化、剪枝与蒸馏等手段降低算力与内存占用。

待验证50%
10月16日

本地推理指把神经网络计算放在用户自己机器上完成,避免设计文件离开企业内网,实现方式包括使用可离线运行的小模型或对通用大模型做蒸馏/量化

待验证50%
10月15日

将 Agent 从「你调用的服务」变成「你拥有的进程」这一转变背后,是端侧模型能力持续提升、个人设备算力过剩、用户对数据主权敏感度上升等趋势的叠加。

待验证50%
10月15日

端侧模型的能力上限仍受硬件制约,复杂推理任务可能仍需在本地小模型与云端大模型之间做动态分流,混合架构正在成为主流选择。

待验证50%
10月15日

AI 带来三类需要提前规划的挑战:云端 AI API 按请求计费导致成本随使用量增长;大型端侧模型会增加应用体积并消耗电量;数据隐私需谨慎处理并遵守 GDPR 等法规。

待验证50%
10月15日

混合推理是近年移动 AI 架构的主流实践:设备端运行轻量模型负责高频、低延迟、强隐私的任务,当请求复杂度或模型能力超出端侧上限时,再由应用将脱敏后的输入发送到云端大模型处理,最后把结果回传并可在本地缓存。

待验证50%
10月14日

端侧反诈方案规模化的前提是:端侧模型的识别精度能逼近云端方案,且用户愿意在设备上开启该功能,技术门槛正在降低,但信任门槛仍是关键。

待验证50%
10月14日

凡是需要接触敏感个人数据、又必须实时响应的场景——健康监测、金融风控提示、内容安全——端侧模型都可能成为首选方案。

待验证50%

还有 3 条时间轴事件

全部知识事实 (13)

待验证

端侧模型受限于手机算力,在多步骤推理、上下文记忆和歧义消解等复杂场景上与云端70B+模型仍有显著差距

60%
待验证

如果社区应用向用户承诺聊天加密,将消息发送给云端AI模型做总结会打破承诺,此时端侧模型是唯一诚实的选择。

50%
待验证

端侧模型擅长将结构化需求映射为动作组合与组次安排,但难以承担实时视频姿态估计这类高帧率视觉任务。

50%
待验证

端侧模型指参数规模被压缩到能在手机芯片上实时推理的小型模型,通常通过量化、剪枝与蒸馏等手段降低算力与内存占用。

50%
待验证

本地推理指把神经网络计算放在用户自己机器上完成,避免设计文件离开企业内网,实现方式包括使用可离线运行的小模型或对通用大模型做蒸馏/量化

50%
待验证

将 Agent 从「你调用的服务」变成「你拥有的进程」这一转变背后,是端侧模型能力持续提升、个人设备算力过剩、用户对数据主权敏感度上升等趋势的叠加。

50%
待验证

端侧模型的能力上限仍受硬件制约,复杂推理任务可能仍需在本地小模型与云端大模型之间做动态分流,混合架构正在成为主流选择。

50%
待验证

AI 带来三类需要提前规划的挑战:云端 AI API 按请求计费导致成本随使用量增长;大型端侧模型会增加应用体积并消耗电量;数据隐私需谨慎处理并遵守 GDPR 等法规。

50%
待验证

混合推理是近年移动 AI 架构的主流实践:设备端运行轻量模型负责高频、低延迟、强隐私的任务,当请求复杂度或模型能力超出端侧上限时,再由应用将脱敏后的输入发送到云端大模型处理,最后把结果回传并可在本地缓存。

50%
待验证

云端 API 方案效果通常最好,但意味着邮件内容会被发送到第三方服务器;端侧模型隐私性最佳,但摘要质量与多语言支持往往受限。

50%
待验证

端侧微型模型的优势在于数据不离开设备天然满足隐私合规要求(如 GDPR),并消除网络往返延迟,在弱网或离线环境中依然可用

50%
待验证

端侧反诈方案规模化的前提是:端侧模型的识别精度能逼近云端方案,且用户愿意在设备上开启该功能,技术门槛正在降低,但信任门槛仍是关键。

50%
待验证

凡是需要接触敏感个人数据、又必须实时响应的场景——健康监测、金融风控提示、内容安全——端侧模型都可能成为首选方案。

50%

来源文章