端侧模型
在用户设备本地运行的AI模型,无需依赖云端服务器即可完成推理任务,通常通过量化、蒸馏和小型化技术实现,具备隐私保护和离线可用等优势
时间轴 (近 90 天)
如果社区应用向用户承诺聊天加密,将消息发送给云端AI模型做总结会打破承诺,此时端侧模型是唯一诚实的选择。
端侧模型擅长将结构化需求映射为动作组合与组次安排,但难以承担实时视频姿态估计这类高帧率视觉任务。
端侧模型指参数规模被压缩到能在手机芯片上实时推理的小型模型,通常通过量化、剪枝与蒸馏等手段降低算力与内存占用。
本地推理指把神经网络计算放在用户自己机器上完成,避免设计文件离开企业内网,实现方式包括使用可离线运行的小模型或对通用大模型做蒸馏/量化
将 Agent 从「你调用的服务」变成「你拥有的进程」这一转变背后,是端侧模型能力持续提升、个人设备算力过剩、用户对数据主权敏感度上升等趋势的叠加。
端侧模型的能力上限仍受硬件制约,复杂推理任务可能仍需在本地小模型与云端大模型之间做动态分流,混合架构正在成为主流选择。
AI 带来三类需要提前规划的挑战:云端 AI API 按请求计费导致成本随使用量增长;大型端侧模型会增加应用体积并消耗电量;数据隐私需谨慎处理并遵守 GDPR 等法规。
混合推理是近年移动 AI 架构的主流实践:设备端运行轻量模型负责高频、低延迟、强隐私的任务,当请求复杂度或模型能力超出端侧上限时,再由应用将脱敏后的输入发送到云端大模型处理,最后把结果回传并可在本地缓存。
端侧反诈方案规模化的前提是:端侧模型的识别精度能逼近云端方案,且用户愿意在设备上开启该功能,技术门槛正在降低,但信任门槛仍是关键。
凡是需要接触敏感个人数据、又必须实时响应的场景——健康监测、金融风控提示、内容安全——端侧模型都可能成为首选方案。
还有 3 条时间轴事件
全部知识事实 (13)
端侧模型受限于手机算力,在多步骤推理、上下文记忆和歧义消解等复杂场景上与云端70B+模型仍有显著差距
60%待验证如果社区应用向用户承诺聊天加密,将消息发送给云端AI模型做总结会打破承诺,此时端侧模型是唯一诚实的选择。
50%待验证端侧模型擅长将结构化需求映射为动作组合与组次安排,但难以承担实时视频姿态估计这类高帧率视觉任务。
50%待验证端侧模型指参数规模被压缩到能在手机芯片上实时推理的小型模型,通常通过量化、剪枝与蒸馏等手段降低算力与内存占用。
50%待验证本地推理指把神经网络计算放在用户自己机器上完成,避免设计文件离开企业内网,实现方式包括使用可离线运行的小模型或对通用大模型做蒸馏/量化
50%待验证将 Agent 从「你调用的服务」变成「你拥有的进程」这一转变背后,是端侧模型能力持续提升、个人设备算力过剩、用户对数据主权敏感度上升等趋势的叠加。
50%待验证端侧模型的能力上限仍受硬件制约,复杂推理任务可能仍需在本地小模型与云端大模型之间做动态分流,混合架构正在成为主流选择。
50%待验证AI 带来三类需要提前规划的挑战:云端 AI API 按请求计费导致成本随使用量增长;大型端侧模型会增加应用体积并消耗电量;数据隐私需谨慎处理并遵守 GDPR 等法规。
50%待验证混合推理是近年移动 AI 架构的主流实践:设备端运行轻量模型负责高频、低延迟、强隐私的任务,当请求复杂度或模型能力超出端侧上限时,再由应用将脱敏后的输入发送到云端大模型处理,最后把结果回传并可在本地缓存。
50%待验证云端 API 方案效果通常最好,但意味着邮件内容会被发送到第三方服务器;端侧模型隐私性最佳,但摘要质量与多语言支持往往受限。
50%待验证端侧微型模型的优势在于数据不离开设备天然满足隐私合规要求(如 GDPR),并消除网络往返延迟,在弱网或离线环境中依然可用
50%待验证端侧反诈方案规模化的前提是:端侧模型的识别精度能逼近云端方案,且用户愿意在设备上开启该功能,技术门槛正在降低,但信任门槛仍是关键。
50%待验证凡是需要接触敏感个人数据、又必须实时响应的场景——健康监测、金融风控提示、内容安全——端侧模型都可能成为首选方案。
50%