端侧AI
在终端设备（如手机、PC）本地运行AI模型进行推理的技术范式，无需依赖云端服务器，具有低延迟和隐私保护优势
核心事实
时间轴 (近 90 天)
移动芯片NPU算力逐年上升，模型量化与蒸馏技术使视觉模型越做越小，端侧AI的隐私矛盾将加剧。
端侧推理解决了数据传输问题，但未解决能力被用于更广用途而用户无法审计的问题。
GM的智能座舱AI功能将基于端侧AI处理，以保护用户隐私并降低延迟。
PC端代理方向与行业对“端侧AI”的探索一致，但PC的算力限制和模型体积之间的平衡仍是难点。
端侧AI指在用户本地设备上直接运行AI模型，而非依赖云端服务器，其驱动力主要来自隐私合规、成本和可用性三方面。
价格仍是RTX Spark笔记本普及的最大障碍，本地AI短期内仍属于小众需求，其市场前景取决于后续是否有更多中端配置和轻量模型出现。
端侧 AI 的价值正在从"省流量、低延迟"扩展到"合规友好"，在监管对数据出境和隐私要求趋严的背景下获得制度上的优势。
对端侧AI，模型往往是系统中最不灵活的部分，围绕它的图像管线才是廉价优化隐藏的地方。
发言者希望围绕端侧AI、高效推理、语音智能体以及机器学习编译器四个方向与开发者交流
端侧AI、推理优化与编译器技术或将成为下一阶段社区讨论的主战场
还有 32 条时间轴事件
全部知识事实 (20)
选择苹果硬件跑AI会被绑定在苹果生态内，需承担软件适配和工具链完整性不足的代价
90%已验证本地AI（端侧AI）将AI模型推理直接运行在终端设备上，具有隐私保护、低延迟、离线可用和降低成本等优势
90%已验证设备端AI指AI模型运行在用户本地设备上，而非将数据上传到云端服务器处理
75%已验证本地AI的核心吸引力在于隐私、低延迟和离线可用性
70%已验证更多AI处理在设备本地完成有助于更好的隐私保护，因为数据无需上传至服务器
70%已验证端侧AI使数据不出本地，既保护用户隐私，又降低云端推理的延迟和成本
70%已验证端侧AI指在用户本地设备上直接运行AI模型，而非依赖云端服务器，其驱动力主要来自隐私合规、成本和可用性三方面。
65%已验证端侧 AI 将推理任务下沉到设备本地，在保护用户隐私的同时提供接近实时的响应速度
65%已验证端侧AI对于复杂推理、长文档理解、高质量图像生成等任务仍需通过端云协同的混合架构调用云端的Pro或Ultra级别模型
65%已验证端侧AI指将机器学习模型的推理过程直接在终端设备上完成，而非上传至云端服务器处理，需通过模型压缩和硬件加速弥补算力差距
65%已验证边缘AI（Edge AI）是将人工智能计算从云端迁移到本地设备（手机、传感器、嵌入式系统）上运行的技术范式
65%待验证端侧推理解决了数据传输问题，但未解决能力被用于更广用途而用户无法审计的问题。
50%待验证GM的智能座舱AI功能将基于端侧AI处理，以保护用户隐私并降低延迟。
50%待验证PC端代理方向与行业对“端侧AI”的探索一致，但PC的算力限制和模型体积之间的平衡仍是难点。
50%待验证对端侧AI，模型往往是系统中最不灵活的部分，围绕它的图像管线才是廉价优化隐藏的地方。
50%待验证端侧运行AI模型需要更大的RAM，这推高了整个行业对内存芯片的需求
50%待验证端侧AI需求推动旗舰机型的标配内存从4GB跃升至8GB乃至12GB
50%待验证模型完全在浏览器本地运行意味着用户输入的内容不会离开设备，是端侧模型的隐私优势
50%待验证把模型放到离用户最近的地方能够同时优化延迟、隐私和成本三个维度
50%待验证端侧运行深伪检测使语音数据无需上传远程服务器，通话内容可留在设备本地处理，带来隐私优势
50%