#端侧AI
共 36 篇相关文章
三星用TensorFlow Lite在960x540图像上追踪你
三星被指在960x540图像上运行TensorFlow Lite模型追踪用户，引发Hacker News热议。本文分析端侧AI的隐私悖论：本地推理既减少数据外泄，又让持续视觉感知难以察觉，并梳理社区三种立场与对用户、开发者的启示。
英伟达发布Nemotron 3.5 Bolt E4B：4GB显存跑本地语音助手
英伟达开源Nemotron 3.5 Bolt E4B 4GB小语言模型，基于Gemma 4 E4B后训练，约4GB显存即可在RTX和Jetson上运行本地语音助手、游戏角色与机器人应用。
Pipit：开源Android端离线AI万能搜索，50ms内极速响应
Pipit 是一款开源 Android 端离线 AI 万能搜索引擎，支持 OCR 深度内容检索、自然语言语义搜图，覆盖照片、PDF、消息等七大领域，100% 本地运行，延迟低于 50ms，零云端上传。
移动应用AI落地指南：从业务问题出发，而非模型
移动应用AI落地指南：从业务问题出发而非模型。结合Sensor Tower、RevenueCat、Lazyweb等数据，分析AI提升试用转化却不提升留存的原因，分外卖、医疗、工时、教育、社区、银行六大行业说明AI在哪里值回成本，并给出端侧与云端AI选型建议和上线前检查清单。
端侧AI Agent如何解决"手机本该知道"的上下文传递难题
StareBrain团队详解端侧AI Agent的上下文传递架构：如何在不将数据上传云端的前提下，用本地解析层自动补全位置、时间、联系人等参数，并通过置信度分级决定自动填充、建议还是询问用户。
Train with Pasta：苹果智能驱动的口袋私教，无账户也能用
Train with Pasta 是一款由 Apple Intelligence 驱动的 iPhone 私人教练应用，支持语音生成训练计划、无账户使用、健康数据本地存储。本文解析其核心功能、适用场景与设备门槛。
麒麟9050量产：华为首款逻辑折叠芯片拆解
华为首款量产逻辑折叠芯片麒麟9050 Pro亮相，依托韬定律与5000万混合键合，在CPU、GPU、NPU性能大幅提升的同时降低功耗，并支撑手机端运行30B大模型与实时影像处理。
CoreML模型没问题，是照片太大了：端侧AI的图像管线陷阱
CoreML模型在端侧AI中表现正常，但图像管线导致检测失败：250只羊只数出14只。通过分块推理和类无关NMS合并，检测数提升至173。揭示端侧计算机视觉中图像预处理的关键陷阱。
为什么我们把语音AI装进设备，而不是云端
VoxRT团队从第一天起为端侧而非云端构建语音AI。本文用真实成本账、三类端侧胜出场景、硬件碎片化等权衡，以及2026年端侧语音技术现状，说明端侧与云端如何合理共存。
React Native端侧AI实测：Apple与ExecuTorch双引擎对比
React Native端侧AI实测：同一套AI SDK调用背后，Apple Foundation Models与ExecuTorch两套引擎的结构化输出、速度与内存对比，附七个构建踩坑与运行时模型选择策略。
Nature Buddy AI：用开源AI引导你走出屏幕拥抱自然
Nature Buddy AI 是一款开源的AI自然探索伴侣，支持浏览器端BLIP视觉模型本地推理，通过户外任务、AI识别、声景映射和游戏化激励，引导用户走出屏幕拥抱真实世界。附技术栈与开源理念解析。
浏览器端运行Gemma：Go Outside用本地AI让你放下手机
Go Outside 是一款浏览器端运行 Gemma 的开源网页应用，通过 WebLLM 和 WebGPU 本地生成户外任务，离线可用、零成本、隐私无忧。本文解析其端侧 AI 技术实现与开放权重的价值。
苹果M4芯片深度解析：端侧AI性能跃迁的新引擎
深度解析苹果M4芯片：CPU比M2快1.5倍、神经引擎提速4倍达38 TOPS、GPU引入硬件光线追踪、第二代3nm制程。了解M4如何推动端侧AI与苹果AI生态发展。
PyTorch社区聚焦：端侧AI与推理优化的技术交流
PyTorch大使社区成员分享其关注的四大技术方向：端侧AI、高效推理、语音智能体与机器学习编译器，解读AI工程化落地的核心命题与社区协作价值。
Miso：完全离线的本地AI桌宠，用开源LLM催你去户外
Miso 是一个完全离线、零云端 API 的本地 AI 桌面宠物，用 SmolLM2/Qwen2.5 开源模型在 CPU 上运行，专注时长到点就催你去户外。专为 i7-6600U/8GB 内存的低配硬件设计，隐私、零成本、可自定义。
Touch Grass Bingo：浏览器端运行AI的离线趣味应用
Touch Grass Bingo 是一个完全在浏览器端运行的AI应用，用WebLLM加载Llama 3.2 1B模型本地生成宾果卡片，无需后端和API密钥。本文解析其技术栈、从v1到v3的端侧AI工程踩坑经验与开放权重模型的价值。
高通CEO放话：2028年手机或将常驻千亿参数AI大模型
高通CEO透露AI公司希望2028年手机能常驻运行千亿参数大模型。本文解析端侧大模型的内存需求、量化方案、散热功耗与供应链瓶颈，并探讨其技术可行性与商业动机。
ExecuTorch落地难题：如何跨越开发者学习鸿沟
Arm的Matt Cousins将在PyTorch大会主持ExecuTorch专题讨论，聚焦开发者如何从示例教程走向真实应用，跨越端侧AI部署的采用鸿沟。活动面向新手、实践者与内容创作者开放。
