端侧AI Agent如何解决"手机本该知道"的上下文传递难题

StareBrain用本地上下文解析层,让端侧Agent在动作分发前自动补全手机已知的信息。
StareBrain团队针对端侧AI Agent提出一套上下文架构:将Agent所需上下文拆为动作上下文与设备上下文,后者分散在OS与多个App中且各有权限模型。核心设计是在动作分发前由ContextResolver解析参数,遵循"永远不询问手机已知信息"的规则,并按HIGH、MEDIUM、LOW、UNRESOLVABLE四级置信度决定自动填充、预填确认或直接询问,避免Agent自信地做错事。系统完全本地运行是硬约束,迫使解析逻辑确定且可解释,也让隐私承诺可信。该方案只解决结构化数据层面的问题,开放式推断与跨应用状态读取仍未解。
当用户对手机AI助手说"帮我叫辆车去常去的机场"时,一个自然的期待是:手机明明存着日历、通讯录、位置历史和邮箱里的航班确认信,为什么还要我把这些信息再讲一遍?
StareBrain团队在beta测试中反复听到这句抱怨。他们的回答是:问题不在于信息不存在,而在于每个App各自持有自己那一块数据,彼此之间没有自动串联。构建端侧AI Agent的核心挑战,正是建立一层在本地运行的上下文层,在正确的时机把正确的信息传递给正确的动作,而非把所有数据上传到云端处理。

两类上下文:动作上下文与设备上下文
StareBrain把Agent所需的上下文拆成两类。动作上下文描述用户请求了什么动作、需要哪些参数、哪些App可以完成它;设备上下文则描述手机已经知道的相关信息——即将到来的日历事件、已保存的位置、最近搜索记录等。
多数Agent架构对动作上下文的处理已经比较成熟,真正的复杂点在于设备上下文:它分散在操作系统和多个App中,每个App还有各自的权限模型。团队用一个AgentContext数据结构把两者聚合在一起,其中DeviceContext包含即将到来的事件、已保存位置、最近使用的App和活跃通知摘要。
关键的设计决策是:Agent必须在动作分发之前从设备上下文中解析参数,而不是在分发过程中解析,更不是回头去问用户一个手机明明知道答案的问题。
端侧AI Agent(On-device AI Agent)指推理与决策主要在用户设备(手机、平板等)本地完成、而非依赖云端服务器的智能代理。与云端Agent相比,它的核心差异不在模型能力,而在数据边界:用户的位置、日历、通讯录等敏感信息无需出设备,隐私风险显著降低;代价是本地算力与内存受限,模型规模、上下文长度和推理速度都受约束。这直接决定了端侧Agent的架构取向——不能简单照搬云端"大模型读全部上下文再规划"的范式,而要把任务拆解为确定性较强的小步骤。文章中的上下文解析、置信度分级等设计,本质上都是在本地算力约束下,用工程化的规则替代大模型的自由推理,以换取可解释性与低延迟。
分发前的上下文解析
团队在每次动作分发前增加了一个解析环节ContextResolver。它接收原始意图和设备上下文,尝试在向用户暴露任何信息之前补全缺失参数。以"常去的机场"为例,解析器会在已保存位置中按类别筛选,取使用次数最多的那个作为候选地址。
解析结果被分为三种处理路径:能够高置信度解析的参数自动填充;中等置信度的参数以预填建议的形式呈现,让用户确认或修改;完全无法解析的参数才标记为缺失并向用户提问。
这条规则的表述很直接:永远不要询问手机已经知道的信息。它看起来简单,但要做到需要解析器对每个参数类型(位置、日期时间、联系人等)都有明确的处理逻辑,并在无法解析时给出UnresolvedParameter而非静默失败。
置信度分级:不让Agent自信地做错事
并非所有解析结果生而平等。一个被使用过40次的已保存位置,与三个月前某次日历事件里推断出的地点,可信度显然不同。
StareBrain因此定义了四级置信度:HIGH、MEDIUM、LOW、UNRESOLVABLE。每个参数值都携带置信度和来源信息(ContextSource),并据此决定行为:高置信度自动填充并在确认摘要中展示;中置信度预填并附带"这样对吗?"的提示;低置信度或无法解析则直接询问用户。
这种分级机制的价值在于平衡:既减少用户需要重复表达的信息量,又避免Agent在不确定的情况下替用户做决定。用团队的话说,这让Agent"不会自信地做错事"。
置信度(Confidence Score) 在机器学习中通常指模型对某个预测结果正确性的估计概率。传统分类模型输出的置信度是连续值(如0.87),但端侧Agent面对的是"该不该替用户填这个参数"的决策问题,因此往往把连续分数离散化为若干等级,以便制定明确的交互策略。离散化的好处是行为可预测、可测试:每一级对应固定动作(自动填充、预填确认、直接询问),不会出现阈值附近行为抖动。风险在于等级边界的人为设定可能偏保守或偏激进,需要靠beta测试中的用户反馈来校准。文章把来源信息(ContextSource)与置信度绑定,正是为了让每个决策可追溯——用户或开发者都能回答"Agent为什么认为这个地址是对的"。
隐私硬约束如何塑造架构
整个系统完全在设备端运行,没有任何上下文离开手机。这不是偏好,而是硬性约束。
这条约束的直接后果是:团队无法用云端模型对完整的设备上下文进行推理,因为完整上下文根本不允许上传。解析逻辑必须足够确定、足够轻量,能够在本地执行——这意味着它必须明确说明自己使用了哪些信号、如何权衡这些信号。
相比云端方案,这是更紧的约束。但正是它让隐私承诺变得可信。团队的观点很明确:"你的数据永远不会离开手机"这句话,只有在架构真正强制执行它的时候才有意义。
端侧推理(On-device Inference) 指模型或规则引擎直接在手机SoC上运行,而非把输入发送到远程服务器。它依赖移动端推理框架(如设备厂商提供的神经网络运行时)和量化、剪枝等模型压缩技术,把模型体积压到几百MB甚至更小。文章中的解析器选择确定性规则而非大模型,部分原因也在于此:在本地跑一个轻量、可审计的规则引擎,比在手机上部署并调用大模型更可控,且无需网络、响应更快。需要区分的是,"本地运行"本身不等于"隐私安全"——若本地日志或缓存未加密,数据仍可能泄露;因此真正的硬约束还包括不落盘、不上传、不留痕的配套设计。
解决了什么,没解决什么
上下文解析解决的是结构化数据层面的"本该知道"问题——已保存位置、日历事件、联系人。它没有解决开放式推断(比如"我在这里通常会做什么"),也没有解决需要主动读取App内容的跨应用状态问题。
团队的判断是:这些是更难的题目,而结构化数据层是地基。先把这一层做对,用户不再被问及手机已知的信息,这是任何更宏大目标的前提。
他们的目标定位也值得注意:不是打造能力最强的Agent,而是打造一个"不会让你觉得在跟一个不了解你的东西说话"的Agent。在端侧AI的竞争里,这个标准或许比参数规模更贴近用户体验的本质。
相关推荐

ElevenLabs Realtime发布:570ms首音频的语音智能体模型
ElevenLabs发布Realtime语音智能体模型系列,v1 Mini和v1 Max首音频延迟分别为620ms和570ms,支持90+语言,兼容OpenAI Realtime API,端到端调优语音识别、轮次管理与语音生成。

Context Engine:为AI代理与人类团队打造统一记忆库
Context Engine在Product Hunt发布,为AI代理和人类团队提供统一记忆库。Claude、ChatGPT、Cursor等工具可自动保存上下文,团队成员可读取、提问和添加文件。本文分析其功能、集成方式与潜在挑战。

Monish:让AI Agent在iPhone锁屏上实时汇报与审批
Monish 是一款将 AI Agent 实时进度和审批请求推送到 iPhone 锁屏的工具,支持 Claude Code、Cursor、n8n 等,免费无需账户,让开发者随时批准或拒绝 Agent 操作。