多模态协作Agent：从模糊意图到精准推荐的完整方法论

在 AI Engineer 大会上，Google DeepMind 产品负责人 Nidhi 分享了一个极具落地价值的主题——多模态协作型智能体（Multimodal Collaborative Agents）。这类 Agent 的核心不是处理清晰明确的指令，而是与用户"模糊的意图"打交道：当用户还没想清楚自己要什么、缺乏精准关键词时，Agent 如何主动引导、层层挖掘，最终帮用户抵达目标。

多模态（Multimodal）指的是AI系统能够同时处理和理解多种类型的输入信息——文本、图像、音频、视频等。传统的聊天机器人只能处理文字，而多模态智能体可以让用户发一张图片、说一段语音、甚至分享一个视频，系统都能理解其中的语义。Google DeepMind在这一领域的代表性工作包括Gemini系列模型，它们从架构层面就被设计为原生多模态。而"协作型（Collaborative）"则意味着Agent不是单向执行指令，而是与用户形成双向互动的伙伴关系——在人机交互（HCI）领域，这被称为"混合主动交互（mixed-initiative interaction）"，系统和用户都可以主动发起对话、提出建议或请求澄清。

本文以电商购物场景为例（这些模式同样适用于金融、教育等消费垂直领域），拆解一套从"模糊直觉"到"精准推荐"的完整方法论。

为什么现有购物Agent无法处理模糊意图

当前市面上大量的购物 Agent，本质上只是"搜索框的包装层"（a wrapper to the search bar）。它们有一个隐含假设：用户已经有清晰定义的意图、掌握正确的关键词、知道自己在找什么。

但现实并非如此。Nidhi 指出，用户与 Agent 之间存在巨大的表达鸿沟（articulation gap）。用户来购物时，很少能把需求清晰成型，更多的是带着一种"模糊的感觉"或"vibe"。

这一概念有深厚的学术根源。在信息检索领域，Nicholas Belkin在1980年代提出了"异常状态知识（Anomalous State of Knowledge, ASK）"假说：用户发起搜索行为时，往往正处于知识的"异常状态"，即他们知道自己缺少某些信息，但无法精确描述缺少的是什么。在电商场景中，这种鸿沟尤为突出——研究表明，超过60%的在线购物旅程始于"浏览式（browsing）"而非"搜索式（searching）"行为，用户并没有明确的购买目标，而是在探索中逐渐形成偏好。这也解释了为什么简单的关键词搜索框无法满足这类需求。

这就要求 Agent 承担起大量的"手把手引导"工作：先理解甚至主动挖掘用户偏好，再向用户展示各种可能性，最后在用户的约束条件下逐步逼近最合适的推荐。

整个过程构成了一个从"极度模糊的意图"走向"达成用户目标"的飞轮循环（flywheel），包含三个核心阶段：发现（Discovery）、研究（Research）、响应（Response）。

发现阶段：识别真正重要的用户信号

发现阶段的关键是让 Agent 明确"什么才是真正重要的信息"。Agent 会从多个信号源中提取上下文：过往对话、用户提供的参考图片或链接、个人上下文等，并据此构建一个"工作状态（working state）"。

以"用户想在一定预算内重新装修客厅"为例，Agent 的工作状态会包含会话历史、用户上下文，并提取查询中的硬约束（hard constraints）（如预算）。

真正有趣的部分是软约束（soft constraints）的处理。当用户无法用语言描述需求，只能丢来一张"灵感参考图"时，Agent 需要更主动地从这些多模态输入中提取显著信号，构建关于用户偏好的心智模型，并对每个推断给出置信度分数（confidence score）。

置信度分数的应用本质上是一种贝叶斯推理（Bayesian Inference）思想的落地。Agent对用户偏好的每个推断都附带一个0到1之间的置信度值，代表Agent对该推断正确性的信心程度。随着对话推进、用户提供更多信号，这些置信度会根据新证据动态更新——这正是贝叶斯定理中"先验概率"随"观测数据"更新为"后验概率"的过程。例如，Agent从参考图中推断用户偏好"极简风格"的置信度为0.7，当用户后续点击了一张北欧风格家具图片时，这个置信度可能上升到0.85。这种概率化建模相比传统的二元判断（是/否），能更优雅地处理用户偏好的不确定性和多义性。

此外，Agent 还需实时刷新某些变量——比如库存。如果推荐时用的是过时信息，那推荐本身就失去了意义。

如何发现意图缺口并提升信息增益

发现阶段的第二步是找出"意图缺口（intent gap）"。在给出最佳答案前，往往存在大量未知变量，但 Agent 不需要把所有未知都问一遍。

关键在于制定协作策略（collaborative strategy）：比较所有可能的"下一步"，找出那个能带来最大信息增益的问题优先提问。

信息增益（Information Gain）是信息论中的核心概念，源自Claude Shannon的信息熵理论。在Agent决策框架中，信息增益衡量的是：提出某个问题后，Agent对用户意图的不确定性能减少多少。数学上，这等价于计算问题回答前后的条件熵之差。这一思想与机器学习中的"主动学习（Active Learning）"范式高度相关——在主动学习中，模型会主动选择最有价值的样本请求标注，以最少的标注成本获得最大的模型提升。Nidhi将这一思想应用到对话策略中：Agent在众多可能的追问中，选择那个能最大程度消除不确定性的问题优先提出，从而用最少的对话轮次抵达用户的真实需求。

比如在装修案例中，"房间宽度"可能是最优的下一个问题——因为如果推荐的家具根本放不进房间，一切都是徒劳。这个变量会实质性地改变对话方向。

在评估层面，Google DeepMind 使用了一套自动评分器（auto-raters），重点关注：Agent 是否识别出所有必要的"阻塞项"、是否"过度提问（over-asking）"、以及"问题效用（question utility）"——即每个问题是否真的有助于挖掘正确偏好。

研究阶段：用视觉展示代替文字追问

研究阶段的核心洞察是：并非所有偏好都适合用文字来问。

当 Agent 要探索用户的"风格偏好"这类主观约束时，首先要在约束本身与产品目录、知识库本体（ontology）之间建立一座临时桥梁，以便后续检索时能把约束映射回知识库。

本体（Ontology）是知识工程领域的核心概念，指的是对某个领域内概念、属性及其关系的形式化描述。在电商场景中，产品本体定义了品类层级（如"家具→沙发→转角沙发"）、属性维度（材质、颜色、尺寸、风格）以及属性值之间的关联关系（如"北欧风格"通常关联"浅色木材""极简线条"等属性）。构建从用户模糊描述到本体结构化属性的"临时桥梁"，本质上是在做语义对齐（Semantic Alignment）——将用户说的"看起来很温馨"映射到本体中的"暖色调""柔软材质""圆润造型"等具体属性。这个映射过程在大语言模型出现之前主要依赖人工规则和同义词词典，如今LLM的语义理解能力让这种映射变得更加灵活和鲁棒。

对于风格这类主观、模糊的约束，文字追问往往不是最优解。Agent 会选择用**视觉偏好板（visual preference board）**来引导用户。

视觉偏好板的设计灵感可追溯到设计行业广泛使用的"情绪板（Mood Board）"方法论——设计师通过拼贴图片、颜色、材质样本来与客户对齐审美方向。在认知心理学中，这利用了人类的"识别优于回忆（Recognition over Recall）"认知特性：人类从一组选项中识别出自己喜欢的东西，远比从零开始用语言描述自己的偏好要容易得多。Agent通过展示视觉选项而非追问文字描述，本质上是将认知负担从用户的"生成性思维"转移到"判断性思维"，大幅降低了用户的表达成本。同时，视觉板还能帮助用户"发现自己不知道自己想要的东西"——这在推荐系统研究中被称为"意外发现（Serendipity）"。

具体做法是：基于已有约束、历史对话和临时映射，生成几种与用户参考图最相似的风格选项，让用户和 Agent 之间建立"共同语言"。

更进一步，Agent 会观察用户的微信号（micro signals）——比如鼠标悬停、点击方向，并据此实时更新对用户风格偏好的置信度模型。

微信号如鼠标悬停时长、滚动速度、点击顺序等，属于推荐系统中"隐式反馈（Implicit Feedback）"的范畴。与用户主动给出的评分或评价（显式反馈）不同，隐式反馈是用户在不经意间产生的行为数据，但往往更真实地反映用户偏好。Netflix早期的研究发现，用户的实际观看行为比他们给出的评分更能预测未来偏好。在Agent场景中，如果用户在某张沙发图片上悬停了3秒而对其他图片只停留0.5秒，这个微信号的信息量可能比用户主动说出的"我喜欢这个"还要大——因为它未经过用户的理性过滤，更接近本能反应。当然，微信号的噪声也更大，因此需要与其他信号综合加权，这正是置信度模型实时更新的价值所在。

研究阶段的三维评估体系

这一阶段的自动评分器关注三个维度：

• 隐藏偏好发现效率：用用户模拟器（user simulator）注入约束，观察 Agent 挖掘这些约束的效率。用户模拟器是近年来AI Agent评估领域的重要工具创新——传统的Agent评估依赖真人用户测试，成本高、周期长且难以标准化。用户模拟器通过大语言模型扮演具有特定偏好和行为模式的"虚拟用户"，可以大规模、自动化地测试Agent的表现。在Google DeepMind的方案中，模拟器被预先注入了特定的隐藏约束（如"偏好蓝色""预算不超过5000元"），然后观察Agent需要多少轮对话才能挖掘出这些约束。这种方法借鉴了对话系统研究中的"议程驱动用户模拟（Agenda-based User Simulation）"框架，但LLM的加入使得模拟器的回答更加自然多样。
• 轮次效率（turn efficiency）：用多少轮对话就能揭示所有隐藏偏好，避免反复兜圈；
• 格式选择准确率（format selection accuracy）：Agent 是否用对了提问格式——容易陈述的问题用文字，存在表达鸿沟的模糊问题则用视觉锚点。

响应阶段：自适应塑造答案的呈现形态

当 Agent 已经掌握风格偏好、预算约束和相关维度后，最后一步是决定如何呈现答案。这也是许多推荐系统失败的地方——它们只会甩出一大段文字。

Nidhi 强调，响应格式本身就是智能的一部分。Agent 应根据查询类型自适应地选择呈现方式：

• 查询产品政策或评价 → 用摘要或要点列表；
• 对比两款产品 → 用权衡表 / 对比表；
• 寻找风格灵感 → 用视觉参考图与产品灵感照片。

评估响应阶段的自动评分器聚焦三点：格式准确率（信息不应被埋没，用户要一眼看到）、数据保真度（data fidelity）（模型不能产生幻觉，信息要准确完整）、以及用户可操作性（user actionability）（响应格式要让用户有信心进入下一步——完成购买）。

数据保真度的强调直接指向了大语言模型最被诟病的问题之一——幻觉（Hallucination）。幻觉指模型生成的内容看起来流畅合理，但实际上包含虚构的事实或数据。在电商推荐场景中，幻觉的代价尤为严重：如果Agent错误地宣称某款沙发"支持免费退换"或"获得了4.8星评分"，而实际情况并非如此，不仅损害用户信任，还可能引发法律风险。当前业界应对幻觉的主流方案包括检索增强生成（RAG）——让模型基于检索到的真实产品数据生成回答；事实核查层——在输出前自动比对生成内容与源数据库；以及引用溯源——在回答中标注信息来源。Google DeepMind的自动评分器中专门设置数据保真度维度，说明他们将这一问题视为产品可用性的硬门槛。

协作Agent的四条核心设计原则

Nidhi 最后将整套方法论浓缩为四条可落地的设计原则：

1. 准备好接受"vibes"：用户会带着模糊意图而来，系统必须能处理不干净的查询；
2. 多展示、少追问（show and ask）：视觉和对比能比文字更快揭示偏好，让 Agent 与用户说"同一种语言"；
3. 塑造答案（shape the answer）：呈现格式要利于用户快速找到关键信息，模型的响应结构也是智能的一部分；
4. 给整个循环打分（grade the loop）：在每一步都建立自动评分器，且这套评分体系应随系统一起演进——从简单开始，逐步成长。

商家本体结构与人机协作的工程思考

在问答环节，Nidhi 还透露了几个值得关注的工程与产品判断：

在商家本体结构上，Google DeepMind 大量借助商家的领域专业知识来构建"约束-元数据"的映射桥梁，并结合近期推出的 UCP 协议，让商家能与 Agent 说"同一种语言"。

UCP协议（Unified Commerce Protocol，统一商务协议）是Google近期推出的一项标准化协议，旨在为AI Agent与电商系统之间建立统一的数据交互规范。类似于API在软件系统间的角色，UCP定义了商品信息、库存状态、价格策略、退换政策等数据的标准化格式和交互流程。这与Shopify的MCP（Merchant Commerce Protocol）等行业动向形成呼应，反映了一个正在形成的行业共识：当AI Agent成为新的购物入口时，商家需要一种标准化方式向Agent"描述自己"。没有这种标准化协议，每个Agent都需要为每个商家做定制化对接，这在规模化时显然不可行。

不过，响应格式的决策权目前完全归 Agent 所有，商家无权决定——目的是在所有商家之上建立一个统一的横向体验层。

关于人机分工，用户研究揭示了一个有趣现象：在购物漏斗的上层（发现、灵感、探索阶段），用户更希望亲自参与、深度互动；而在下层（比价、对比、议价），用户才更愿意交给 Agent 代劳。

购物漏斗（Shopping Funnel）是市场营销领域的经典模型，通常包含"认知→兴趣→考虑→意向→评估→购买"等阶段。Nidhi的发现挑战了许多AI创业者"全自动化"的愿景：用户在漏斗上层反而更希望亲自参与。这与心理学中的"自主性需求（Need for Autonomy）"理论一致——人类在做涉及个人品味和价值观的决策时，天然希望保持控制感。这一发现也呼应了MIT研究者Erik Brynjolfsson的"增强（Augmentation）vs. 替代（Automation）"框架：最成功的AI应用不是替代人类决策，而是增强人类的决策能力。在实际产品设计中，这意味着Agent在探索阶段应扮演"灵感激发者"和"信息整理者"的角色，而非"决策代理人"；只有在用户明确表达委托意愿的下游任务中，才切换到全自动模式。

这一发现对所有做消费级 Agent 的团队都有借鉴意义——不要试图替用户包办一切，尤其是在探索阶段。

核心要点