[控场AI]
· 4 分钟阅读· 2,381 字

SimRec:强化学习重塑推荐Agent的搜索与追问策略

SimRec:强化学习重塑推荐Agent的搜索与追问策略

SimRec用强化学习训练推荐Agent的完整交互策略,小模型超越大模型无训练Agent。

SimRec 是一个强化学习框架,旨在将工具集成型推荐 Agent 的完整交互策略作为优化对象,而非分别调优查询改写、排序等孤立模块。它引入任务锚定的用户模拟器(以任务需求而非用户画像为条件提供反馈)和任务对齐的奖励(用 GRPO 优化整条轨迹,并采用仅训练时使用的目标注入缓解稀疏奖励)。在 ESCI 和 Amazon C4 数据集上,Qwen3-4B 的 NDCG@100 分别从 32.23% 提升至 35.42%、从 22.94% 提升至 24.72%,超过参数量更大的无训练 Agent。训练后的 Agent 更频繁地验证候选、利用偏好并从被拒推荐中恢复。代码已开源。

推荐系统正在从「猜你喜欢」走向「边聊边找」。当大模型被赋予搜索商品库、查看详情、向用户追问、甚至在被拒绝后重新推荐的能力时,一个更根本的问题浮现出来:这些行为由谁来决定?目前多数方案依赖人工设计的工作流,训练时也只优化查询改写或列表排序这样的孤立环节,交互策略作为一个整体反而无人负责。SimRec 试图补上这一块。

SimRec 原始来源截图

从组件优化到策略优化

SimRec 是一个强化学习框架,目标是把工具集成型推荐 Agent 的完整交互策略训练出来,而不是分别调优搜索、排序、追问各个模块。

现有训练方法的问题在于割裂:负责改写查询的模块只对改写质量负责,负责排序的模块只对列表好坏负责,但一次推荐对话中「什么时候该追问、什么时候该直接给结果、被拒绝后怎么调整」这类决策,没有统一的优化目标。SimRec 把整条轨迹作为优化对象,让 Agent 在一次完整交互中学习如何组合这些工具调用。

这个思路的转变意味着奖励信号也要重新设计——不能只看最终是否命中,还要覆盖检索过程和工具使用是否合理。

两个关键设计:任务锚定的用户模拟器与任务对齐的奖励

SimRec 引入了两个核心组件。

任务锚定的用户模拟器负责对每一次推荐给出反馈。它的特点是不依赖用户画像,而是以当前任务需求为条件进行回应。这意味着模拟器判断「这条推荐是否满足需求」而不是「这条推荐是否符合某个用户的历史偏好」。模拟器可以是外部 LLM,也可以在自博弈模式下由推荐器自身扮演。

任务对齐的奖励则用 GRPO 优化整条轨迹。奖励不只看最终的命中结果,还把自然检索质量和有效的工具使用一并计入。由于大目录下命中信号往往稀疏,SimRec 采用了仅训练时使用的目标注入机制来缓解这一问题。

两个设计合起来解决了训练信号的两个来源:用户侧的即时反馈和任务层面的整体评估。

GRPO(Group Relative Policy Optimization) 是一种强化学习算法,属于 PPO(Proximal Policy Optimization)的变体,专为大型语言模型的对齐训练设计。与 PPO 需要单独训练价值网络(critic)不同,GRPO 通过对同一输入采样一组输出(group),利用组内奖励的均值和标准差对优势函数进行归一化估计,从而省去价值模型,显著降低显存和计算开销。在 SimRec 中,GRPO 被用于优化整条推荐交互轨迹:每次采样多条完整对话路径,根据任务对齐奖励计算相对优势,再更新策略。这种组内相对比较的方式天然适合稀疏奖励场景——即便绝对奖励值不高,只要组内存在差异,策略仍能获得有效的学习信号。

目标注入(goal injection) 是 SimRec 在训练阶段引入的一种缓解稀疏奖励的机制。在大型商品目录中,Agent 通过多轮交互最终命中正确商品的概率很低,导致基于最终命中结果的奖励信号极为稀疏,策略难以有效学习。目标注入的做法是在训练时向 Agent 或模拟器额外提供关于目标商品的部分信息(例如类别、属性关键词等),人为提高任务的可达性,使轨迹中能更频繁地出现正向信号。关键在于该机制仅在训练时使用,推理阶段完全移除,因此不会造成信息泄漏或降低实际部署时的任务难度。这一思路与课程学习(curriculum learning)有相通之处:先让模型在较易的任务上学会有效行为,再泛化到困难场景。

效果:小模型超过大模型的无训练Agent

在 ESCI 和 Amazon C4 两个数据集上,SimRec 将一个 Qwen3-4B Agent 的 NDCG@100 从 32.23% 提升到 35.42%,在 Amazon C4 上从 22.94% 提升到 24.72%。

更值得关注的是对比结果:这个训练后的 4B 模型在 NDCG 上超过了参数量大得多的无训练 Agent,也优于任务对齐的基线方法。参数规模不是唯一变量,交互策略的训练质量同样能带来可观的收益。

分析还显示,训练后的 Agent 在三个行为上明显更频繁:验证候选商品、利用用户偏好、以及在被拒绝的推荐后恢复并给出新方案。这些正是「会搜索、会追问」的具体表现,也是手写工作流难以覆盖的细节。

NDCG@100(Normalized Discounted Cumulative Gain at 100) 是信息检索与推荐系统中常用的排序质量评估指标。它衡量的是前 100 个推荐结果的相关性排序质量:每个位置上的相关性得分按位置折损(越靠后权重越低),再与理想排序(按相关性降序排列)的折损累积值相除做归一化,最终取值在 0 到 1 之间。NDCG@100 越高,说明高相关性的商品被排在越靠前的位置。在 SimRec 的实验中,NDCG@100 被用来评估 Agent 最终给出的推荐列表质量,因此指标从 32.23% 提升到 35.42% 意味着在 Top-100 的推荐中,相关商品整体上被更靠前地呈现,对用户体验有直接意义。

对推荐Agent开发的启示

SimRec 的价值不只在指标提升。它提示了一条路径:与其为 Agent 编写越来越复杂的交互流程,不如把交互策略本身作为学习对象,用模拟反馈和轨迹级奖励去训练它。

代码已开放在 https://github.com/ZJU-REAL/SimRec ,对希望复现或在此基础上做推荐 Agent 训练的团队来说,这是一个可直接上手的起点。当然,模拟器与真实用户的差距、以及自博弈模式下的反馈质量,仍是这类方法在落地时需要持续验证的部分。

#SimRec#推荐Agent#强化学习推荐#交互策略#GRPO#用户模拟器#LLM推荐系统
分享:

相关推荐