SimRec
一个基于强化学习的推荐Agent训练框架,将工具集成型推荐Agent的完整交互策略(搜索、追问、重推荐)作为优化对象,采用任务锚定的用户模拟器和任务对齐的奖励,并用GRPO优化整条轨迹。
时间轴 (近 90 天)
SimRec 是一个强化学习框架,目标是把工具集成型推荐 Agent 的完整交互策略训练出来,而不是分别调优搜索、排序、追问各个模块。
SimRec 引入了任务锚定的用户模拟器,它不依赖用户画像,而是以当前任务需求为条件进行反馈。
SimRec 的任务对齐奖励使用 GRPO 优化整条轨迹,奖励包括最终命中结果、自然检索质量和有效的工具使用。
SimRec 采用仅训练时使用的目标注入机制来缓解稀疏奖励问题。
目标注入的做法是在训练时向 Agent 或模拟器额外提供关于目标商品的部分信息(例如类别、属性关键词等),人为提高任务的可达性,且仅在训练时使用,推理阶段完全移除。
在 ESCI 数据集上,SimRec 将一个 Qwen3-4B Agent 的 NDCG@100 从 32.23% 提升到 35.42%。
训练后的 4B 模型在 NDCG 上超过了参数量大得多的无训练 Agent,也优于任务对齐的基线方法。
训练后的 Agent 在三个行为上明显更频繁:验证候选商品、利用用户偏好、以及在被拒绝的推荐后恢复并给出新方案。
SimRec 的代码已开放在 https://github.com/ZJU-REAL/SimRec。
模拟器与真实用户的差距、以及自博弈模式下的反馈质量,仍是这类方法在落地时需要持续验证的部分。
全部知识事实 (10)
模拟器与真实用户的差距、以及自博弈模式下的反馈质量,仍是这类方法在落地时需要持续验证的部分。
50%待验证SimRec 引入了任务锚定的用户模拟器,它不依赖用户画像,而是以当前任务需求为条件进行反馈。
50%待验证SimRec 的任务对齐奖励使用 GRPO 优化整条轨迹,奖励包括最终命中结果、自然检索质量和有效的工具使用。
50%待验证SimRec 采用仅训练时使用的目标注入机制来缓解稀疏奖励问题。
50%待验证目标注入的做法是在训练时向 Agent 或模拟器额外提供关于目标商品的部分信息(例如类别、属性关键词等),人为提高任务的可达性,且仅在训练时使用,推理阶段完全移除。
50%待验证在 ESCI 数据集上,SimRec 将一个 Qwen3-4B Agent 的 NDCG@100 从 32.23% 提升到 35.42%。
50%待验证训练后的 4B 模型在 NDCG 上超过了参数量大得多的无训练 Agent,也优于任务对齐的基线方法。
50%待验证训练后的 Agent 在三个行为上明显更频繁:验证候选商品、利用用户偏好、以及在被拒绝的推荐后恢复并给出新方案。
50%待验证SimRec 是一个强化学习框架,目标是把工具集成型推荐 Agent 的完整交互策略训练出来,而不是分别调优搜索、排序、追问各个模块。
50%待验证SimRec 的代码已开放在 https://github.com/ZJU-REAL/SimRec。
50%