生成式推荐
借鉴大语言模型建模思路的推荐系统新范式,将用户历史交互行为视为序列,以自回归方式直接预测下一个感兴趣物品,将推荐问题统一到生成范式下,可复用注意力机制和大规模分布式训练推理能力
时间轴 (近 90 天)
对于正在搭建或调优生成式推荐系统的团队,检查训练目标是否浪费了物品表示中的结构信息是最容易被忽略也最容易改进的地方。
现有生成式推荐方法大多只使用标准的因果交叉熵目标来优化语义ID预测,忽略了语义ID本身的层级结构。
语义ID的质量直接决定了生成式推荐的上限,因为它既是输入表示,也是生成目标。
生成式推荐的核心思路是把物品编码成语义ID,再用自回归方式逐层生成这些ID。
生成式推荐系统借鉴大语言模型的建模思路,将用户行为序列作为生成任务处理,用自回归方式预测下一个可能感兴趣的物品
生成式推荐通过KV Cache复用(缓存已计算的用户历史序列键值向量)避免重复计算,降低推理延迟并提升GPU利用率
生成式推荐落地时需在模型规模扩大带来的算力成本与实时场景的延迟要求之间进行权衡
生成式推荐有望成为下一代大规模个性化系统的主流方向之一
全部知识事实 (8)
对于正在搭建或调优生成式推荐系统的团队,检查训练目标是否浪费了物品表示中的结构信息是最容易被忽略也最容易改进的地方。
50%待验证现有生成式推荐方法大多只使用标准的因果交叉熵目标来优化语义ID预测,忽略了语义ID本身的层级结构。
50%待验证语义ID的质量直接决定了生成式推荐的上限,因为它既是输入表示,也是生成目标。
50%待验证生成式推荐的核心思路是把物品编码成语义ID,再用自回归方式逐层生成这些ID。
50%待验证生成式推荐系统借鉴大语言模型的建模思路,将用户行为序列作为生成任务处理,用自回归方式预测下一个可能感兴趣的物品
50%待验证生成式推荐通过KV Cache复用(缓存已计算的用户历史序列键值向量)避免重复计算,降低推理延迟并提升GPU利用率
50%待验证生成式推荐落地时需在模型规模扩大带来的算力成本与实时场景的延迟要求之间进行权衡
50%待验证生成式推荐有望成为下一代大规模个性化系统的主流方向之一
50%