跨物品与编码空间的知识蒸馏：并行生成式推荐新方法

生成式推荐系统正逐渐成为序列推荐的主流范式，其中语义ID（Semantic ID）通过将物品表示为离散编码序列，并直接预测这些编码来生成推荐结果。然而，现有语义ID推荐模型通常仅使用观测到的下一个物品的硬标签进行训练，这种监督信号虽然能指明目标物品，却无法提供同一用户历史条件下其他候选物品的分布信息。来自序列推荐模型的软标签知识可以弥补这一缺陷，但如何将物品空间的教师知识迁移到编码空间的学生模型，仍是一个关键挑战。

本文介绍一种针对并行语义ID推荐器的新型知识蒸馏框架，通过两个互补的蒸馏目标——物品分布匹配（IDM）与编码边际匹配（CMM），将教师模型的物品级预测知识有效传递给学生模型，同时保持其并行预测结构。实验表明，该方法在多个基准数据集上显著优于现有最先进方案。

语义ID推荐与知识蒸馏的融合难题

语义ID推荐的核心思想是将物品的语义表示（如文本描述、图像特征）通过量化或聚类转化为离散编码序列。例如，一个物品可能被表示为[12, 45, 78]这样的编码组合。生成式模型通过预测这些编码来推荐物品，避免了传统推荐中大规模物品ID的嵌入表开销。

然而，当前训练方式存在明显局限：模型仅通过下一个物品的硬标签进行监督，即只告诉模型“应该预测哪个编码序列”，却不提供“其他物品有多大概率被选中”的分布信息。相比之下，传统序列推荐模型（如基于Softmax的模型）能够输出完整的物品概率分布，这种软标签包含了丰富的负样本信息和物品间的相对关系，对提升推荐质量具有重要价值。

难点在于，教师模型在物品空间输出概率分布，而学生模型在编码空间进行并行预测——两者空间不一致，无法直接对齐。此外，并行预测结构意味着学生模型同时预测所有编码位置，而非自回归地逐位生成，这进一步增加了知识迁移的复杂度。

语义ID的生成与量化

语义ID通常通过对物品的稠密语义表示（如文本嵌入或视觉特征）进行量化得到。常见做法包括：使用K-means等聚类算法将连续表示离散化为多个码本中的索引，或采用残差量化（RQ）与乘积量化（PQ）等技术将高维向量分解为多个低维子向量的编码组合。例如，一个物品的语义ID可能由多个码本中的索引拼接而成，如[12, 45, 78]，每个索引对应一个码本中的聚类中心。这种离散化过程保留了物品间的语义相似性，同时将物品映射到紧凑的编码空间，便于生成式模型直接预测编码序列。理解这一生成机制有助于把握IDM和CMM中“固定的物品到编码映射”的含义，即每个物品对应一个确定的编码元组，从而支持从编码概率重建物品概率。

双路蒸馏：IDM与CMM的设计思路

为解决上述难题，研究者提出了两个互补的知识蒸馏目标，分别从不同角度实现跨空间的知识迁移。

物品分布匹配（IDM）

IDM的核心思路是：从学生模型的并行编码预测中重建目录级的物品分布，然后将其与教师模型的物品分布对齐。具体而言，学生模型输出每个编码位置的概率分布，IDM通过固定的物品到编码的映射关系，将各位置的编码概率组合起来，计算出每个候选物品的联合概率。这一重建过程保持了学生模型的并行预测结构，同时将编码空间的预测转换为物品空间的分布。随后，IDM使用KL散度等度量来最小化学生重建分布与教师分布之间的差异。

这种方法的优势在于，它直接在物品空间进行对齐，充分利用了教师模型提供的完整软标签信息。重建的物品分布不仅包含了目标物品的概率，还保留了所有候选物品的相对概率，从而为学生模型提供了更丰富的监督信号。

KL散度与软标签蒸馏

KL散度（Kullback-Leibler divergence）是衡量两个概率分布差异的常用指标，在知识蒸馏中常作为损失函数。给定教师分布p和學生重建分布q，KL散度定义为Σ p(x) log(p(x)/q(x))，它衡量用q近似p时损失的信息量。在IDM中，最小化KL散度等价于让学生重建的物品分布尽可能接近教师的软标签分布。软标签不仅包含目标物品的高概率，还保留了其他候选物品的相对概率，提供了比硬标签更丰富的监督信号。这种软标签蒸馏在传统推荐模型中已被证明能有效提升泛化能力，IDM将其引入语义ID推荐，解决了跨空间对齐的难题。

编码边际匹配（CMM）

CMM则从另一个角度切入：将教师模型的物品概率投影到每个编码位置上，得到编码边际分布，然后与学生模型对应编码头的输出进行匹配。给定固定的物品到编码的分配关系，教师对每个物品的概率可以累加到每个编码位置上，形成该位置的边际概率分布。例如，编码位置1上取值为12的概率，等于所有包含编码12的物品的教师概率之和。

CMM将教师知识分解到各个编码位置，使学生模型的每个编码头都能接收到来自教师模型的软监督。这种方法更直接地作用于编码空间，与并行预测结构天然兼容，且计算效率较高。

两个目标互为补充：IDM在物品空间进行全局对齐，CMM在编码空间进行局部对齐，共同构成一个完整的蒸馏框架。

边际分布与并行预测

边际分布是指从联合分布中忽略其他变量后得到的单个变量的分布。在CMM中，教师模型输出的是物品空间的联合概率分布，而学生模型并行预测每个编码位置。CMM通过固定的物品到编码映射，将教师对每个物品的概率累加到每个编码位置的每个取值上，得到编码边际分布。例如，编码位置1取值为12的边际概率等于所有包含编码12的物品的教师概率之和。这样，教师知识被分解到各个编码位置，学生模型的每个编码头可以独立地与对应的边际分布对齐。这种方法与并行预测结构天然兼容，因为并行预测正是同时输出各位置的分布，无需自回归依赖，计算效率高且易于实现。

实验验证：显著超越现有方法

研究者在多个基准数据集上进行了实验，将IDM和CMM与现有最先进的语义ID推荐方法进行比较。结果显示，两种蒸馏方法均 consistently 优于基线。

具体而言，IDM在Recall@10指标上平均提升15.39%，而CMM在NDCG@10指标上平均提升8.28%。这一结果表明，无论是在重建的物品空间还是编码边际空间进行蒸馏，都能显著增强硬标签监督的效果。你可能没注意到，两个目标在不同指标上各有优势：IDM更擅长提升召回率，说明重建物品分布有助于模型覆盖更多相关物品；CMM则在排序质量（NDCG）上表现更好，表明编码边际匹配能更精细地优化排序。

实验还验证了蒸馏框架的通用性：该方法可以应用于不同的并行语义ID推荐器架构，且不改变学生模型原有的并行预测结构，便于实际部署。

对生成式推荐领域的启示

这项工作的价值不仅在于提出了两个有效的蒸馏目标，更在于为生成式推荐中的知识迁移提供了新思路。随着生成式推荐逐渐从自回归生成转向并行生成以提升效率，如何在这种新结构下充分利用传统推荐模型的软标签知识，成为一个亟待解决的问题。IDM和CMM分别从物品空间和编码空间给出了答案，证明了跨空间蒸馏的可行性。

未来，这一框架有望扩展到更多模态的语义ID生成场景，例如多模态物品表示、跨域推荐等。同时，如何自适应地结合IDM和CMM，或设计更高效的蒸馏策略，也值得进一步探索。对于工业级推荐系统而言，该方法提供了一种低成本提升现有并行生成式模型性能的途径，具有较高的实用价值。