Sona
Yandex Music研究团队开发的生成式推荐模型，基于单个Transformer架构，集成候选生成、预排序与排序功能，使用语义ID和History Compression技术处理长用户行为序列
时间轴 (近 90 天)
Sona的教师模型并不直接上线服务，而是把打分知识蒸馏到线上的排序模块中，以缓解用户点赞点踩稀少导致的排序监督信号稀疏问题
Yandex研究团队推出了名为Sona的生成式音乐推荐系统，直接从原始交互日志中学习，无需任何人工设计的特征
Sona已经在Yandex的生产环境中进行A/B测试，而非停留在论文阶段
Sona的核心思路是让解码器直接生成分配给每首曲目的Semantic ID，而非在海量曲库中做传统的相似度召回
Sona的离线分词器以被冻结的Qwen2.5-Omni多模态模型为起点，接收曲目前90秒的梅尔频谱图和曲目元数据两类输入
Sona在Qwen输出的隐藏状态之上叠加一个4层的Transformer来进一步精炼表示
Sona分词器的训练采用InfoNCE对比损失，使用两类正样本配对信号：不同艺人同一推荐响应中共现的曲目，以及同一艺人在三个月窗口内高共同收听NPMI的曲目
Sona通过残差K-means将连续嵌入转换为三个码组成的元组，每一层级有32,000个聚类中心
Sona设置了第二个损失项，用于约束每个嵌入向量与曲目自身的内容特征保持接近，以防止嵌入过度偏向行为信号而丢失声学语义
Sona评估分词器质量的方式是针对不同分词器变体重新训练检索模型，并在留出请求集上测量召回率，以下游推荐效果衡量分词器好坏
还有 13 条时间轴事件
全部知识事实 (20)
Sona的教师模型并不直接上线服务，而是把打分知识蒸馏到线上的排序模块中，以缓解用户点赞点踩稀少导致的排序监督信号稀疏问题
50%待验证Yandex研究团队推出了名为Sona的生成式音乐推荐系统，直接从原始交互日志中学习，无需任何人工设计的特征
50%待验证Sona已经在Yandex的生产环境中进行A/B测试，而非停留在论文阶段
50%待验证Sona的核心思路是让解码器直接生成分配给每首曲目的Semantic ID，而非在海量曲库中做传统的相似度召回
50%待验证Sona的离线分词器以被冻结的Qwen2.5-Omni多模态模型为起点，接收曲目前90秒的梅尔频谱图和曲目元数据两类输入
50%待验证Sona在Qwen输出的隐藏状态之上叠加一个4层的Transformer来进一步精炼表示
50%待验证Sona分词器的训练采用InfoNCE对比损失，使用两类正样本配对信号：不同艺人同一推荐响应中共现的曲目，以及同一艺人在三个月窗口内高共同收听NPMI的曲目
50%待验证Sona通过残差K-means将连续嵌入转换为三个码组成的元组，每一层级有32,000个聚类中心
50%待验证Sona设置了第二个损失项，用于约束每个嵌入向量与曲目自身的内容特征保持接近，以防止嵌入过度偏向行为信号而丢失声学语义
50%待验证Sona评估分词器质量的方式是针对不同分词器变体重新训练检索模型，并在留出请求集上测量召回率，以下游推荐效果衡量分词器好坏
50%待验证Sona选择仅使用音频的CLMR作为对比基线，以检验音频加元数据加行为对比学习相较于纯音频表征的增益
50%待验证Sona训练了一个独立且更大的Teacher Ranker，使用整整一年的日志数据，训练分两步：先做下一曲预测，再做多头排序
50%待验证Yandex Music研究团队用单个Transformer模型Sona取代了生产环境中15个以上的候选生成器、预排序模型和排序模型
50%待验证Sona能够读取多达8,192个用户行为事件
50%待验证Sona的History Compression机制将推理成本大致降低了一半
50%待验证两段历史通过交叉注意力和一层覆盖完整历史的自注意力层交换信息，后续7层Transformer堆栈只在最近2,048个事件上运行
50%待验证Sona的解码器和排序模块读取同一份编码器输出，因此每个请求只需运行一次编码器
50%待验证Sona通过束搜索生成候选项，产出形式为语义ID（Semantic IDs）并立即打分
50%待验证Sona的A/B测试在Yandex Music智能音箱场景下进行，持续7天，每个实验组覆盖15%的用户
50%待验证Sona在A/B测试中活跃用户数提升+4.53%，总收听时长提升+6.30%，两项指标均达到p<0.01显著性水平
50%