SimOPD
一种在线策略蒸馏方法，通过匹配学生与教师表示空间中的相似性分布来传递知识，无需投影层即可实现跨架构蒸馏。
时间轴 (近 90 天)
论文《SimOPD: Relational Knowledge Transfer for On-Policy Distillation》提出SimOPD方法，借鉴对比学习中对实例间关系的利用，通过学生生成响应的相似性来传递教师的内部知识。
实验显示，SimOPD在相同架构设置下比最强基线平均提升2.6个百分点，在跨架构设置下平均提升3.1个百分点。
SimOPD维护一对配对记忆库（paired memory banks），存储学生生成的响应及其对应的教师内部表示，并从中提取教师表示空间中响应间的相似性分布作为关系型监督信号。
SimOPD的核心操作是让学生模型输出的响应表示所诱导的相似性分布逼近教师模型内部表示所诱导的相似性分布，使用KL散度或交叉熵损失拉近两个分布。
SimOPD的设计使学生无需将表示投影到教师空间，只需保持与教师一致的相对距离结构，从而保留学生表示空间的自由度，消除跨模型投影的需要，使跨架构蒸馏变得直接。
在对比学习（如MoCo）中，记忆库用于存储大量负样本的特征，以在有限批次下计算更稳定的对比损失；SimOPD将其改造为配对形式，同时存储学生生成的响应序列及其对应的教师内部表示。
跨架构场景下SimOPD提升幅度（3.1个百分点）大于相同架构场景（2.6个百分点），说明SimOPD缓解了特征空间不匹配的问题。
论文进行了消融研究，验证了配对记忆库设计、相似性分布匹配等组件的必要性。
SimOPD引入了记忆库和相似性计算的开销，如何在大规模场景下高效实现是未来值得探索的方向。
全部知识事实 (9)
论文《SimOPD: Relational Knowledge Transfer for On-Policy Distillation》提出SimOPD方法，借鉴对比学习中对实例间关系的利用，通过学生生成响应的相似性来传递教师的内部知识。
50%待验证实验显示，SimOPD在相同架构设置下比最强基线平均提升2.6个百分点，在跨架构设置下平均提升3.1个百分点。
50%待验证SimOPD维护一对配对记忆库（paired memory banks），存储学生生成的响应及其对应的教师内部表示，并从中提取教师表示空间中响应间的相似性分布作为关系型监督信号。
50%待验证SimOPD的核心操作是让学生模型输出的响应表示所诱导的相似性分布逼近教师模型内部表示所诱导的相似性分布，使用KL散度或交叉熵损失拉近两个分布。
50%待验证SimOPD的设计使学生无需将表示投影到教师空间，只需保持与教师一致的相对距离结构，从而保留学生表示空间的自由度，消除跨模型投影的需要，使跨架构蒸馏变得直接。
50%待验证在对比学习（如MoCo）中，记忆库用于存储大量负样本的特征，以在有限批次下计算更稳定的对比损失；SimOPD将其改造为配对形式，同时存储学生生成的响应序列及其对应的教师内部表示。
50%待验证跨架构场景下SimOPD提升幅度（3.1个百分点）大于相同架构场景（2.6个百分点），说明SimOPD缓解了特征空间不匹配的问题。
50%待验证论文进行了消融研究，验证了配对记忆库设计、相似性分布匹配等组件的必要性。
50%待验证SimOPD引入了记忆库和相似性计算的开销，如何在大规模场景下高效实现是未来值得探索的方向。
50%