概念similarity distribution matching
相似性分布匹配
SimOPD的核心操作,通过KL散度或交叉熵损失让学生表示空间中的相似性分布逼近教师表示空间中的相似性分布,只约束相对距离结构而不要求逐点特征对齐。
时间轴 (近 90 天)
10月19日
SimOPD的核心操作是让学生模型输出的响应表示所诱导的相似性分布逼近教师模型内部表示所诱导的相似性分布,使用KL散度或交叉熵损失拉近两个分布。
待验证50%
SimOPD的核心操作,通过KL散度或交叉熵损失让学生表示空间中的相似性分布逼近教师表示空间中的相似性分布,只约束相对距离结构而不要求逐点特征对齐。
SimOPD的核心操作是让学生模型输出的响应表示所诱导的相似性分布逼近教师模型内部表示所诱导的相似性分布,使用KL散度或交叉熵损失拉近两个分布。