概念
跨位置监督迁移
在自回归模型中,对某一响应位置的监督信号能改善模型在其他位置(尤其邻近或更深)的预测质量,源于共享底层表示和参数。
时间轴 (近 90 天)
11月17日
在自回归模型中,不同响应位置的梯度更新共享底层表示与参数,因此对某个深层 token 的监督可以迁移到其他位置,这一现象称为跨位置监督迁移。
待验证50%
在自回归模型中,对某一响应位置的监督信号能改善模型在其他位置(尤其邻近或更深)的预测质量,源于共享底层表示和参数。
在自回归模型中,不同响应位置的梯度更新共享底层表示与参数,因此对某个深层 token 的监督可以迁移到其他位置,这一现象称为跨位置监督迁移。