[控场AI]
概念

跨位置监督迁移

在自回归模型中,对某一响应位置的监督信号能改善模型在其他位置(尤其邻近或更深)的预测质量,源于共享底层表示和参数。

时间轴 (近 90 天)

11月17日

在自回归模型中,不同响应位置的梯度更新共享底层表示与参数,因此对某个深层 token 的监督可以迁移到其他位置,这一现象称为跨位置监督迁移。

待验证50%

全部知识事实 (1)

来源文章