概念Subspace Locking
子空间锁定
模型训练中将不同领域能力编码到表示空间中相对固定且分离的子空间的现象,早期形成的子空间难以重新分配或跨域共享,导致表示空间利用率下降
时间轴 (近 90 天)
11月13日
在空间维度上,研究者总结了域内和跨域的两类子空间锁定现象。
待验证50%
11月13日
子空间锁定指模型在训练中将不同领域的能力编码到表示空间中相对固定且分离的子空间里的现象,一旦早期形成,后续训练难以重新分配或共享。
待验证50%
11月13日
子空间锁定的概念借鉴了表示学习中关于特征子空间和任务干扰的研究,为理解多任务学习的负迁移提供了几何视角。
待验证50%