[控场AI]
概念

DiffPCA

一种从模型激活中提取语言子空间的方法,先计算同一语义在不同语言下的激活差异,再对差异矩阵做PCA以捕获语言转换方向

时间轴 (近 90 天)

11月4日

研究采用了两种构建语言子空间的方法:已有的Mean-SVD构造,以及作者提出的DiffPCA。

待验证50%
11月4日

Mean-SVD和DiffPCA两种子空间都捕获了相当程度的翻译相关变异,并且在不同模型深度上表现出相似的模式。

待验证50%
11月4日

投影掉Mean-SVD或DiffPCA子空间后,线性探针几乎仍能完美识别语言,说明这两种方法都没有穷尽性地捕获语言信息。

待验证50%

全部知识事实 (3)

来源文章