概念
Mean-SVD
一种从模型激活中提取语言子空间的方法,通过对不同语言的激活均值向量做奇异值分解(SVD),取主要奇异向量作为语言方向
时间轴 (近 90 天)
11月4日
研究采用了两种构建语言子空间的方法:已有的Mean-SVD构造,以及作者提出的DiffPCA。
待验证50%
11月4日
Mean-SVD和DiffPCA两种子空间都捕获了相当程度的翻译相关变异,并且在不同模型深度上表现出相似的模式。
待验证50%
11月4日
投影掉Mean-SVD或DiffPCA子空间后,线性探针几乎仍能完美识别语言,说明这两种方法都没有穷尽性地捕获语言信息。
待验证50%