[控场AI]
概念

Mean-SVD

一种从模型激活中提取语言子空间的方法,通过对不同语言的激活均值向量做奇异值分解(SVD),取主要奇异向量作为语言方向

时间轴 (近 90 天)

11月4日

研究采用了两种构建语言子空间的方法:已有的Mean-SVD构造,以及作者提出的DiffPCA。

待验证50%
11月4日

Mean-SVD和DiffPCA两种子空间都捕获了相当程度的翻译相关变异,并且在不同模型深度上表现出相似的模式。

待验证50%
11月4日

投影掉Mean-SVD或DiffPCA子空间后,线性探针几乎仍能完美识别语言,说明这两种方法都没有穷尽性地捕获语言信息。

待验证50%

全部知识事实 (3)

来源文章