概念Null Space
零空间
线性代数中矩阵零空间指所有被该矩阵映射为零向量的向量集合,与矩阵行空间正交
时间轴 (近 90 天)
10月28日
对投影矩阵 W 做 SVD 分解,得到 512 个非零奇异值对应的文本子空间和 256 个零奇异值对应的零空间方向。
待验证50%
10月28日
将音频特征投影到零空间方向后,与所有文本向量的点积为零,天然不干扰文本嵌入。
待验证50%
10月28日
如果实际训练仅限制在零空间的正交补(U_perp)上,性能还有望进一步提升。
待验证50%
线性代数中矩阵零空间指所有被该矩阵映射为零向量的向量集合,与矩阵行空间正交
对投影矩阵 W 做 SVD 分解,得到 512 个非零奇异值对应的文本子空间和 256 个零奇异值对应的零空间方向。
将音频特征投影到零空间方向后,与所有文本向量的点积为零,天然不干扰文本嵌入。
如果实际训练仅限制在零空间的正交补(U_perp)上,性能还有望进一步提升。