概念subspace crystallization
子空间结晶
顿悟过程中网络权重矩阵将关键信息浓缩到少数顶部奇异方向所张成的低维子空间的现象。
时间轴 (近 90 天)
10月27日
研究提出“子空间结晶”概念，定义为权重矩阵中保留99%测试准确率所需的最少顶部奇异方向张成的空间。
待验证50%
10月27日
在Transformer中，子空间方向数在相变期间从可用方向的四分之一以上下降到约十分之一。
待验证50%
顿悟过程中网络权重矩阵将关键信息浓缩到少数顶部奇异方向所张成的低维子空间的现象。
研究提出“子空间结晶”概念，定义为权重矩阵中保留99%测试准确率所需的最少顶部奇异方向张成的空间。
在Transformer中，子空间方向数在相变期间从可用方向的四分之一以上下降到约十分之一。