概念stable rank
稳定秩
矩阵的 Frobenius 范数平方与谱范数平方之比,反映矩阵能量集中程度,对奇异值衰减敏感的连续秩度量
时间轴 (近 90 天)
11月2日
MoE层中专家输出存在结构化冗余,表现为专家输出的稳定秩和熵有效秩远低于名义专家数量,且输出分布的有效模态更少。
待验证50%
11月2日
稳定秩是矩阵的Frobenius范数平方与谱范数平方之比,即||W||_F^2 / ||W||_2^2,取值不超过矩阵的名义秩,且对奇异值衰减敏感。
待验证50%
矩阵的 Frobenius 范数平方与谱范数平方之比,反映矩阵能量集中程度,对奇异值衰减敏感的连续秩度量
MoE层中专家输出存在结构化冗余,表现为专家输出的稳定秩和熵有效秩远低于名义专家数量,且输出分布的有效模态更少。
稳定秩是矩阵的Frobenius范数平方与谱范数平方之比,即||W||_F^2 / ||W||_2^2,取值不超过矩阵的名义秩,且对奇异值衰减敏感。