熵有效秩

MoE层中专家输出存在结构化冗余，表现为专家输出的稳定秩和熵有效秩远低于名义专家数量，且输出分布的有效模态更少。

熵有效秩基于奇异值归一化后的香农熵：将奇异值平方归一化为概率分布，计算其熵并取指数，得到有效维度数。