激活空间

在Transformer架构中，每个token的输入经过多层自注意力与前馈网络处理，每一层产生一个高维向量表示，称为“隐藏状态”；所有层、所有token的隐藏状态整体构成“激活空间”。

在激活空间中，若模型对某概念具有稳定一致的表征，相关隐藏状态会聚集形成低熵、高密度的聚类；若缺乏该概念知识，激活向量会分散，呈现高熵的碎片化分布。

权重空间（weight space）与激活空间（activation space）是可解释性研究中两个不同层次的分析对象。