Token纠缠

语言模型可解释性研究中的假说，认为模型输出层（Unembedding Matrix）中不同语义类别的token在高维向量空间中彼此靠近，导致对某一类别的激活会泄漏到相邻类别，从而形成隐蔽的特征传递通道