TokenGate延续的是稀疏化路线而非线性化路线，这意味着它更可能保持原始注意力形式，但需要训练门控网络并处理稀疏模式带来的硬件效率问题。