Logit lens
一种无需训练的模型激活读取方法，将中间层残差流表示与模型unembedding矩阵相乘投影回词表空间，读取该层预测的下一个词
时间轴 (近 90 天)
被评估的激活读取工具分为单 token 读取器和多 token 读取器：单 token 侧包含 Logit lens、J-lens、R-lens、Tuned lens；多 token 侧包含 Natural Language Autoencoders、Sparse Autoencoders、Patchscopes、Template lens、Oracle Lens。
Logit lens 把某一中间层的残差流表示直接乘以模型最后的 unembedding 矩阵，投影回词表空间，读出该层最可能的下一个词，优点是无需训练、几乎零成本，缺点是随层数加深语义逐渐漂移。
在读取方式上，J/R/Logit-lens 在 64 层的 Qwen-3.6-27B 的第 20 至 60 层、每 4 层取一次 top-10 token。
单 token 读取器无法覆盖重要的工作空间内容，因为它们是词袋。
全部知识事实 (4)
被评估的激活读取工具分为单 token 读取器和多 token 读取器：单 token 侧包含 Logit lens、J-lens、R-lens、Tuned lens；多 token 侧包含 Natural Language Autoencoders、Sparse Autoencoders、Patchscopes、Template lens、Oracle Lens。
50%待验证Logit lens 把某一中间层的残差流表示直接乘以模型最后的 unembedding 矩阵，投影回词表空间，读出该层最可能的下一个词，优点是无需训练、几乎零成本，缺点是随层数加深语义逐渐漂移。
50%待验证在读取方式上，J/R/Logit-lens 在 64 层的 Qwen-3.6-27B 的第 20 至 60 层、每 4 层取一次 top-10 token。
50%待验证单 token 读取器无法覆盖重要的工作空间内容，因为它们是词袋。
50%