J-lens
基于雅可比矩阵的激活读取方法,利用输出对某层激活的雅可比矩阵构造读出方向,捕捉激活变化对输出分布的影响,最终压缩到单token表达
时间轴 (近 90 天)
WorkspaceBench 同时提供幻觉专项评估,并把「精度/召回相对 J-lens」作为辅助指标。
被评估的激活读取工具分为单 token 读取器和多 token 读取器:单 token 侧包含 Logit lens、J-lens、R-lens、Tuned lens;多 token 侧包含 Natural Language Autoencoders、Sparse Autoencoders、Patchscopes、Template lens、Oracle Lens。
J-lens、R-lens 和类似线性探测的读出方法最终都压缩到单个 token 上表达,因此无法表示需要多个词才能说清的概念。
在读取方式上,J/R/Logit-lens 在 64 层的 Qwen-3.6-27B 的第 20 至 60 层、每 4 层取一次 top-10 token。
单 token 读取器无法覆盖重要的工作空间内容,因为它们是词袋。
全部知识事实 (5)
WorkspaceBench 同时提供幻觉专项评估,并把「精度/召回相对 J-lens」作为辅助指标。
50%待验证被评估的激活读取工具分为单 token 读取器和多 token 读取器:单 token 侧包含 Logit lens、J-lens、R-lens、Tuned lens;多 token 侧包含 Natural Language Autoencoders、Sparse Autoencoders、Patchscopes、Template lens、Oracle Lens。
50%待验证J-lens、R-lens 和类似线性探测的读出方法最终都压缩到单个 token 上表达,因此无法表示需要多个词才能说清的概念。
50%待验证在读取方式上,J/R/Logit-lens 在 64 层的 Qwen-3.6-27B 的第 20 至 60 层、每 4 层取一次 top-10 token。
50%待验证单 token 读取器无法覆盖重要的工作空间内容,因为它们是词袋。
50%