概念Patchscopes
Patchscopes
将某层激活补丁注入另一提示中,借助模型生成能力将激活翻译为文本的激活读取方法
时间轴 (近 90 天)
10月12日
被评估的激活读取工具分为单 token 读取器和多 token 读取器:单 token 侧包含 Logit lens、J-lens、R-lens、Tuned lens;多 token 侧包含 Natural Language Autoencoders、Sparse Autoencoders、Patchscopes、Template lens、Oracle Lens。
待验证50%