概念NLAs / 自然语言自编码器
Natural Language Autoencoders
用编码器将激活压缩为隐向量、再由语言模型解码器生成自然语言描述的激活读取方法,表达力最强但可能生成与事实不符的内容
时间轴 (近 90 天)
10月12日
被评估的激活读取工具分为单 token 读取器和多 token 读取器:单 token 侧包含 Logit lens、J-lens、R-lens、Tuned lens;多 token 侧包含 Natural Language Autoencoders、Sparse Autoencoders、Patchscopes、Template lens、Oracle Lens。
待验证50%
10月12日
Natural Language Autoencoders 用编码器把激活压缩成隐向量,再由解码器生成自然语言描述,训练目标包含重建激活,表达力最强、读取长度最长,但训练信号不强制描述与事实一致,容易生成看似合理却与实际输出矛盾的内容。
待验证50%
全部知识事实 (2)
待验证
被评估的激活读取工具分为单 token 读取器和多 token 读取器:单 token 侧包含 Logit lens、J-lens、R-lens、Tuned lens;多 token 侧包含 Natural Language Autoencoders、Sparse Autoencoders、Patchscopes、Template lens、Oracle Lens。
50%待验证Natural Language Autoencoders 用编码器把激活压缩成隐向量,再由解码器生成自然语言描述,训练目标包含重建激活,表达力最强、读取长度最长,但训练信号不强制描述与事实一致,容易生成看似合理却与实际输出矛盾的内容。
50%