[控场AI]
概念Oracle lens

Oracle Lens

一种多token激活读取方法,通过生成要点形式输出激活内容,并有RL微调变体

时间轴 (近 90 天)

10月12日

被评估的激活读取工具分为单 token 读取器和多 token 读取器:单 token 侧包含 Logit lens、J-lens、R-lens、Tuned lens;多 token 侧包含 Natural Language Autoencoders、Sparse Autoencoders、Patchscopes、Template lens、Oracle Lens。

待验证50%
10月12日

Oracle Lens 通过自回归重建加 RL 优化,追求更忠实、更简洁的读出。

待验证50%

全部知识事实 (2)

来源文章