[控场AI]
概念

Transcoder

机制可解释性领域的特征分解工具,通过训练稀疏输入-隐层-输出小型网络替代原始MLP层,将稠密激活分解为具有语义标签的稀疏中间特征,用于追踪模型内部计算电路

时间轴 (近 90 天)

10月7日

研究团队在CLIP和DINO两种视觉编码器上应用了Transcoder技术验证转喻假设

待验证50%
10月7日

Transcoder是机制可解释性领域的特征分解工具,专门针对MLP层训练输入到稀疏隐层再到输出的小型网络替代原始MLP

待验证50%

全部知识事实 (2)

来源文章