概念
Transcoder
机制可解释性领域的特征分解工具,通过训练稀疏输入-隐层-输出小型网络替代原始MLP层,将稠密激活分解为具有语义标签的稀疏中间特征,用于追踪模型内部计算电路
时间轴 (近 90 天)
10月7日
研究团队在CLIP和DINO两种视觉编码器上应用了Transcoder技术验证转喻假设
待验证50%
10月7日
Transcoder是机制可解释性领域的特征分解工具,专门针对MLP层训练输入到稀疏隐层再到输出的小型网络替代原始MLP
待验证50%
机制可解释性领域的特征分解工具,通过训练稀疏输入-隐层-输出小型网络替代原始MLP层,将稠密激活分解为具有语义标签的稀疏中间特征,用于追踪模型内部计算电路
研究团队在CLIP和DINO两种视觉编码器上应用了Transcoder技术验证转喻假设
Transcoder是机制可解释性领域的特征分解工具,专门针对MLP层训练输入到稀疏隐层再到输出的小型网络替代原始MLP