概念Jacobian Lens
雅可比透镜
一种将Transformer中间层隐藏状态对输出logits的雅可比矩阵按词汇索引压缩为低维坐标的方法,用于表示中间状态对词表token预测的敏感度轮廓。
时间轴 (近 90 天)
10月26日
雅可比透镜将中间层隐藏状态对最终输出 logits 的偏导数矩阵按词汇索引压缩成低维坐标,使通信信号与模型宽度解耦。
待验证50%
一种将Transformer中间层隐藏状态对输出logits的雅可比矩阵按词汇索引压缩为低维坐标的方法,用于表示中间状态对词表token预测的敏感度轮廓。
雅可比透镜将中间层隐藏状态对最终输出 logits 的偏导数矩阵按词汇索引压缩成低维坐标,使通信信号与模型宽度解耦。