[控场AI]
概念Jacobian Lens

雅可比透镜

一种将Transformer中间层隐藏状态对输出logits的雅可比矩阵按词汇索引压缩为低维坐标的方法,用于表示中间状态对词表token预测的敏感度轮廓。

时间轴 (近 90 天)

10月26日

雅可比透镜将中间层隐藏状态对最终输出 logits 的偏导数矩阵按词汇索引压缩成低维坐标,使通信信号与模型宽度解耦。

待验证50%

全部知识事实 (1)

来源文章