概念probing / 线性探针 / linear probe
探针技术
探针技术(Probing)是AI可解释性研究中的常用方法,通过在神经网络中间层提取激活向量,用简单分类器判断某概念是否被模型内部编码,无需修改原始模型
时间轴 (近 90 天)
9月22日
研究者没有专门训练智能体去识别世界是否为假,而是在智能体内部状态上挂载探针来读取内部表征
待验证50%
9月22日
探针准确率的高低反映的是信息的线性可分离程度,而非模型是否有意表征该概念
待验证50%
探针技术(Probing)是AI可解释性研究中的常用方法,通过在神经网络中间层提取激活向量,用简单分类器判断某概念是否被模型内部编码,无需修改原始模型
研究者没有专门训练智能体去识别世界是否为假,而是在智能体内部状态上挂载探针来读取内部表征
探针准确率的高低反映的是信息的线性可分离程度,而非模型是否有意表征该概念