概念probing / 探针
探针(probing)
一种用于分析神经网络内部表征的轻量级方法,通过在隐藏层上训练简单分类器来判断模型是否编码了特定概念(如情感、事实性、语法角色),准确率越高说明概念越容易被“读出”。
时间轴 (近 90 天)
11月11日
探针方法的价值在于它提供了一种可量化的内部表征评估手段。
待验证50%
11月11日
探针方法存在争议:高探针准确率并不必然意味着模型在推理时真的使用了该信息,因此研究者常结合因果干预(如激活值替换)来进一步验证。
待验证50%
一种用于分析神经网络内部表征的轻量级方法,通过在隐藏层上训练简单分类器来判断模型是否编码了特定概念(如情感、事实性、语法角色),准确率越高说明概念越容易被“读出”。
探针方法的价值在于它提供了一种可量化的内部表征评估手段。
探针方法存在争议:高探针准确率并不必然意味着模型在推理时真的使用了该信息,因此研究者常结合因果干预(如激活值替换)来进一步验证。