[控场AI]
概念probing / 探针

探针(probing)

一种用于分析神经网络内部表征的轻量级方法,通过在隐藏层上训练简单分类器来判断模型是否编码了特定概念(如情感、事实性、语法角色),准确率越高说明概念越容易被“读出”。

时间轴 (近 90 天)

11月11日

探针方法的价值在于它提供了一种可量化的内部表征评估手段。

待验证50%
11月11日

探针方法存在争议:高探针准确率并不必然意味着模型在推理时真的使用了该信息,因此研究者常结合因果干预(如激活值替换)来进一步验证。

待验证50%

全部知识事实 (2)

来源文章