概念activation probe / 监控探针
激活探针
附着在大语言模型特定层隐状态上的轻量级线性分类器,用于实时观测模型内部状态,将高维激活向量映射为标签,常用于AI安全监控场景
时间轴 (近 90 天)
10月13日
激活探针是一类轻量级监控工具,通常是一个小型分类器或变换器,被训练来读取大模型推理时某一层或某几层的内部激活向量,从而判断模型当前是否正在调用某类特定知识或处于某种意图状态。
待验证50%
附着在大语言模型特定层隐状态上的轻量级线性分类器,用于实时观测模型内部状态,将高维激活向量映射为标签,常用于AI安全监控场景
激活探针是一类轻量级监控工具,通常是一个小型分类器或变换器,被训练来读取大模型推理时某一层或某几层的内部激活向量,从而判断模型当前是否正在调用某类特定知识或处于某种意图状态。