概念frozen feature probing
冻结特征探针
表征评估中的标准范式,固定预训练模型权重,仅在其输出特征上训练轻量级线性分类器或回归器,衡量特征中线性可解码的信息量
时间轴 (近 90 天)
10月30日
实验采用冻结特征探针,在静态室内环境的流式自我中心观测下,对十种表征进行了评测。
待验证50%
10月30日
冻结特征探针的局限在于只能说明信息存在且可被读出,无法证明模型在下游推理中真的使用了这些信息。
待验证50%
表征评估中的标准范式,固定预训练模型权重,仅在其输出特征上训练轻量级线性分类器或回归器,衡量特征中线性可解码的信息量
实验采用冻结特征探针,在静态室内环境的流式自我中心观测下,对十种表征进行了评测。
冻结特征探针的局限在于只能说明信息存在且可被读出,无法证明模型在下游推理中真的使用了这些信息。