概念rank-aware metrics / 排名感知指标
rank-aware 指标
一类评估指标,不仅考察目标 token 的绝对概率变化,还考察其在候选词表中的相对排名变化,用于区分精准方向性抑制与整体扰动幅度伪影
时间轴 (近 90 天)
11月4日
rank-aware 指标不仅看目标 token 的绝对概率或 log-probability 是否下降,还考察该 token 在候选词表中的相对排名变化。
待验证50%
11月4日
对实践者而言,只报告 logprob 下降不足以支撑 SAE 特征有效抑制 PII 的结论,至少应加入方向匹配的随机对照与 rank-aware 指标。
待验证50%