论文
Latent Undertow
一项研究LLM安全探针(probe)对输入扰动鲁棒性的学术论文,揭示了拼写错误等微小输入扰动可导致安全探针严重误判的现象,提出了"旋转-衰减"几何规律及KV缓存分叉防御方案
时间轴 (近 90 天)
9月16日
《Latent Undertow》研究发现,输入中的普通拼写错误足以让读取模型隐藏状态的安全探针发生严重误判
待验证50%
9月16日
当输入出现拼写错误时,探针在被扰动token位置读出的向量会发生43到56度的旋转
待验证50%
9月16日
扰动带来的影响在下游约10个token之后会降到15%以下(快速衰减)
待验证50%
9月16日
在一条消息中叠加约3个常见拼写错误,单位置提示注入探针在FPR=1%条件下的真阳性率会下降12个百分点
待验证50%
9月16日
研究针对单位置探针提出KV-cache fork方法,通过在用户消息后追加固定短后缀让探针读取扰动下游位置状态
待验证50%