#对抗样本

固定权重模型为何必然对抗脆弱并走向失准

固定权重模型为何在概念空间必然存在对抗脆弱性？Alignment Forum分析指出，在足够优化压力下，边界崩塌会导致模型失准，RLHF等方法无法根本解决。本文解读其核心论证与对齐启示。