IAU-FOA
一种针对多模态大语言模型的可迁移对抗攻击方法,结合视觉不变性增强与最优传输特征对齐,在全局语义和局部patch两个层面对对抗样本进行精细对齐,以提升黑盒攻击的跨模型迁移能力
时间轴 (近 90 天)
IAU-FOA是一种结合视觉不变性增强与特征最优对齐的可迁移对抗攻击方法,在全局与局部两个层面同时对齐对抗样本和目标样本
IAU-FOA在全局层面使用基于余弦相似度的目标函数缩小对抗样本与目标样本之间的全局语义差距
IAU-FOA在局部层面将patch tokens聚类成局部模式,并通过最优传输(OT)进行细粒度特征匹配
IAU-FOA引入置信度自适应非平衡传输,放松对弱匹配簇的约束,减少不可靠的局部对齐以提升迁移性
IAU-FOA的视觉不变性增强策略包括双向像素强度缩放(模拟曝光对比度变化)和逐通道白平衡调整(模拟光照色温变化)
研究者在多个开源和闭源MLLMs上实验显示IAU-FOA在定向迁移攻击上持续优于当前最先进的方法
IAU-FOA相关代码已在GitHub开源(https://github.com/jiaxiaojunQAQ/IAU-FOA)
全部知识事实 (7)
IAU-FOA是一种结合视觉不变性增强与特征最优对齐的可迁移对抗攻击方法,在全局与局部两个层面同时对齐对抗样本和目标样本
50%待验证IAU-FOA在全局层面使用基于余弦相似度的目标函数缩小对抗样本与目标样本之间的全局语义差距
50%待验证IAU-FOA在局部层面将patch tokens聚类成局部模式,并通过最优传输(OT)进行细粒度特征匹配
50%待验证IAU-FOA引入置信度自适应非平衡传输,放松对弱匹配簇的约束,减少不可靠的局部对齐以提升迁移性
50%待验证IAU-FOA的视觉不变性增强策略包括双向像素强度缩放(模拟曝光对比度变化)和逐通道白平衡调整(模拟光照色温变化)
50%待验证研究者在多个开源和闭源MLLMs上实验显示IAU-FOA在定向迁移攻击上持续优于当前最先进的方法
50%待验证IAU-FOA相关代码已在GitHub开源(https://github.com/jiaxiaojunQAQ/IAU-FOA)
50%