[控场AI]
模型Visual-Invariance-Augmented Feature Optimal Alignment with Adaptive Unbalanced Transport

IAU-FOA

一种针对多模态大语言模型的可迁移对抗攻击方法,结合视觉不变性增强与最优传输特征对齐,在全局语义和局部patch两个层面对对抗样本进行精细对齐,以提升黑盒攻击的跨模型迁移能力

时间轴 (近 90 天)

10月7日

IAU-FOA是一种结合视觉不变性增强与特征最优对齐的可迁移对抗攻击方法,在全局与局部两个层面同时对齐对抗样本和目标样本

待验证50%
10月7日

IAU-FOA在全局层面使用基于余弦相似度的目标函数缩小对抗样本与目标样本之间的全局语义差距

待验证50%
10月7日

IAU-FOA在局部层面将patch tokens聚类成局部模式,并通过最优传输(OT)进行细粒度特征匹配

待验证50%
10月7日

IAU-FOA引入置信度自适应非平衡传输,放松对弱匹配簇的约束,减少不可靠的局部对齐以提升迁移性

待验证50%
10月7日

IAU-FOA的视觉不变性增强策略包括双向像素强度缩放(模拟曝光对比度变化)和逐通道白平衡调整(模拟光照色温变化)

待验证50%
10月7日

研究者在多个开源和闭源MLLMs上实验显示IAU-FOA在定向迁移攻击上持续优于当前最先进的方法

待验证50%
10月7日

IAU-FOA相关代码已在GitHub开源(https://github.com/jiaxiaojunQAQ/IAU-FOA)

待验证50%

全部知识事实 (7)

来源文章