#对抗攻击

共 4 篇相关文章

论文提出用扩散语言模型替换随机映射，使黑盒攻击提示的字符级困惑度从10^3-10^7降至3-5，大幅提升隐蔽性，并揭示风险估计可能相差一个数量级。

新研究提出单关系攻击ORA，通过一句话限定LLM智能体的隐式推理担保，在生物医学推断和漏洞检测中平均翻转54.9%专有模型与80.0%开放模型的正确回答，揭示隐式担保成为认知攻击面。

GCD（梯度混淆防御）是一种无需重训的测试时防御方法，通过雅可比矩阵约束改写模型输出，让基于分数的黑盒查询攻击难以估计真实梯度，在 CIFAR-10 和 ImageNet 上实现零干净准确率损失的鲁棒性提升。

新研究证明AI模型可通过加密后门隐藏任意危险能力，即便拥有完整权重，微调、权重加噪、梯度搜索等诱导方法均无法激发。这揭示了基于诱导的AI能力安全评估存在根本性限制。