这篇论文主要介绍了一种针对大语言模型（LLMs）的越狱攻击方法FlipAttack，研究人员希望通过这种研究，让人们更了解大语言模型的安全问题，从而推动更安全的人工智能技术发展。
- 研究背景：大语言模型在很多领域都有广泛应用，但越狱攻击表明它们存在安全漏洞。现有越狱攻击方法存在局限性，比如白盒方法需要访问模型权重，计算成本高；迭代黑盒方法查询成本高；其他黑盒方法依赖复杂任务，攻击性能不理想，所以需要更高效实用的攻击方法来研究大语言模型的漏洞。
-
FlipAttack攻击方法
- 问题定义与评估指标：越狱攻击就是把有害请求转化为能让大语言模型绕过安全防护、产生有害内容的提示。评估攻击的指标主要有基于字典和基于GPT的评估，论文重点采用更准确的基于GPT的评估。
- 攻击伪装模块：利用大语言模型从左到右理解句子的特点，通过在有害提示左边添加基于提示本身的噪声来伪装提示，设计了翻转单词顺序、翻转单词内字符、翻转句子内字符和愚弄模型模式这四种翻转模式，使提示更具隐蔽性，能绕过防护模型和大语言模型的安全检测。
- 翻转引导模块：针对不同大语言模型处理翻转任务的能力差异，基于思维链推理、角色扮演提示和少样本上下文学习设计了四个变体，帮助大语言模型解码伪装提示，理解并执行有害意图。
- 防御策略与攻击成功原因：提出系统提示防御和基于困惑度的护栏过滤两种防御策略，但实验表明它们对FlipAttack攻击效果不佳。FlipAttack攻击成功的原因在于利用了大语言模型自回归的特性，具有通用性；仅基于提示本身添加噪声，具有隐蔽性；通过简单的翻转任务引导大语言模型，具有简易性。
- 实验验证：在8个大语言模型上对比16种攻击方法，FlipAttack平均成功率最高，且仅需一次查询，在攻击成本上也更具优势。同时，在5个防护模型上测试，FlipAttack平均绕过率达98.08%，显示出当前防护模型的脆弱性。通过消融实验验证了翻转模式和模块的有效性，还通过实验探究了FlipAttack攻击成功的原因，包括大语言模型从左到右的理解模式、翻转提示的隐蔽性以及翻转任务的简易性。
- 研究结论：FlipAttack基于对大语言模型理解机制的分析设计而成，通过实验证明了其优越性。不过，该攻击方法也存在局限性，如噪声添加过程可能无法达到最高困惑度、少样本上下文学习可能失败、对强推理能力的大语言模型效果不佳 ，未来需要进一步改进和研究。