OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御
输入“/”快速插入内容
OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御
OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御
2024年8月12日修改
转载请联系原作者取得授权
选自 Lil’Log｜作者：Lilian Weng｜机器之心编译｜编辑：Panda
LLM 能力强大，倘若别有用心之人用其来干坏事，可能会造成难以预料的严重后果。 虽然大多数商用和开源 LLM 都存在一定的内置安全机制，但却并不一定能防御形式各异的对抗攻击。 近日，OpenAI 安全系统（Safety Systems）团队负责人 Lilian Weng 发布了一篇博客文章《Adversar ial Attacks on LLMs》，梳理了针对 LLM 的对抗攻击类型并简单介绍了一些防御方法。
随着 ChatGPT 的发布，大型语言模型应用正在加速大范围铺开。OpenAI 的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。但是，对抗攻击或 prompt 越狱依然有可能让模型输出我们不期望看到的内容。
目前在对抗攻击方面的研究很多集中在图像方面，也就是在连续的高维空间。而对于文本这样的离散数据，由于缺乏梯度信号，人们普遍认为攻击会困难得多。Lilian Weng 之前曾写过一篇文章《Controllable Text Generation》探讨过这一主题。简单来说：攻击 LLM 本质上就是控制该模型输出特定类项的（不安全）内容。
另一个研究攻击 LLM 的分支是为了提取预训练数据、私有知识，或通过数据毒化攻击模型训练过程。但这些并非本文要探讨的主题。
基础知识
威胁模型
对抗攻击是诱使模型输出我们不期望的内容的输入。许多早期研究关注的重点是分类任务，而近期的工作则开始更多关注生成模型的输出。本文探讨的是大型语言模型，并且假定攻击仅发生在推理阶段，也就是说模型权重是固定的。
图 1：LLM 应用所面临的威胁概况
分类
在过去，研究社区更关注的是对分类器进行对抗攻击，并且许多是在图像领域。LLM 也可被用于分类。给定一个输入 𝐱 和一个分类器 𝑓(.)，我们希望找到该输入的一个差异细微的对抗版本 𝐱_adv，使得 𝑓(𝐱)≠𝑓(𝐱_adv)。
文本生成
给定一个输入 𝐱 和一个生成模型 𝑝(.)，该模型可输出一个样本 y~𝑝(.|𝐱)。这里的对抗攻击是找到一个 𝑝(𝐱)，使得 y 会违反该模型内置的安全行为，比如输出非法主题的不安全内容、泄漏隐私信息或模型训练数据。对生成任务而言，判断一次攻击成功与否并非易事，这需要一个超高质量的分类器来判断 y 是否安全或需要人类来进行审查。
白盒与黑盒
白盒攻击（White-box attacks）假设攻击者可以完全访问模型权重、架构和训练工作流程，这样一来攻击者就可以获得梯度信号。这里我们并不假设攻击者能获得全部训练数据。这仅适用于开源模型。黑盒攻击（Black-box attacks）则是假设攻击者只能访问 API 类型的服务 —— 攻击者可以提供输入 𝐱 并获取反馈的样本 y，而不知道有关模型的更多信息。