关于大模型「越狱」的多种方式，有这些防御手段
输入“/”快速插入内容
关于大模型「越狱」的多种方式，有这些防御手段
关于大模型「越狱」的多种方式，有这些防御手段
2024年8月12日修改
转载请联系原作者取得授权
作者：罗昊京（Financial Quantitative Analyst）
此项目是由伊利诺伊大学香槟分校（UIUC）的汪浩瀚教授主导，汇集了多名intern的共同努力而成。长久以来，这个跨学科的团队一直在前沿科技的浪潮中，致力于推动 人工智能 的革新，尤其关注于其如何更好地服务于人类社会。在这一宏伟的使命指引下，团队专注于解决两大核心问题：一是确保 人工智能 的可信赖性与对齐性（Trustworthy and Aligned AI），即如何保证其安全有效地融入人类生活；二是探索 人工智能 在推动生物医疗领域进步中的潜能和应用（Computational Biology）。
随着 人工智能 （AI）技术的迅猛发展，特别是大 语言模型 （LLMs）如 GPT-4 和视觉 语言模型 （VLMs）如 CLIP 和 DALL-E，这些模型在多个技术领域取得了显著的进展。LLMs 已经在 自然语言处理 任务中展现出了前所未有的能力，而 VLMs 则在图像和文本的融合任务中表现优异。这些技术的应用范围从自动化客服到智能创作，无不展示出其强大的潜力。然而，伴随着这些进展，安全性和伦理对齐的问题也日益凸显。
近年来，越来越多的研究者关注 LLMs 和 VLMs 的越狱现象，即通过特定技术手段绕过这些模型的内置安全机制，生成不符合伦理规范的输出。这些越狱行为不仅对模型的实际应用构成威胁，也对用户的安全和隐私带来潜在风险。因此，理解和防范这些越狱行为成为 AI 安全研究中的一个关键问题。
我们来看一个具体的关于越狱的例子：
在上述例子中，用户输入一个恶意问题（蓝色所示），通常而言，大 语言模型 会拒绝回答此类问题。然而，当攻击者增加一个精心制作的越狱前缀（黄色所示），大 语言模型 将会对恶意问题进行详细的解答。同样，防御者可以通过增加一些安全提示（红色所示），提醒大 语言模型 重新思考所给出的答案，中止恶意回复。
针对上述越狱现象，近期，来自伊利诺伊大学香槟分校，布朗大学，密歇根大学安娜堡分校，香港科技大学，卡内基梅隆大学和博伊西州立大学的研究者联合发布了一篇综述，详细探讨了 LLMs 和 VLMs 的越狱现象，对各种越狱类型和相应的防御机制进行了系统分类和分析。通过对现有研究的全面综述，旨在为学术界和工业界提供一个关于 AI 模型安全性的全面视角，并提出应对这些挑战的有效策略。