2. 大模型安全与防护实践
输入“/”快速插入内容
2. 大模型安全与防护实践
2. 大模型安全与防护实践
用户458用户4582024年7月10日修改
•
作者：蓝衣剑客，云中江树
•
文章状态：持续更新中
一、前言
虽然目前网络上关于提示工程的相关资料已经多如牛毛，然而 RAG (检索增强生成) 任务中提示工程如何进行的资料相对而言却较少。不少朋友之前也热烈的讨论过 RAG 场景下提示词的运用，因此 LangGPT 社区特别推出 RAG 任务下的提示词实践经验系列分享。
蓝衣剑客(微信 lanyijianke1992)是 LangGPT 社区核心成员，清华大学数据治理研究中心主任助理，曾经参与生成式人工智能行业应用合规标准起草，作为企业技术负责人主导参与了多个大模型实际应用场景下的落地工作，在 RAG 相关领域有着大量的实践经验。云中江树(微信 1796060717)是 LangGPT 提示词社区的主理人，结构化提示词提出者。蓝衣剑客负责本文主要内容的撰写，江树负责本文内容框架的整体设计和质量把控。
欢迎访问 LangGPT 提示词社区 ⭐LangGPT 结构化提示词
欢迎添加作者微信交流:
◦
蓝衣剑客(微信 lanyijianke1992)
◦
云中江树(微信 1796060717)
上期内容回顾：
1. RAG 基础概念篇
二、回到安全问题上
之前在Part1中我们也曾提（挖）起(坑)过关于提示词安全的问题，这个问题或许被很多人所忽略（尤其是在技术并不成熟，以开源爱好者为多数的当下），但确实是个关键且严肃的事儿。
如下图所示，这是某toC产品所泄漏的提示词（谁家的请自行联络我），这是我经过简单的提示词黑入手段后得到的效果。
如果你觉得这无伤大雅：“不就是段提示词嘛”，那么请看下面模型给我的回复。
是否感到一阵寒意袭来？考虑到提示词递归的特性，一旦模型在提示词层面“缴械投降”，它将如何被那些心怀不轨之人所利用？此外，也不能排除有不良居心者利用这一漏洞制造麻烦的可能性。
对于生产级应用而言，无论使用何种提示词技术，安全总是第一位的，这也是很多公司所在意的。所以，在讲解更进一步的提示词技术之前，让我们先把目光转移到提示词安全上。