LLM风格化对话中的Prompt工程
输入“/”快速插入内容
LLM风格化对话中的Prompt工程
LLM风格化对话中的Prompt工程
2024年7月24日修改
作者：hadiii
本文是参加腾讯策划公开课实训营之后的一些个人探索笔记，其验证部分内容比较主观，没有量化指标支撑。
我是 @hadiii，一名爱打游戏的普通人类，AI Agent爱好者。日常更新游戏和AI的相关内容，也想和大家讨论相关话题，和大家一起进步！欢迎点赞收藏关注~
动机
风格化对话生成常有人设体现不足，附带信息量不足的问题。有时候LLM还会一直重复一些无趣的，看似"正确"的话题，不符合角色扮演任务中不需要"正确"，而是需要风格化的要求。这种情况很容易让用户（玩家）丢失沉浸感。在基于prompt范式的风格化对话中，为了减缓这一问题，可以用一些prompt工程的技巧。比如这里提出的基于角色思考内容的对话生成方法，通过模拟角色的内心活动，生成更符合角色设定和情境的对话。
思路
将CoT用到垂直任务中来，显式地将对话生成分解为想法-对话生成，丰富对话的可能性：
CoT（Chain of Thought）原本是一种解决复杂问题的方法，通过显式地表达解决问题的思考过程来达到目的。在这种方法中，模型被引导去详细地描述其推理步骤，而不是直接给出答案。这种表达推理过程的方法对于提高模型在复杂任务上的表现特别有效，因为它迫使模型更加深入地分析问题，从而生成更加准确和可解释的结果。
我们将CoT的思想应用于对话生成任务中，通过分解对话生成为两个步骤：首先生成角色的内心思考内容，然后基于这些内容构建角色的回复。这样以确保对话既符合角色的人设，又能够自然地融入到对话的流程中。
具体实施此方法时，可以采取以下步骤：
1.
生成内心思考 ：在生成角色回复之前，先构建角色的内心思考过程。这个过程应该反映角色对当前对话情境的理解和可能的情感反应。
2.
构建回复 ：基于内心思考过程，生成角色的口头回复。这种回复应该是角色内心思考的自然延伸，同时也要符合对话的上下文。
这种从CoT过来的思考-回复机制之所以有可能work，是因为它模拟了人类在对话中的自然思考过程。人在回答问题或参与对话时，通常会先在脑中形成一个关于问题的想法或观点，然后才将这个想法表达出来。通过模拟这一过程，或许就能够生成更加自然和人性化的对话内容。
不仅仅使用角色语气的描述词，而是使用针对角色台词的few-shot样本，并将其放在历史上下文的起始位置作为对话的基调，让模型更好地理解怎么做对话生成任务：
具体来说，可以这样操作：
1.
收集角色样本 ：收集一系列能够体现角色特定语气和行为特点的台词或对话片段。这些样本将取代简单的性格描述，为模型提供更丰富的学习材料。
2.
构建提示模板 ：将收集到的样本作为提示（prompt），置于对话历史的前面，用以设定对话的基调。这样可以帮助模型更好地理解如何生成与角色特性匹配的对话内容。
值得一提的是，可以用好感度机制和角色状态等属性来调整这个few-shot样本，从而切换到不同的对话基调，或者干脆映射到不同的prompt模板上。在训练营时，组内做了LLM相关的解密游戏demo，在其中使用过这种方法控制了一些解密的流程问题。此处不做展开，只是说明实践中是可行的。这里给出整个系统的架构图，对话生成部分在左半侧。如您有兴趣，可见个人主页中关于好感度系统的一篇文章，讲解了此系统中如何进行情感分析和相关方法：
实现
在实践中，可以定义一个函数接收上下文信息和角色属性，并生成相应的想法。角色属性可以通过类的属性导入，并用作生成对话的基础。这些属性可能包括角色的个性、背景故事、语言风格等，这些信息将作为想法生成的提示（prompt）元素。然后再复用这些属性和生成的想法来进行对话生成。
创建想法
代码块
def create_thought_from_query(self, memory, knowledge_text, context):
"""
根据角色当前的对话上下文，相关记忆，相关知识进行分析，生成角色的思考内容。
参数:
memory -- 包含记忆描述的字典
knowledge_text -- 相关知识的文本
context -- 对话上下文
返回:
thought -- 生成的角色思考内容
"""
prompt = f"""
角色名称：{self.name}
初始记忆：{self.seed_memory}
当前心情：{self.fsm.mood}
任务：根据角色当前的对话上下文，相关记忆，相关知识进行分析，基于角色第一视角进行思考，给出角色的心理反应对和相关事件的判断。
字数限制：不超过100字。
<<<
相关记忆：“{memory['description']}”
相关知识：“{knowledge_text}”
对话上下文：
{self.language_style}
{context}
>>>
请仅返回第一人称视角下的思考内容，不要添加额外信息或格式。
"""
logger.info(f"生成了思考提示：{prompt}")
thought = LLM调用接口(prompt)
logger.info(f"生成了思考内容：{thought}")
return thought