LLM应用：利用子知识结构实现多级RAG
输入“/”快速插入内容
LLM应用：利用子知识结构实现多级RAG
LLM应用：利用子知识结构实现多级RAG
2024年7月23日修改
🏆
本文是一个个人探索笔记，本来是近期项目LLM+解密游戏里面的RAG部分。后来抽象了一下其中的想法，概括为利用子知识结构实现多级RAG的功能，似乎勉强称得上有一些通用思路。笔者才学疏浅，本文不使用向量数据库，也没有实际落地，只是在此做一个Toy project的思路和实践记录。
动机
在传统的检索式问答系统中，RAG通过对文本的切分来检索相关信息，但这种方法常常导致抽取的信息片段缺乏对其所属知识体系的宏观认识，因为只有n个被切分的chunk被导入了上下文。这一局限性在处理需要对大量知识有全面理解的复杂查询时尤为明显。此外，若对整个知识库进行检索，往往会导致大量的计算资源被无效消耗在不相关的信息上。
为了改善这些问题，本文尝试通过引入多级RAG架构来优化知识检索过程。通过将知识库分层，首先在较高层次上对用户的查询进行理解和定位，然后再在更具体的层次上检索细节信息，这样的分层检索策略不仅可以减少无效的资源消耗，还能提供更准确、更具上下文相关性的回答。
实现
整个项目都不使用LangChain（也不是很看好LangChain），也不使用向量数据库，只是把其思路用原生JSON格式实现。Embedding和生成模型都是基于OpenAI的API。下面介绍的两个成员函数都是来自于一个自定义的LLM based agent类，下文摘取了和本文相关的部分。
添加顶层知识到agent类的知识库：
代码块
def add_knowledge_from_text(self, text, sub_knowledge_file_path=None):
"""
根据提供的文本添加一个知识对象到知识库中，并记录日志。可选地，可以指定一个子知识的引用。
参数:
text (str): 要添加到知识库的知识文本。
sub_knowledge (str, optional): 子知识的引用路径或标识符，默认为None。
返回:
无
"""
if text:
embedding_list = apis.request_embedding(text)
knowledge = {
"text": text,
"embedding": embedding_list[0],
"sub_knowledge": sub_knowledge_file_path
}
self.basic_knowledge.append(knowledge)
logger.info(f"添加了知识：{text}")
else:
logger.info(f"要添加的知识为空")
添加有子知识引用的顶层知识到agent类的知识库：
代码块
def add_knowledge_from_sub_knowledge_list(self, summary_text, sub_knowledge_list):
"""
为具有子知识列表的知识总结创建一个JSON文件来存储子知识，并将知识总结添加到知识库中。
参数:
summary_text (str): 知识总结的文本。
sub_knowledge_list (list): 子知识的列表，每个子知识通常包含文本描述等信息。
返回:
子知识文件的路径。异常时返回None。
"""
# 检查输入参数
if not summary_text or not isinstance(summary_text, str):
logger.error("summary_text 必须是非空字符串。")
return None
if not isinstance(sub_knowledge_list, list):
logger.error("sub_knowledge_list 必须是列表。")
return None
sub_knowledge_file = f"../resource/knowledge/{hash(summary_text)}_sub_knowledge.json"
sub_knowledge_content = {
"summary_text": summary_text,
"sub_knowledge_list": sub_knowledge_list
}
try:
with open(sub_knowledge_file, 'w', encoding="utf-8") as file:
json.dump(sub_knowledge_content, file, ensure_ascii=False, indent=4)
except IOError as e:
logger.error(f"写入子知识文件时发生错误: {e}")
return None
logger.info(f"为知识总结：{summary_text} 添加了子知识文件：{sub_knowledge_file}")
self.add_knowledge_from_text(summary_text, sub_knowledge_file)
return sub_knowledge_file