百万上下文RAG，Agent还能这么玩
输入“/”快速插入内容
百万上下文RAG，Agent还能这么玩
百万上下文RAG，Agent还能这么玩
2024年7月8日创建
❝
在AI技术飞速发展的今天，我们见证了许多令人惊叹的突破。最近， Qwen2 模型的开源引起了广泛的关注，它不仅展示了超越闭源模型的能力，还带来了一个全新的框架—— Qwen-Agent 。
Qwen-Agent 的设计思路虽然与 LangChain 相似，但其发布几个的Agent示例却很有意思。今天本文将深入探讨如何使用 Qwen-Agent 将上下文记忆扩展到 百万量级 ，让Agent的智能得到更广泛的应用。
暴力关键字检索优于向量方案
在处理大规模文本数据时，一个关键的挑战是如何快速准确地定位到最相关的信息块。Qwen-Agent通过一种看似“暴力”的方法——, 基于LLM判断相关性 AND 基于关键字检索 ，解决了这一难题。这种方法虽然简单，但在实际操作中却显示出了意想不到的效果。
关键字检索的基本原理
关键字检索 是一种直接且高效的方法，尤其是在面对大规模文本数据时。通过预先定义的关键字，我们可以快速定位到包含这些关键字的文本块。这种方法的优势在于其速度和简单性，尤其是在处理大规模数据时。
实现关键字检索的步骤
1.
预处理文本数据 ：将大规模文本数据分块。
2.
基于LLM判断相关性 ：并行处理每个分块，让聊天模型评估其与用户查询的相关性， 如果相关则输出相关句子用于后续检索。
3.
分析用户指令，提取关键字 ：通过LLM对用户指令进行两个方面的预处理。1.区分指令信息与非指令信息。2.从查询的信息部分推导出多语言关键词
4.
最终检索 ：运用BM25这一传统的基于关键词的检索方法，找出与提取关键词最相关的块并生成最终答案，这一步骤的实现方式与通常的RAG相同。。
示例代码
代码块
from qwen_agent.agents import Assistant
from qwen_agent.gui import WebUI
def test():
bot = Assistant(llm={'model': 'qwen-plus'})
messages = [{'role': 'user', 'content': [{'text': '介绍图一'}, {'file': 'https://arxiv.org/pdf/1706.03762.pdf'}]}]
for rsp in bot.run(messages):
print(rsp)
def app_gui():
# Define the agent
bot = Assistant(llm={'model': 'qwen-plus'},
name='Assistant',
description='使用RAG检索并回答，支持文件类型：PDF/Word/PPT/TXT/HTML。')
chatbot_config = {
'prompt.suggestions': [
{
'text': '介绍图一'
},
{
'text': '第二章第一句话是什么？'
},
]
}
WebUI(bot, chatbot_config=chatbot_config).run()
if __name__ == '__main__':
# test()
app_gui()