高级RAG案例：Self-querying Retrieval，提升结构化数据检索效率

2024年8月20日修改

作者：王几行XING

原文：https://zhuanlan.zhihu.com/p/680962...

Self-querying Retrieval 简介

自查询检索器，顾名思义，具有对自身进行查询的能力。具体来说，给定任何自然语言查询，检索器使用一个构造查询的LLM链来编写一个结构化查询，然后将该结构化查询应用到其底层的VectorStore上。这使得检索器不仅能够使用用户输入的查询进行语义相似性比较，与存储的文档内容进行对比，而且还能从用户查询中提取对存储文档元数据的过滤条件，并执行这些过滤器。（来自LangChain 官网： Self-querying | ️ Langchain ）

环境准备

代码块

!pip -q install langchain huggingface_hub openai google-search-results tiktoken chromadb lark​
import os​
os.environ["OPENAI_API_KEY"] = ""​
​
from langchain.schema import Document​
from langchain.embeddings.openai import OpenAIEmbeddings​
from langchain.vectorstores import Chroma​
​
embeddings = OpenAIEmbeddings()​

数据文件

下面直接用代码创建和初始化了一个文档集合，并将其传递给一个向量存储系统的例子。步解释代码的含义：​

1.
Document 类的实例被创建，每个实例代表一个文档，可能是一个葡萄酒的描述。​

2.
page_content 字段包含关于每种葡萄酒的描述性文本。​

3.
metadata 字段包含了关于葡萄酒的额外信息，比如：​

•
name : 葡萄酒的名称。​

•
year : 葡萄酒的年份。​

•
rating : 葡萄酒的评分。​

•
grape : 用于制酒的葡萄品种。​

•
color : 葡萄酒的颜色。​

•
country : 葡萄酒的产国。​

这些 Document 实例被收集到一个名为 docs 的列表中。

接下来：

•
vectorstore 变量被赋值为 Chroma.from_documents(docs, embeddings) 的结果。这表明 Chroma 是一个类或模块，它有一个 from_documents 方法，该方法接收文档列表和可能的 embeddings （这里未显示 embeddings 的定义或初始化，但它可能是每个文档的向量表示）。​

•
Chroma.from_documents(docs, embeddings) 这一行的作用是将文档集合和它们的嵌入向量（embeddings）传递给 Chroma 类来创建一个向量存储。这个向量存储可以用来执行各种任务，比如找出与给定查询文本最相关的文档，或者对葡萄酒进行分类和聚类。​

这个过程通常是信息检索、推荐系统或自然语言处理任务的一部分，在这里特别关注于葡萄酒的描述和属性。​

代码块

docs = [​
    Document(​
        page_content="Complex, layered, rich red with dark fruit flavors",​
        metadata={"name":"Opus One", "year": 2018, "rating": 96, "grape": "Cabernet Sauvignon", "color":"red", "country":"USA"},​
    ),​
    Document(​
        page_content="Luxurious, sweet wine with flavors of honey, apricot, and peach",​
        metadata={"name":"Château d'Yquem", "year": 2015, "rating": 98, "grape": "Sémillon", "color":"white", "country":"France"},​
    ),​
    Document(​
        page_content="Full-bodied red with notes of black fruit and spice",​
        metadata={"name":"Penfolds Grange", "year": 2017, "rating": 97, "grape": "Shiraz", "color":"red", "country":"Australia"},​
    ),​
    Document(​
        page_content="Elegant, balanced red with herbal and berry nuances",​
        metadata={"name":"Sassicaia", "year": 2016, "rating": 95, "grape": "Cabernet Franc", "color":"red", "country":"Italy"},​
    ),​
    Document(​
        page_content="Highly sought-after Pinot Noir with red fruit and earthy notes",​
        metadata={"name":"Domaine de la Romanée-Conti", "year": 2018, "rating": 100, "grape": "Pinot Noir", "color":"red", "country":"France"},​
    ),​
    Document(​
        page_content="Crisp white with tropical fruit and citrus flavors",​
        metadata={"name":"Cloudy Bay", "year": 2021, "rating": 92, "grape": "Sauvignon Blanc", "color":"white", "country":"New Zealand"},​
    ),​
    Document(​
        page_content="Rich, complex Champagne with notes of brioche and citrus",​
        metadata={"name":"Krug Grande Cuvée", "year": 2010, "rating": 93, "grape": "Chardonnay blend", "color":"sparkling", "country":"New Zealand"},​
    ),​
    Document(​
        page_content="Intense, dark fruit flavors with hints of chocolate",​
        metadata={"name":"Caymus Special Selection", "year": 2018, "rating": 96, "grape": "Cabernet Sauvignon", "color":"red", "country":"USA"},​
    ),​
    Document(​
        page_content="Exotic, aromatic white with stone fruit and floral notes",​
        metadata={"name":"Jermann Vintage Tunina", "year": 2020, "rating": 91, "grape": "Sauvignon Blanc blend", "color":"white", "country":"Italy"},​
    ),​
]​
vectorstore = Chroma.from_documents(docs, embeddings)​

高级RAG案例：Self-querying Retrieval，提升结构化数据检索效率​

高级RAG案例：Self-querying Retrieval，提升结构化数据检索效率