手把手教你认识学会LangChain

2024年7月22日修改

作者：爱吃牛油果的璐璐

原文：https://zhuanlan.zhihu.com/p/640936557

什么是LangChain

LangChain: 一个让你的LLM变得更强大的开源框架。LangChain 就是一个 LLM 编程框架，你想开发一个基于 LLM 应用，需要什么组件它都有，直接使用就行；甚至针对常规的应用流程，它利用链(LangChain中Chain的由来)这个概念已经内置标准化方案了。下面我们从新兴的大语言模型（LLM）技术栈的角度来看看为何它的理念这么受欢迎。​

LangChain起源

LangChain 的作者是 Harrison Chase，最初是于 2022 年 10 月开源的一个项目，在 GitHub 上获得大量关注之后迅速转变为一家初创公司。2017 年 Harrison Chase 还在哈佛上大学，如今已是硅谷的一家热门初创公司的 CEO，这对他来说是一次重大而迅速的跃迁。Insider 独家报道，人工智能初创公司 LangChain 在种子轮一周后，再次获得红杉领投的 2000 万至 2500 万美元融资，估值达到 2 亿美元。​

LangChain六大主要领域

•
管理和优化prompt。不同的任务使用不同prompt，如何去管理和优化这些prompt是langchain的主要功能之一。​

•
链，初步理解为一个具体任务中不同子任务之间的一个调用。​

•
数据增强的生成，数据增强生成涉及特定类型的链，它首先与外部数据源交互以获取数据用于生成步骤。这方面的例子包括对长篇文字的总结和对特定数据源的提问/回答。​

•
代理，根据不同的指令采取不同的行动，直到整个流程完成为止。​

•
评估，生成式模型是出了名的难以用传统的指标来评估。评估它们的一个新方法是使用语言模型本身来进行评估。LangChain提供了一些提示/链来协助这个工作。​

•
内存：在整个流程中帮我们管理一些中间状态。​

总的来说LangChain可以理解为：在一个流程的整个生命周期中，管理和优化prompt，根据prompt使用不同的代理进行不同的动作，在这期间使用内存管理中间的一些状态，然后使用链将不同代理之间进行连接起来，最终形成一个闭环。​

LangChain的主要价值组件

•
组件：用于处理语言模型的抽象概念，以及每个抽象概念的实现集合。无论你是否使用LangChain框架的其他部分，组件都是模块化的，易于使用。​

•
现成的链：用于完成特定高级任务的组件的结构化组合。现成的链使人容易上手。对于更复杂的应用和细微的用例，组件使得定制现有链或建立新链变得容易。​

LangChain组件

•
model I/O：语言模型接口​

•
data connection：与特定任务的数据接口​

•
chains：构建调用序列​

•
agents：给定高级指令，让链选择使用哪些工具​

•
memory：在一个链的运行之间保持应用状态​

•
callbacks：记录并流式传输任何链的中间步骤​

•
indexes：索引指的是结构化文件的方法，以便LLM能够与它们进行最好的交互​

数据连接组件data connection

LLM应用需要用户特定的数据，这些数据不属于模型的训练集。LangChain通过以下方式提供了加载、转换、存储和查询数据的构建模块：​

•
文档加载器：从许多不同的来源加载文档​

•
文档转换器：分割文档，删除多余的文档等​

•
文本嵌入模型：采取非结构化文本，并把它变成一个浮点数的列表 矢量存储：存储和搜索嵌入式数据​

•
检索器：查询你的数据​

data connection整体流程

common.docs_name - LarkCCM_Docs_Menu_Image

data connection——文档加载器

python安装包命令：

代码块

pip install langchain​
pip install unstructured​
pip install jq​

CSV基本用法

代码块

import os​
from pathlib import Path​
​
from langchain.document_loaders import UnstructuredCSVLoader​
from langchain.document_loaders.csv_loader import CSVLoader​
EXAMPLE_DIRECTORY = file_path = Path(__file__).parent.parent / "examples"​
​
​
def test_unstructured_csv_loader() -> None:​
    """Test unstructured loader."""​
    file_path = os.path.join(EXAMPLE_DIRECTORY, "stanley-cups.csv")​
    loader = UnstructuredCSVLoader(str(file_path))​
    docs = loader.load()​
    print(docs)​
    assert len(docs) == 1​
​
def test_csv_loader():​
  file_path = os.path.join(EXAMPLE_DIRECTORY, "stanley-cups.csv")​
  loader = CSVLoader(file_path)​
  docs = loader.load()​
  print(docs)​
​
test_unstructured_csv_loader()​
test_csv_loader()​

手把手教你认识学会LangChain​

手把手教你认识学会LangChain