分享
Langchain-Chatchat开源库使用的随笔记(一)
输入“/”快速插入内容
Langchain-Chatchat开源库使用的随笔记(一)
2024年8月20日修改
作者:悟乙己
原文链接:
https://zhuanlan.zhihu.com/p/676061...
笔者最近在研究Langchain-Chatchat,所以本篇作为随笔记进行记录。
最近核心探索的是知识库的使用,其中关于文档如何进行分块的详细,可以参考笔者的另几篇文章:
大模型RAG 场景、数据、应用难点与解决(四)
RAG 分块Chunk技术优劣、技巧、方法汇总(五)
原项目地址:
•
Langchain-Chatchat
•
WIKI教程(有点简单)
1 Chatchat项目结构
整个结构是
server
启动API,然后项目内自行调用API。
API详情可见:
http://xxx:7861/docs
,整个代码架构还是蛮适合深入学习
2 Chatchat一些代码学习
2.1 12个分块函数统一使用
截止 20231231 笔者看到chatchat一共有12个分chunk的函数 这12个函数如何使用、大致点评可以参考笔者的另外文章(
RAG 分块Chunk技术优劣、技巧、方法汇总(五)
):
代码块
Plain Text
CharacterTextSplitter
LatexTextSplitter
MarkdownHeaderTextSplitter
MarkdownTextSplitter
NLTKTextSplitter
PythonCodeTextSplitter
RecursiveCharacterTextSplitter
SentenceTransformersTokenTextSplitter
SpacyTextSplitter
AliTextSplitter
ChineseRecursiveTextSplitter
ChineseTextSplitter