LazyLLM: 低代码构建多Agent大模型应用的开源项目
输入“/”快速插入内容
LazyLLM: 低代码构建多Agent大模型应用的开源项目
LazyLLM: 低代码构建多Agent大模型应用的开源项目
2024年7月18日修改
2024年7月3日创建
作者：PaperAgent
LazyLLM 是一款低代码构建 多Agent 大模型应用的开发工具，协助开发者用极低的成本构建复杂的AI应用，可以持续的迭代优化效果。提供了便捷的搭建应用的 workflow ，为应用开发过程中的各个环节提供了大量的标准流程和工具。
基于LazyLLM的AI应用构建流程： 原型搭建 -> 数据回流 -> 迭代优化 ，可以先基于LazyLLM快速跑通应用的原型，再结合场景任务数据进行bad-case分析，然后对应用中的关键环节进行算法迭代和模型微调，进而逐步提升整个应用的效果。
LazyLLM基本概念
•
Component
Component是LazyLLM中最小的执行单元，它既可以是一个函数，也可以是一个bash命令。
•
Module
Module是LazyLLM中的顶层组件，具备训练、部署、推理和评测四项关键能力，每个模块可以选择实现其中的部分或者全部的能力，每项能力都可以由1到多个Component组成。如下表所示，内置了一些基础的Module供大家使用。
•
Flow
Flow是LazyLLM中定义的数据流，描述了数据如何从一个可调用对象传递到另一个可调用的对象，可以利用Flow直观而高效地组织和管理数据流动。基于预定义好的各种Flow，可以借助Module、Component、Flow甚至任一可调用的对象，轻松地构建和管理复杂的应用程序。目前LazyLLm中实现的Flow有Pipeline、Parallel、Diverter、Warp、IFS、Loop等，几乎可以覆盖全部的应用场景。
使用指南
•
对话机器人
代码块
# set environment variable: LAZYLLM_OPENAI_API_KEY=xx
# or you can make a config file(~/.lazyllm/config.json) and add openai_api_key=xx
import lazyllm
t = lazyllm.OnlineChatModule(source="openai", stream=True)
w = lazyllm.WebModule(t)
w.start().wait()
如果使用一个本地部署的模型，请确保自己安装了至少一个推理框架(lightllm或vllm)
代码块
import lazyllm
# Model will be download automatically if you have an internet connection
t = lazyllm.TrainableModule('internlm2-chat-7b')
w = lazyllm.WebModule(t)
w.start().wait()
•
检索增强生成（RAG）
支持RAG常用组件：Document、Parser、Retriever、Reranker等。
代码块
import os
import lazyllm
from lazyllm import pipeline, parallel, bind, _0, Document, Retriever, Reranker
prompt = '你将扮演一个人工智能问答助手的角色，完成一项对话任务。在这个任务中，你需要根据给定的上下文以及问题，给出你的回答。'
documents = Document(dataset_path='/file/to/yourpath', embed=TrainableModule('bge-large-zh-v1.5'))
with pipeline() as ppl:
with parallel().sum as ppl.prl:
prl.retriever1 = Retriever(documents, parser='CoarseChunk', similarity_top_k=6)
prl.retriever2 = Retriever(documents, parser='SentenceDivider', similarity='chinese_bm25', similarity_top_k=6)
ppl.reranker = Reranker(types='ModuleReranker', model='bge-reranker-large') | bind(ppl.input, _0)
ppl.post_processer = lambda nodes: f'《{nodes[0].metadata["file_name"].split(".")[0]}》{nodes[0].get_content()}' if len(nodes) > 0 else '未找到'
ppl.formatter = (lambda ctx, query: dict(context_str=ctx, query_str=query)) | bind(query=ppl.input)
ppl.llm = lazyllm.TrainableModule('internlm2-chat-7b').prompt(lazyllm.ChatPrompter(prompt, extro_keys=['context_str']))
mweb = lazyllm.WebModule(ppl, port=23456).start().wait()