万字长文深度解析LLM Agent规划框架：HuggingGPT
输入“/”快速插入内容
万字长文深度解析LLM Agent规划框架：HuggingGPT
万字长文深度解析LLM Agent规划框架：HuggingGPT
2024年9月2日修改
作者：还就可 | 深入LLM Agent应用开发
书接上回 详解大语言模型LLM Agent中规划 工作流 ，我们说到 HuggingGPT，它是一个结合了ChatGPT和Hugging Face平台上的各种专家模型，以解决复杂的AI任务，可以认为它是一种结合任务规划和工具调用两种Agent工作流的框架。 它的工作流程主要分为以下几个步骤：
•
任务规划：使用ChatGPT分析用户的请求，理解他们的意图，并将其分解为可能可解决的任务。
•
模型选择：为了完成规划的任务，ChatGPT根据模型的描述选择托管在Hugging Face上的专家模型。
•
任务执行：调用并执行每个选定的模型，然后将结果返回给ChatGPT。
•
响应生成：最后，使用ChatGPT整合所有模型的预测结果，并生成响应。
图 1
光说不练假把式，我们先尝试运行，然后逐步分析各个阶段的Prompt设计和代码设计。
1. 运行
1.1 安装依赖
安装server依赖
代码块
cd JARVIS/hugginggpt/server
conda create -n jarvis python=3.8
conda activate jarvis
pip install -r requirements.txt
安装前端页面
代码块
cd ../web
npm install
注意，requirment.txt中的的werkzeug要更新为 Werkzeug==2.2.2 ，否则Flask会报不兼容问题。这里没有安装pytorch之类的，因为我们不打算在本地下载模型，所需空间过于巨大，直接访问线上的模型。
1.2 修改配置
既然需要在线使用HuggingGPT的模型，那么我们需要到 HuggingGPT [1] 上申请Token。修改 server/configs/config.lite.yaml ，更新huggingface token。另外我们要使用本地的LLM模型，需要修改 openai->api_key ，必须添加sk开头的字符串，不然报错。必须添加 local->endpoint , 就是你本地openai的地址。此外，你可能还要修改是否采用续写 use_completion 和模型。如果无法访问HuggingGPT你还需要添加proxy。
代码块
openai:
api_key: sk-xxxx # added
huggingface:
token: hf_xxx # updated
dev: true
debug: false
log_file: logs/debug.log
model: gpt-3.5-turbo # updated
use_completion: false # updated
inference_mode: huggingface # local, huggingface or hybrid, prefer hybrid
local_deployment: minimal # minimal, standard or full, prefer full
num_candidate_models: 5
max_description_length: 100
proxy: http://127.0.0.1:7890 # optional: your proxy server "http://ip:port"
local:
endpoint: http://localhost:11434 # updated
...
此外，还需要修改 server/awsome_chat.py ，添加API_KEY否则也无法运行本地LLM。