详解LLM Agent中工具使用工作流
输入“/”快速插入内容
详解LLM Agent中工具使用工作流
详解LLM Agent中工具使用工作流
2024年8月26日修改
作者：还就可 | 深入LLM Agent应用开发
我们在文章 [LLM-Agents] 提升LLM性能利器Agents workflow 我们提到Agent的四种工作流：反思、工具使用、推理和多智能体协作。在此之前，我们已经在前面文章中阐述了反思设计思想。本篇我们将深入Agent工作流第二部分：工具使用。Andrew.Ng教授在 文章 [1] 将工具使用定义为LLM被赋予可以请求调用的函数，用于收集信息、采取行动或操纵数据，是一种Agent工作流的主要设计模式。
Tool Use, in which an LLM is given functions it can request to call for gathering information, taking action, or manipulating data, is a key design pattern of AI agentic workflows. -- Andrew.Ng
我们知道单纯的依赖LLM预训练的知识是无法解决一些诸如数学计算、代码运行、实时的天气预报等问题的，常见的做法是当用户提出问题时，触发LLM生成特定格式的字符串，以请求调用相应的工具，LLM会决定执行网络搜索以获取相关信息，或者运行代码来执行特定计算。然后，系统会处理这些字符串，调用相应的功能，并将结果返回给LLM，以供进一步处理和回答用户的问题。或许你已经在前文Reflexion框架中初步了解如何在LLM流程中使用wikipedia这样的工具，在其他聊天工具比如Copliot中也有见过使用网络搜索的案例。
著名的LLM应用开发框架Langchain中甚至内置了 几十种工具 [2] 供开发者使用，比如ArXiv、Bing Search、Wikipedia、Youtube、Google、PubMed、Python REPL、HuggingFace和Yahoo Finance Data等。
开发者通过提供描述函数的详细说明和函数期望的参数信息来引导LLM去解析获取相关信息，然后自动选择调用正确的函数来完成任务。在多模态大模型未出来之前，有些研究者拓展了函数调用，使其能够调用图像识别模型或者生成模型进行处理图像，使得LLM不在局限于文本处理方面的工作。接下来，我们先了解一下 OpenAI提供的Function Calling [3] 接口和响应是如何进行函数调用。
1. OpenAI函数调用
•
请求
代码块
curl https://api.openai.com/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
"model": "gpt-4-turbo",
"messages": [
{
"role": "user",
"content": "What'\''s the weather like in Boston today?"
}
],
"tools": [
{
"type": "function",
"function": {
"name": "get_current_weather",
"description": "Get the current weather in a given location",
"parameters": {
"type": "object",
"properties": {
"location": {
"type": "string",
"description": "The city and state, e.g. San Francisco, CA"
},
"unit": {
"type": "string",
"enum": ["celsius", "fahrenheit"]
}
},
"required": ["location"]
}
}
}
],
"tool_choice": "auto"
}'