RAG 应用设计中的实际考虑因素
输入“/”快速插入内容
RAG 应用设计中的实际考虑因素
RAG 应用设计中的实际考虑因素
2024年8月19日修改
作者：AI 搜索引擎
RAG（检索增强生成）架构已经成功地克服了 LLM 输入长度的限制和知识截止的问题，突显了在当前 LLM 技术领域中的重要性。RAG 以本地知识为基础，减轻了幻觉，是使 LLM 应用可审核的根本之一。有许多关于如何构建 RAG 应用程序的示例，同时也涉及各种类型的向量数据库。
尽管 RAG 应用程序在演示中表现出色，但许多人注意到其在投入生产中存在一些挑战。本文将深入研究 RAG 应用程序开发的一些实际细节。
#1 以完美的LLM为基准
假设我们拥有一个生成式 LLM，其输入长度不受限制，那么输入字符串的长度不会对生成式 LLM 的准确性产生影响。此外，它的行为与所有其他流行的 LLM 完全相同。我们将这个模型称为“完美的 LLM ”。我们之所以认为它是完美的，并非因为它具有出色的性能，而是因为它具备我们所需的无限输入长度，但是这在今天是不可能的。无限的输入长度确实是一个令人向往的特性。事实上，一些充满野心的项目已经做好了长期投入 LLM 项目的打算，其中不乏项目正在研究输入长度为100万个 token 的 LLM 的可能性。然而，即使是100万个 token，恐怕在应用程序中仍然不足以满足实际业务中大量文档的需求，因为它仍然只相当于4-5MB。
现在的问题是：当你拥有如此完美的 LLM 时，你是否仍会考虑 RAG 架构呢？毕竟具有无限输入长度的完美 LLM 降低了构建复杂 RAG 的必要性。然而，答案是你仍然需要考虑 RAG 架构。生成式 LLM 必须按顺序处理内容，输入越长，速度越慢。RAG 架构不仅有助于克服 LLM 输入长度的限制，还可以降低 LLM 调用成本并提高处理速度。
在设计 RAG 应用程序时，我们需要以假设的完美 LLM 为基准来审视 RAG 应用程序，以清晰了解 RAG 的优缺点，并找出改进我们 RAG 应用程序的方法。
#2 RAG 效果预期
通过基线模型，生成式人工智能应用程序的输入一次性直接传递给 LLM。这样，LLM 就有机会充分理解输入文本中的所有信息。最终结果的准确性完全依赖于生成 LLM 的表现。
图1 完美的LLM
对于普通的 RAG 应用程序，最终性能会受到两个组件的影响：语义搜索方法和 RAG 实现。RAG 架构采用嵌入模型来生成真实知识和查询的向量，然后使用向量相似度函数检索最相关的内容。嵌入模型提取文本含义的能力至关重要。在 RAG 的开发中，除了嵌入模型之外，还有大量的实现细节，这些也会严重影响最终的结果。换句话说，RAG 的输出准确性将取决于生成式 LLM 的准确性、语义搜索的准确性和 RAG 信息保存率的乘积。下文会解释 RAG 信息保存率的概念。
图2 RAG性能链
由于三个因素都不可能100%的达到预期，因此 RAG 应用程序的预期准确性会低于基于相同但完美的 LLM 模型的应用程序。如果 RAG 设计不当，其性能会显著下降。这是在设计 RAG 应用程序时要牢记的第一个要点。否则，意外的表现可能会让我们大吃一惊。
由于最终性能受这三个因素的影响，因此 RAG 应用程序设计必须围绕这三个组件进行，以此来实现令人满意的结果。
#3 信息保存
LLM 模型和语义搜索都无法达到100%的准确率，RAG 也是如此。下面来解释一下什么是RAG信息保存率。
我们输入应用程序的文本语料库可以包含非常丰富的信息。让我们看一下语料库中有什么以及这些信息是如何输入到 LLM 中的：