从 0 开始搞定 RAG 应用（一）

时间：2024-10-09 14:48:30

前言

LLM 已经从最初的研究性转变为实际应用性，尤其在今年各大 LLM 厂商都在研究 LLM 的商业化落地方案（包括我司）。而在各种商业化场景中个人觉得最具有使用价值和最能体现 LLM 的商业化场景就是 RAG 的使用。

什么是 RAG

大家都知道 LLM 的能做的事情很多，但是有一些工作它是无法做到的，那就是领域知识和最新的知识。

领域知识一般指企业里面私有化的数据，因为这部分的知识 LLM 是无法获取和知道的。

LLM 训练的数据是基于比较老的数据 ，然而最新的信息它也无法知道，这部分的数据一般的情况是基于 RAG 来实现（目前可以联网的 LLM 也是基于 RAG 实现的）。

RAG，即检索增强生成（Retrieval-Augmented Generation），是一种结合了信息检索技术与语言生成模型的人工智能技术。这种技术主要用于增强大型语言模型（Large Language Models, LLMs）处理知识密集型任务的能力，如问答、文本摘要、内容生成等。

RAG的核心思想是让语言模型在生成回答或文本时能够动态地从外部知识库中检索相关信息。这种方法能够提高模型生成内容的准确性、可靠性和透明度，丰富大模型的知识，同时减少“幻觉”（即模型生成看似合理但实际上错误的信息）。

也许有的人会问 RAG 难么？

我一般的回答是：说简单就简单，说难也挺难。如下图：

从 0 开始搞定 RAG 应用（一）_agent

从上图我们可以看到，构建一个如此的 RAG 涉及的流程和功能是挺多的。而且这也是一个工程化的项目。 本系列文章逐步揭开 RAG 领域的神秘面纱：

构建简单 RAG

本系列文章需要你简单懂 langchain、Python、向量数据库等相关的知识

构建一个简单的流程一般有下面的几个步骤：

  • 文档加载
  • 文档拆分为 chunk
  • 文档向量化（需要向量化模型）
  • 向量化存储
  • prompt 编写
  • LLM 配置、初始化
  • 提问（query -> 检索 -> 构建 prompt -> LLM -> answer）

简单 RAG 如图所示：

从 0 开始搞定 RAG 应用（一）_llm_02

安装环境以及安装包

pip install langchain_community tiktoken langchain-openai langchainhub chromadb langchain

配置

本文中使用 AZURE 服务，在项目目录下面新建一个 .env 文件，配置内容如下：

我们只需要设置 model = os.environ.get("AZURE_EMBEDDING_TEXT_MODEL") 就可以了。langchain 会自动读取这些环境变量。

AZURE_OPENAI_ENDPOINT=""
AZURE_DEPLOYMENT_NAME_GPT35="gpt-35-turbo"
AZURE_DEPLOYMENT_NAME_GPT4="gpt-4"
AZURE_EMBEDDING_TEXT_MODEL="text-embedding-ada-002"

然后加载配置信息

import os, dotenv
 # 加载.env 文件
 dotenv.load_dotenv(".env")

代码实现过程

我们根据官方文档中 RAG 快速开始的代码，结合我们自己实际的情况来实现一个简单的 RAG 应用。

1、加载依赖包

import bs4, os
 from langchain import hub
 from langchain.text_splitter import RecursiveCharacterTextSplitter
 from langchain_community.document_loaders import WebBaseLoader
 from langchain_community.vectorstores import FAISS
 from langchain_core.output_parsers import StrOutputParser
 from langchain_core.runnables import RunnablePassthrough
 from langchain_openai import AzureChatOpenAI, AzureOpenAIEmbeddings
 from langchain.prompts import PromptTemplate

2、加载文档

这里我们抓取我先前发布的一篇文章：

使用bs4来抓取文章，并配置抓取的内容为文章块（也就是class 为 "article", "article-title" 中的内容）。关于 bs4 的是用可以查看官方文档。

# 加载文档
 loader = WebBaseLoader(
     web_paths=("https://juejin.cn/post/7366149991159955466",),
     bs_kwargs=dict(
         parse_only=bs4.SoupStrainer(
             class_=("article", "article-title")
         )
     ),
 )

3、文档拆分为小块

是用 langchain 的文档加载器，并进行文本的拆分。

chunk_size：文档块大小

chunk_overlap：文档块重叠大小

这两个属性挺重要的，会直接影响到最终的答案的准确性。

# 文档加载器加载文档
 docs = loader.load()
 # 进行文档拆分
 text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
 splits = text_splitter.split_documents(docs)

4、实例化向量模型

实例化 embedding 模型 AzureOpenAIEmbeddings,关于向量化模型选择什么的问题，需要注意的是与选择的向量数据库需要兼容，由于不同的向量模型向量化文本后的维度与向量数据库不一致的情况，会导致查询或者向量存储的时候出现问题。

文档向量化过程：

从 0 开始搞定 RAG 应用（一）_数据库_03

embeddings = AzureOpenAIEmbeddings(
     model=os.environ.get("AZURE_EMBEDDING_TEXT_MODEL")
 )

5、向量数据库保存、检索

文档检索过程：

从 0 开始搞定 RAG 应用（一）_agent_04

  • 向量数据库,这里我们是用本地向量数据库 FAISS。
  • 配置向量数据库的需要向量化的文档（splits）
  • 配置向量数据库的向量模型（embeddings）
vectorstore = FAISS.from_documents(
     documents=splits, 
     embedding = embeddings
 )
 
 # 设置检索器（用来向量查找文档相似度的）
 retriever = vectorstore.as_retriever()
# 打印检索的 documents
 def format_docs(docs):
     return "\n\n".join(doc.page_content for doc in docs)

检索已经的功能已经完成，我们可以尝试向量检索文本：

result = retriever.invoke("提高LLM的方法有哪些？")
 format(result)

检索到的文档内容（这里还是文档的原始内容）

'[Document(metadata={\'source\': \'https://juejin.cn/post/7366149991159955466\'}, page_cnotallow=\'回答不完整\\n有时候 LLM 的回答并不完全错误，但会遗漏了一些细节。这些细节虽然在上下文中有所体现，但并未被充分呈现出来。例如，如果有人询问“文档A、B和C主要讨论了哪些方面？”对于每个文档分别提问可能会更加适合.....

6、构建 prompt

在 LLM 的是用场景中，prompt 是一个重要的缓解，相信大家已经对 prompt 有了一定的了解。

简单说 prompt 是我们告诉 LLM 的要做什么、怎么做的指令（可以简单也可以很复杂）。下面的 prompt 是构建 RAG 的简单的 prompt：

# 首先我们需要一个 prompt 模板
 # prompt = hub.pull("rlm/rag-prompt")
 prompt_template = """
 You are an assistant for question-answering tasks. Use the following pieces of retrieved context to answer the question. If you don't know the answer, just say that you don't know. Use three sentences maximum and keep the answer concise.
 
 Question: {question} 
 
 Context: {context} 
 
 Answer:
 """
 prompt = PromptTemplate.from_template(prompt_template)  # 这一步是为了把 prompt 模板格式化

初始化 LLM， LLM 的配置会自动获取环境变量中的值。读者可以根据自己的实际情况配置，并不一定要是用 OpenAI 服务，字节的豆包大模型也是可以的。

# 初始化 LLM， LLM 的配置会自动获取环境变量中的值。
 llm = AzureChatOpenAI(
     azure_deployment=os.getenv("AZURE_DEPLOYMENT_NAME_GPT35"),
     temperature=0
 )

7、构建 chain

最后一步就是想 LLM 提问，是用 langchain 构建 chain。 关于 langchain 的 chain 能力，不熟悉的可以去官网了解。

# 构建 chain
 rag_chain = (
     {"context": retriever | format_docs, "question": RunnablePassthrough()}
     | prompt
     | llm
     | StrOutputParser()
 )

所有的步骤已经完成，我们可以是用 LLM 来回答问题

# 开始提问
 rag_chain.invoke("提高LLM的方法有哪些？")
 
 # '提高LLM的方法包括使用查询转换来确保全面理解问题并作出回应，以及添加一层查询理解层，进行一系列的Query Rewriting。另外，可以采用路由、查询重写、子问题和ReAct代理选择器等转换方法来优化RAG系统的效能。最后，通过对RAG系统挑战的深入分析和优化，可以提升LLM的准确性和可靠性，大幅提高用户对技术的信任度和满意度。'
rag_chain.invoke("文章中提到了哪些优化方案？")
 # '抱歉，我不知道。'

总结

本文是 RAG 系列文章的第一篇，初步介绍了 RAG 是什么，有什么作用，构建一个 RAG 应用的几个步骤

  • 文档加载：将文档（网页、常用文档）解析为 langchain documents 对象的过程
  • 文档拆分: 将大的文档进行拆分为 chunk，并配置 chunk_size,overloop 属性，两个属性会影响 rag 的最后的效果。
  • 文档向量化：将高维度的文本转换为向量表示的过程
  • 向量化存储：将向量数组、原文当一起存储到向量数据库
  • prompt 编写：构建 LLM 的指令
  • LLM 配置、初始化
  • 提问（query -> 检索 -> 构建 prompt -> LLM -> answer）


需要源码的评论区回复：

如果对你有帮助，点赞????+收藏。关注下篇文章

相关文章