RAG 范式、技术和趋势

时间：2024-03-15 18:12:53

这里分享同济大学 Haofen Wang的关于检索增强生成的报告：《Retrieval-Augmented Generation (RAG): Paradigms, Technologies, and Trends》 ，RAG 范式、技术和趋势。

RAG 概述

为什么会有RAG, 主要是缘于LLM的一些不足：

  • 幻觉
  • 过时的信息
  • 参数化知识效率低
  • 缺乏专业领域的深入知识
  • 推理能力弱

对在企业里的真实的应用，需要综合考虑：

  • 领域支持的精准回答
  • 数据频繁更新的需求
  • 生成内容需要可追溯可解释
  • 可控的成本
  • 隐私数据保护

因此有了RAG(Retrieval-Augmented Generation 检索增强生成)，RAG的基本流程是，当回答问题时，首先从大量文档中检索到相关信息，然后基于这些信息，让LLMs生成答案。这样通过附加一个外部知识库，无需为每个特定任务重新训练整个大型模型。

image.png

因此RAG模型特别适合于知识密集型任务。

RAG 还是 Fine-tuning

要优化大模型，可以通过提示词优化（Prompt Engineering），RAG 和 Fine-tuning方法。 RAG 和 FT有什么区别？根据对外部知识的依赖程度和模型调整的需求，他们都有适合自己的应用场景。

image.png

RAG就像是为模型提供了一本定制的带有信息检索的教科书，非常适合特定领域的查询。另一方面，FT就像是随着时间的积累将知识内化的学生，因此更适合模仿特定的结构、风格或格式。FT可以通过增强基础模型的知识、调整输出和教授复杂指令来提高模型的性能和效率。然而，它不擅长整合新知识或快速迭代新的使用案例。RAG和FT并不是相互排斥的，它们是互补的，结合起来使用会产生更佳的效果。

RAG 应用

RAG 非常适合下面的场景：

  • 长尾数据
  • 频繁更新的知识
  • 需要验证和可追溯性的答案
  • 专业领域知识
  • 数据隐私保护

image.png

RAG 范式的演变

作者将RAG分为Naive RAG，Advanced RAG，和Modular RAG三种范式。

Naive RAG 就是传统的RAG 流程，先Indexing，然后Retrieval，最后Generation。Naive RAG在检索、生成和增强方面面临着许多挑战，因此随后提出了Advanced RAG范式，增加了预检索和检索后处理中的额外处理。在检索之前，可以使用query改写、routing路由和query扩展等方法来对齐问题和文档块之间的语义差异。检索后，对检索到的doc进行一个rerank，可以避免“中间丢失”现象，也可以对上下文进行过滤压缩，缩短窗口长度。

随着RAG技术的进一步发展和进化，产生了模块化RAG的概念。在结构上，它更*、更灵活，引入了更具体的功能模块，如查询搜索引擎和多个答案的融合。在技术上，它将检索与微调、强化学习和其他技术相结合。在流程方面，RAG模块经过设计和编排，形成了各种RAG模式。

然而，模块化RAG也不是突然出现的，三种方式存在继承与发展的关系。可以这么理解Advanced RAG是模块化RAG的一个特例，而Naive RAG是Advanced RAG的特例。

image.png

RAG的三个关键问题

  • 检索粒度 可以是token、短语，还是chunk，段落、实体或者知识图谱
  • 什么时候检索
  • 如何利用检索到的信息

image.png

关于检索什么层级的内容，我们可以从检索粒度的粗细，以及数据结构化的高低来看业界研究结果。

image.png

X轴结构化从低到高，Y轴从精细到粗粒度。
三个代表：

  • Chunk级别，非结构化数据，搜索会召回大量信息，但是准确度低，会包含冗余信息
  • 知识图谱，丰富的语义和结构化数据，检索效率低，效果严重依赖KG的质量
  • KNN-LMM 擅长处理长尾和跨域问题，计算效率高，但需要大量存储

如何使用检索到的内容

在推理过程中，将检索到的信息集成到生成模型的不同层中

image.png

检索的时机

按照检索的频率从低到高，有：

image.png

  • 一次检索，只检索一次，效率高，但可能导致检索结果相关度低
  • 自适应检索，平衡效率和检索效果
  • 每N个token检索1次，会导致检索次数过多，并召回大量冗余信息

RAG 技术发展树

image.png

RAG 关键技术

数据索引优化

  • 核心是chunk的策略：
    • Small-2-Big 在sentense级别做embedding
    • Slidingwindow 滑动窗口，让chunk覆盖整个文本，避免语义歧义
    • Summary 通过摘要检索文档，然后从文档中检索文本块。
  • 另外为了提升效果，还可以添加一些额外的meta信息，例如page，时间，类型，文档标题等。
  • 有了meta，就能进行过滤，或者增强信息量

image.png

Small 2 Big方法：

image.png

Abstract方法

image.png

伪metadata方法，也就是HyDE，y将用户的原始查询转换为一个或多个假设性文档。这些文档是针对查询构建的文本片段，它们包含了可能回答查询所需的信息，然后用这些文档计算embedding，从真实文档库检索真实的文档，识别出与原始查询最相关的文档，检索到的真实文档被用作生成响应的上下文信息，可以辅助语言模型生成更准确、更相关的回答。

image.png

meta过滤方法:

image.png

核心就是数据很多，通过meta过滤，可以减少范围，提高精度。

结构化检索文档库

可以分层组织检索文档库

  • Summary → Document方法， 用摘要检索取代文档检索，不仅可以检索最直接相关的节点，还可以探索与这些节点相关的其他节点。

image.png

  • Document → Embedded Objects 比如一个PDF文档具有嵌入对象（如表、图表），首先检索实体引用对象，然后查询底层对象，如文档块、数据库、子节点

image.png

KG作为召回数据源

GraphRAG 从用户的输入查询中提取实体，然后构建子图以形成上下文，并最终将其输入到大模型中进行生成

  • 使用LLM 从问题中提取关键entity
  • 基于提取的到entity实体，检索子图，并深入到一定的深度，比如2跳或者更多
  • 利用获得的上下文通过LLM生成答案

image.png

下面是一个具体的案例：
image.png

Query 优化

问题和答案并不总是具有很高的语义相似性，所以我们可以适当的调整query，以便获得更佳的检索效果，可以通过Query Rewriting改写技术和Query Clarification 澄清技术。

  • Query 改写： 将query改写成一个或者多个search query，分别查询，这样可以得到更佳的召回效果，比如下面例子中，问两个人的共同profession职业，那么可以先分别查询各自的，然后让大模型去解决。

image.png

  • Query Clarification

image.png

Embedding 嵌入模型优化

  • 一方面，可以选择一个合适的商用embedding 供应商，比如：

  • 另外一方面，可以自己微调embedding模型，现在业界有很多还不错的embedding模型，比如BAAI的BGE模型

image.png

  • 微调的方法，可以通过领域数据和下游任务需要去微调

image.png

检索流程优化

在检索流程方面，可以有Iterative迭代式检索，也可以Adaptive自适应检索

image.png

Hybrid (RAG+Fine-tuning) 融合RAG和FT

既可以检索FT，也可以生成FT，还可以进行检索，生成联合FT

image.png

相关研究总结

image.png

RAG 评估

  • 评测方法层面，可以检索和生成独立评测，也可以端到端进行评测
  • RAG 的评估办法很丰富，主要包括三个质量分数：上下文相关度、答案忠实度、答案相关度
  • 评估涉及四项核心能力：鲁棒性、拒识能力、信息整合能力和反事实解释
  • 评估框架方面，有 RGB、RECALL 等基准指标，以及 RAGAS、ARES、TruLens 等自动化评估工具，可以较全面地衡量 RAG 模型的性能。

image.png

下面补充一些信息：

image.png

具体来说，评估方法主要围绕其两个关键组件：检索（Retrieval）和生成（Generation）。评估这些组件的性能涉及到多个质量分数和能力，这些分数和能力共同反映了 RAG 模型在信息检索和生成过程中的效率。

检索质量评估指标：

  1. Hit Rate (HR)：命中率，衡量检索结果中相关文档的比例。高命中率意味着检索系统能够更准确地找到用户查询相关的信息。
  2. Mean Reciprocal Rank (MRR)：平均倒数排名，衡量检索结果中相关文档的平均排名的倒数。MRR 越高，表示检索系统的性能越好。
  3. Normalized Discounted Cumulative Gain (NDCG)：归一化折扣累积增益，用于衡量检索结果列表中相关文档的排名质量。NDCG 考虑了文档的相关性和排名位置。
  4. Precision：精确率，衡量检索结果中被正确识别为相关的文档的比例。
  5. Recall：召回率，衡量检索系统找到的相关文档占所有相关文档的比例。
  6. R-Rate (Reappearance Rate)：再次出现率，衡量检索结果中信息在后续生成文本中的出现频率。

生成质量评估指标：

  1. Context Relevance：上下文相关性，评估生成的文本与检索到的上下文之间的相关性。
  2. Answer Faithfulness：答案忠实度，确保生成的答案忠实于检索到的上下文，保持一致性。
  3. Answer Relevance：答案相关性，要求生成的答案直接相关于提出的问题，有效解决问题。
  4. Accuracy：准确性，衡量生成的信息的准确性。

RAG 技术栈与工业界实践

当前有LangChain、LlamaIndex、AutoGen等流行的开发框架，可以方便开发RAG应用。

image.png

工业界也有很多RAG应用。

image.png

总结与展望

RAG 技术框架

image.png

RAG 的三个研究热点

image.png

RAG 的挑战

  • 长上下文
  • 与FT的协同
  • 如何应用好LLM，充分挖掘利用LLM
  • 提升鲁棒性，比如如何处理错误的召回内容，如何过滤和验证召回内容
  • RAG 是否也遵循Scaling Law
  • 最佳工程实践，比如提升在大数据量下的检索延迟，如何保障隐私的检索内容不被LLM泄露

image.png

多模态扩展

将RAG从文本扩展到多模态

image.png

RAG 开发生态建设

扩展RAG下游任务，改善生态建设

image.png

相关文章