2020年，RAG的宗旨被提议；然后2022年ChatGPT之类的大模子启动兴起云开体育，RAG在知谈大模子的生成上起到了不小的作用。这篇著述，咱们来了解下RAG的基本旨趣和使用场景。

AIGC爆火以后，应时而生的RAG到底都是什么？为什么会有这些产物呢？

拿谎言语模子例如来说，自身的才智很弘大，但也存在一定的缺欠，比如输出的内容天际太泛、输出的内容风光不安妥预期、数据落伍、在专科界限问题胡编乱造等情况，为了克服以上问题，第一种方式是微调，不外生成模子依赖内在常识，即使作念了微调，依然无法惩办幻觉问题。此外，内容场景中，信息、策略、数据及时都在更新，除非对模子进行高频的微调，不然模子的老练速率永久赶不上外部信息更新的速率，而高频微调资本就太高了。

在2020年，检索增强生成RAG（Retrieval-Augmented Generation）的次第被提议，其主要作用肖似搜索引擎，愚弄外部常识库，找到与用户发问最辩论的常识或历史对话，献媚原始问题，创造信息丰富的Prompt，教授大模子（LLM）生成更准确的输出。

一、界说

是献媚了检索时间与生成式东谈主工智能的时间框架，旨在愚弄外部常识增强模子的回复准确性和高下文辩论性。适用于需要高准确性、界限常识和动态信息的场景。

二、惩办的问题

1. 常识更新不足时

数据落伍，关于大模子老练完成之后发生的最新事情，大模子难以给出谜底。

2. 容易产生幻觉

如持造事实、不按用户指示生成回复。

出现幻觉的原因：老练常识的偏差（海量数据源中含造作信息）、过度泛化的推理（把庸俗的模式推理用到了某些特定场景，以偏概全）、清楚存在局限性（问题太难，在一些需要深入清楚与复杂推理的任务重可能出错）、艰巨专科界限的常识（没学过，瞎编一个谜底 ）。

3. 数据安全问题

谎言语模子莫得企业里面数据和用户数据，如里面数据上传至云霄进行存储和处理，就可能存在数据深切的风险，RAG就不需要将自特殊据上传至云霄。

三、RAG基本旨趣

1.RAG旨趣如下图：

基本过程要领：常识库准备、镶嵌模子、存入向量数据库、查询检索、生成回复。

第一步：文档分块

常识库不错是自便文本或妥洽，文档内容可能很是大，需要将长文本切分为多个小块/段落进行存储，以便高效处理和检索信息（另外一个原因是在向量化阶段，常见的文本编码模子如Bert都有最长的文本输入限定）。需谨防分块的尺寸，若分块太小，固然查询更精确，但所需的调回时候更长；若分块太大，则会影响查询精确度。

第二步：镶嵌模子

将分块后的文本鼎新为向量款式，就能通过浅易的估计向量之间的互异性，来识别语义上附进的句子。

第三步：存入向量数据库

将镶嵌模子生成的向量数据存储至向量数据库。其上风主如若能把柄数据向量的同样度，快速定位、检索数据，结束好多传统数据库无法结束的功能，如在电影中搜索破绽的片断。

第四步：用户查询、检索

用户输入的问题会被输入到镶嵌模子中，进行向量化处理，然后系统会从向量数据库中搜索与问题向量语义上附进的常识内快活历史对话记载并复返，这即是检索增强。

第五步：交融、生成回复

将上一步检索到的辩论内容与用户的发问相交融，构建出一个Prompt（指示词），将其输入到大模子（LLM）中，由大模子（LLM）生成最终的效劳并复返。

四、RAG应用场景

1.问答系统

RAG把柄检索到的辩论信息生成准确谜底，匡助东谈主员更快赢得所需信息。如搭建企业里面常识库，新职工培训手册查询、公司端正轨制查询等。

2.智能客服系统

RAG不错献媚产物良友常识库、聊天记载、用户响应等数据，自动为用户提供更精确的回复。

3.个性化系统保举

RAG不错检索用户的购买记载、浏览步履、个东谈主偏好等数据，生成个性化的产物和奇迹保举，提高用户满足度和鼎新率。

4.智能数据分析

RAG不错献媚外部数据源，如数据库、API、文献等，为用户提供更方便的数据分析奇迹。传统企业的数据分析主要靠数据分析师，每天需写多量的SQL语句进行查询，而在RAG撑持下，企业职工能以当然对话的方式快速赢得数据。如门店店长径直用语音对话，“请帮我找出上周销量排行前10，但本周销量下滑最快的品类”，系统即可径直给出效劳。

5.自动化文档处理

愚弄RAG自动化文档处理过程，如自动生成合同、撰写周报、追溯会议纪要等，从简时候与东谈主力资本。

五、一些拓展

1. RAG和常识图谱的献媚

以晋升数据质料为前提时：可缔造常识图谱，来惩办。镶嵌模子固然浅易，但无法有用捕捉实体之间的复杂相关和档次结构，是以导致传统RAG在靠近复杂问题时，绝顶吃力。如用户发问“《跳跃界限》这本书的主旨是什么”传统RAG时间确定是回复不出来的，但常识图谱不错作念到，因为愚弄常识图谱对数据集缔造索引时，会索务实体与实体之间的相关，这么就构建一种全局性的上风，从而晋升RAG的精确度。

但常识图谱固然弘大，可惜资本太高，会大幅晋升Token的销耗。

2. RAG与AI Agent

AI Agent自己和Rag是相反相成的相关。Rag系统为AI Agent提供耐久挂牵才智，而AI Agent的缱绻与反念念也会为Rag系统提供很是好的缱绻照管和路由才智。

Prompt与RAG的共享就到这里了，但愿对你有所匡助，宽贷一都探究学习。

本文由 @不知名产物露 原创发布于东谈主东谈主都是产物司理。未经作家许可，不容转载

题图来自Unsplash，基于CC0合同

该文不雅点仅代表作家本东谈主云开体育，东谈主东谈主都是产物司理平台仅提供信息存储空间奇迹