当前位置:首页 » 《我的小黑屋》 » 正文

RAG基础知识概述

24 人参与  2024年03月27日 12:35  分类 : 《我的小黑屋》  评论

点击全文阅读


RAG(Retrieval-Augmented Generation)是一种自然语言处理模型架构,旨在结合检索和生成两个关键的NLP(Natural Language Processing)任务。RAG模型可以应用于诸如问答系统、文本摘要、对话系统等多个领域。

1.1 RAG模型概述

检索增强生成(Retrieval Augmented Generation),简称 RAG,已经成为当前最火热的LLM应用方案。RAG是结合检索和生成任务的自然语言处理模型架构,RAG模型通常包括如下两个主要组成部分:

信息检索模块:用于从大型文本数据中检索相关的信息;生成模块:用于生成输出文本。这种结合检索和生成的方法旨在提高模型的性能,特别是在涉及特定领域知识或需要引用外部信息的任务中。

1.1.1 RAG推出背景

使用过ChatGPT、文心一言、科大讯飞等大模型的读者应该对大模型的能力有了一定的了解,但当我们将大模型应用于实际业务场景时会发现,通用的基础大模型基本无法满足我们的实际业务需求,主要原因如下:

知识的局限性:大型语言模型的知识完全源于其训练数据,而这些训练数据主要构建于公开网络数据。对于实时性、非公开或离线的数据,大模型无法获取,导致模型在某些领域缺乏专业知识。幻觉问题:所有AI模型的底层原理基于数学概率,其输出是数值运算。在缺乏特定领域知识或面对不擅长的场景时,大模型有时会产生不准确或不切实际的结果。对于用户来说,区分这种幻觉问题可能是困难的,需要用户自身对特定领域有一定的了解。数据安全性:企业对数据安全性极为重视,不愿意承担将私域数据上传到第三方平台进行训练的风险。这使得通用大型语言模型在数据安全和模型效果方面需要进行权衡。计算资源需求:大型语言模型在推理时需要大量计算资源,可能对一些实时性能要求高的业务应用造成挑战。模型的规模和计算效率成为需要考虑的因素之一。

上面的这些原因强调了在实际业务应用中,通用大型语言模型可能无法直接满足特定业务需求,需要更加灵活和定制化的解决方案。检索增强生成(RAG)等结合检索和生成的模型架构被提出,以弥补上述通用大模型的一些不足,特别是在处理特定领域知识和需要引用外部信息的任务中。

总结起来,RAG的优点如下所示。

矢量搜索融合:RAG 通过将矢量搜索功能与生成模型集成,引入了一种新颖的范例。这种融合使得大型语言模型 (LLM)能够生成更丰富、更具上下文感知的输出。减少幻觉:RAG 显着降低了法学硕士的幻觉倾向,使生成的文本更加基于数据。个人和专业实用程序:从筛选笔记等个人应用程序到更专业的集成,RAG 展示了在提高生产力和内容质量方面的多功能性,同时基于值得信赖的数据源。

1.2 RAG的实现过程

RAG融合是一种用于(可能)提升RAG应用检索阶段的技术,其 基本实现过程是利用大模型生成多个查询,通过向量搜索检索相关信息,注入到生成模块的 Prompt 中,最终由大模型生成答案。如图1-1所示。
在这里插入图片描述
具体来说,RAG实现过程的主要步骤如下所示。

(1)问题提问:用户通过向大型语言模型(LLM)提出问题,这个问题将作为RAG的输入。

(2)检索技术:RAG使用检索技术从各种数据源中获取与用户问题相关的信息。这可以包括在大型文本数据集中进行关键词匹配、相似度计算或者其他检索方法,以找到与问题相关的内容。

(3)信息注入:RAG将从检索中获取的信息与用户的问题一同注入到LLM的提示中。这样,LLM在生成答案时可以综合考虑用户提问的问题和检索到的外部信息。

(4)LLM生成答案:带有注入信息的LLM提示被用于生成最终的答案。LLM会利用其深度学习架构,结合用户提问和检索到的信息,生成相应的自然语言文本作为答案。

(5)答案返回:RAG将LLM生成的答案返回给用户,完成整个问答过程。

实现RAG的关键在于有效整合检索技术和大型语言模型,以使得模型能够利用外部信息,提高对特定问题的准确性和适应性。这个结合检索和生成的方法使RAG在处理特定领域的问题时更为灵活和有针对性。在实际中,可以根据具体任务和需求调整RAG的实现细节。

未完待续…


点击全文阅读


本文链接:http://zhangshiyu.com/post/86502.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

最新文章

  • 全书浏览一见青山云端月(苏浅歌沈廷淮)_一见青山云端月(苏浅歌沈廷淮)全书结局
  • 你来时风起云涌(陆翊夏天瑜赵歆)
  • [错认女儿后,前未婚夫跪求我当平妻]全文+后续_沈意宁宁沈母全集阅读
  • (姜若凝楚淮舟剜月寄无书)剜月寄无书姜若凝楚淮舟全书+后续免费全书_姜若凝楚淮舟剜月寄无书_笔趣阁(剜月寄无书姜若凝楚淮舟全书+后续)
  • (番外)+(结局)时星祁宸衍(离谱!被死对头强娶豪夺了全书+番外+后续)_(时星祁宸衍)列表_笔趣阁(离谱!被死对头强娶豪夺了全书+番外+后续)
  • 往梦难复温创作编写列表_往梦难复温创作编写(沈淮霆宋思予)
  • 「爱意破碎,只留风雨」删减内容修复版本_白玥陈致恒万宁情感冲突名场面试读章
  • (沈淮霆宋思予往梦难复温)往梦难复温沈淮霆宋思予全书+后续免费全书_沈淮霆宋思予往梦难复温_笔趣阁(往梦难复温沈淮霆宋思予全书+后续)
  • [如果回到曾经,我也不会选你]关键剧情节选解锁_「沈辞柳妙湘大屏幕」最新章节免费阅读
  • 爱意消散于那夜免费试读_司南袁宁文修最新章节免费阅读
  • (番外)+(全书)往梦难复温全书++番外(沈淮霆宋思予)完结_(沈淮霆宋思予)列表_笔趣阁(往梦难复温全书++番外)
  • 春到南楼雪尽处优质全章(傅庭州苏枝夏)_春到南楼雪尽处优质全章

    关于我们 | 我要投稿 | 免责申明

    Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1