典型案例讲解:Rerank+RAG增强落地案例
一只产品汪啊
2024-07-13 00:59:28
[哇R]目前企业或者个人99%的情况无一例外采用RAG增强技术,一个案例说明什么是RAG技术
👍一个典型的 RAG 案例如下图所示,包含3个步骤:
索引:将文档库分割成较短的 Chunk,并通过 Embedding 编码器构建向量索引。
检索: 根据 Prompt 问题和 Chunks 的相似度检索相关文档片段。
生成 :以检索到的上下文为增强条件,最终生成 Prompt 问题的回答
👍Rerank + RAG 增强落地
Rerank 是一种重排序技术,通过引入 Rerank,可以在不牺牲准确性的情况下加速大模型的查询(实际上可能提高准确率),Rerank 通过从上下文中删除不相关的节点,重新排序相关节点来实现这一点
👍RAG 框架:LlamaIndex,LlamaIndex 是一个基于大语言模型应用的数据框架,用于增强大语言模型的能力。 这种基于大语言
模型的应用被称为 RAG 应用,对标微调(Fine-tuning)技术
👍👍👍最后比较重要的如何选择适合的大模型
根据不同的任务,需要的大语言模型的能力是不同的
✅分类任务选用 3B 参数量
✅翻译任务选用 7B 参数量
✅意图识别选用 13B 参数量
✅Action 函数调用(Function Calling)选用 70B 参数量
✅在以上实践原则下,对于闭源大模型可以考虑:OpenAI ChatGPT系列和百度文心一言系列
对于开源大模型可以考虑:阿里 Qwen 1.5、智谱 ChatGLM3、百川3、Llama 2
0
阅读:0