典型案例讲解:Rerank+RAG增强落地案例

一只产品汪啊 2024-07-13 00:59:28
[哇R]目前企业或者个人99%的情况无一例外采用RAG增强技术,一个案例说明什么是RAG技术 👍一个典型的 RAG 案例如下图所示,包含3个步骤: 索引:将文档库分割成较短的 Chunk,并通过 Embedding 编码器构建向量索引。 检索: 根据 Prompt 问题和 Chunks 的相似度检索相关文档片段。 生成 :以检索到的上下文为增强条件,最终生成 Prompt 问题的回答 👍Rerank + RAG 增强落地 Rerank 是一种重排序技术,通过引入 Rerank,可以在不牺牲准确性的情况下加速大模型的查询(实际上可能提高准确率),Rerank 通过从上下文中删除不相关的节点,重新排序相关节点来实现这一点 👍RAG 框架:LlamaIndex,LlamaIndex 是一个基于大语言模型应用的数据框架,用于增强大语言模型的能力。 这种基于大语言 模型的应用被称为 RAG 应用,对标微调(Fine-tuning)技术 👍👍👍最后比较重要的如何选择适合的大模型 根据不同的任务,需要的大语言模型的能力是不同的 ✅分类任务选用 3B 参数量 ✅翻译任务选用 7B 参数量 ✅意图识别选用 13B 参数量 ✅Action 函数调用(Function Calling)选用 70B 参数量 ✅在以上实践原则下,对于闭源大模型可以考虑:OpenAI ChatGPT系列和百度文心一言系列 对于开源大模型可以考虑:阿里 Qwen 1.5、智谱 ChatGLM3、百川3、Llama 2

0 阅读:0
一只产品汪啊

一只产品汪啊

感谢大家的关注