检索增强生成
RAG (Retrieval-Augmented Generation)
检索增强生成(RAG)是一种结合了信息检索和文本生成的技术,旨在让大语言模型基于外部知识库给出准确回答,从而减少幻觉。
详细解释
大语言模型(LLM)的知识被“冻结”在训练完成的那一刻,它不知道最新的新闻,也不知道你公司的内部文档。如果你直接问它,它可能会“胡编乱造”(即幻觉)。
RAG(Retrieval-Augmented Generation) 的工作流程是:
- 检索(Retrieval):根据用户的问题,在外部数据库(通常是向量数据库)中搜索最相关的文档片段。
- 增强(Augmented):将搜索到的文档片段作为背景上下文(Context),拼接在用户的问题中。
- 生成(Generation):把拼接好的长文本发给 LLM,让 LLM “基于提供的背景资料”来回答问题。
RAG 的优势
- 解决知识滞后:无需重新训练模型,随时更新数据库即可。
- 保护数据隐私:企业私有数据只在数据库和 API 间流转,不用去微调模型。
- 来源可追溯:LLM 可以明确指出它的回答引用自数据库中的哪一份文档。
常见问题
RAG 和微调(Fine-tuning)哪个更好?
RAG 适合补充新的知识和事实,成本低且更新快;微调更适合让模型学习特定的说话风格或复杂的垂直领域逻辑。现代企业应用通常以 RAG 为主。