#检索增强生成

1个月前

#BestBlogs 深入聊聊 RAG | 大淘宝技术文章深入剖析 RAG 技术各环节的实现细节与优化策略，强调通过精细化调优文档分块、索引、编码、混合检索与重排，以提升 AI 应用召回率与精确率。摘要：本文由大淘宝技术团队撰写，旨在为 RAG 实践者提供从快速使用到深度优化的宝贵参考，解决 RAG 在 AI 应用开发中常被视为黑盒、难以定位和持续优化的问题。文章深入探讨了 RAG（Retrieval Augmented Generation）技术的实现细节和优化策略，详细拆解了其核心链路，包括文档分块（Chunking）的语义切分和多模态/Agentic Chunking 策略；索引增强（Indexing），涵盖了语义增强和反向 HyDE 两种方法；编码（Embedding）环节中编码模型语言、词汇表和语义空间对效果的影响；混合检索（Hybrid Search）通过结合稀疏向量（BM25）和稠密向量（Transformer-based embedding）提升召回和精确率；以及重排序（Re-Ranking）利用 Cross-Encoder 进一步优化检索结果。文章强调每个环节都需要结合具体场景进行调优，以平衡召回率与精确率，并倡导从快速使用走向深度优化的实践路径。主要内容: 1. RAG 各环节深度优化是提升 AI 应用效果的关键 -- 将 RAG 从黑盒变为可调优的白盒，通过精细化管理 Chunking、Indexing、Embedding、Hybrid Search 和 Re-Ranking 等模块，显著提升召回率与精确率。 2. 文档分块需结合语义和场景选择策略 -- 应考虑语义 Chunking、多模态 Chunking 或 Agentic Chunking，并根据文档特性调整分块大小和相似度阈值，确保知识内聚性。 3. 混合检索与重排能有效平衡检索的广度与精度 -- 混合检索结合关键词和语义匹配，提升召回率；重排则进一步筛选最相关文档，提高最终结果准确性。文章链接：

#RAG技术 #大淘宝技术团队 #AI应用优化 #检索增强生成 #深度优化策略

3个月前

local-ai-packaged 是一个开源的本地 AI 开发环境模板，通过 Docker Compose 集成了多种主流工具，包括 n8n、Supabase、Ollama、Open WebUI、Flowise、Qdrant、Neo4j 和 SearXNG 等。用户可以通过该项目一键部署本地大型语言模型（LLM）、AI 代理和检索增强生成（RAG）等应用。n8n 负责自动化和工作流编排，Supabase 和 Qdrant 提供数据及向量数据库支持，Ollama 实现本地 LLM 推理。Neo4j 用于知识图谱场景，SearXNG 可以作为隐私友好的搜索引擎。 Open WebUI 和 Flowise 提供方便的可视化界面，用于与 LLM 和 AI 工作流交互，简化了应用开发和使用体验。所有组件均在本地部署，保障了数据隐私和自主控制，适合开发、测试和个性化扩展。详细内容和部署方法见项目仓库：

#开源 #AI开发 #Docker Compose #n8n #Supabase #Ollama #Open WebUI #Flowise #Qdrant #Neo4j #SearXNG #本地部署 #大型语言模型 #AI代理 #检索增强生成

6个月前

问：什么是 RAG？ RAG（检索增强生成，Retrieval-Augmented Generation）是一种结合了信息检索和生成式人工智能的技术。通俗地讲，它先通过检索，从数据库或互联网等外部知识源中找到与问题相关的内容，再利用生成模型（如GPT）基于这些内容生成答案。这种方式让模型不仅依靠训练时学习到的知识，还能实时获取最新信息，从而更准确地回答问题。举个简单的例子：假设你问AI：“2025年奥运会在哪里举办？”普通生成模型可能无法回答，因为训练数据仅截至2023年。但使用RAG技术，AI会先去检索最新的网络或知识库内容，确认“2025年奥运会将在巴黎举行”，然后再生成具体回答。这种技术让AI变得更可靠、更具实时性。 RAG的核心优势在于既能发挥生成模型灵活表达的能力，又能利用检索保证信息的准确性和时效性，适用于问答系统、客服机器人、知识助手等场景，是未来人工智能发展的重要方向之一。

#RAG #检索增强生成 #信息检索 #生成式人工智能 #GPT #生成模型 #外部知识源 #实时获取信息