#上下文增强

avatar
ginobefun
3周前
#BestBlogs 聊聊 AI 应用架构演进 | 阿里云开发者 文章梳理了 AI 应用架构从简单调用到复杂 Agent 模式的演进过程与关键技术组件。 摘要： 文章循序渐进地阐述了 AI 应用架构的演进路线，从最初用户直接与大语言模型交互，到逐步引入关键增强层。首先，强调上下文增强（如 RAG）的重要性，用于弥补模型知识的时效性和领域局限性。接着，讨论了输入输出防护（Guardrails）对用户隐私和系统安全的重要性，并列举了常见的 Prompt 攻击类型及防御思路。文章进一步介绍了意图路由和模型网关的设计，以支持多功能应用和统一管理异构底层模型。随后，探讨了缓存机制在提升性能和降低成本方面的作用。最终，架构演进至具备规划和外部交互能力的 Agent 模式。文章还分析了 AI 应用的可观测性指标及通过批处理、并行计算等优化推理性能的方法。 主要内容: 1. 上下文增强（RAG）弥补模型局限性，提升特定场景输出质量 -- 通过动态检索和补充外部知识，确保模型能处理时效性信息和特定领域问题，输出更准确关联的数据。 2. 输入输出防护是保障用户隐私和系统安全的关键架构层 -- 在用户输入和模型输出端增加隐私脱敏、恶意内容检测和过滤，有效防范数据泄露和 Prompt 攻击。 3. 引入 Agent 模式赋予 AI 应用规划和执行外部操作的能力 -- 使 AI 应用从被动问答转变为主动解决复杂任务，具备思考、使用工具及与外部环境交互的能力。 4. 模型网关统一管理底层异构模型调用，提升扩展性和运维效率 -- 为上层应用提供统一的调用接口，并处理访问控制、负载均衡、监控等非功能性需求。 5. 推理性能优化（批处理、并行计算）是提升 AI 应用响应速度的核心 -- 通过 Batching 和 Parallelism 等技术，有效降低 Time to First Token 和 Time per Output Token，提升整体吞吐。 文章链接：
#AI应用架构 #agent模式 #关键技术组件 #上下文增强 #大语言模型
avatar
ginobefun
3周前
#BestBlogs RAG 技巧与底层代码剖析 | 阿里云开发者 使用 Python 基础库从零实现 RAG 内核，深入剖析文本分块、语义搜索及上下文增强技巧。 摘要： 本文旨在通过手写代码的方式帮助读者深入理解 RAG 的工作原理，避免过度依赖现有框架。 文章首先展示了使用 Python 基础库实现简易 RAG 系统的过程，包括数据导入、固定长度文本分块、Embedding 创建和基于余弦相似度的语义搜索，并提供了代码示例。接着，详细介绍了基于语义的文本分块方法，对比了其与传统方法的优势，并阐述了百分位法、标准差法、四分位距法等切分点判定策略，同样给出了基于语义分块的代码实现。最后，文章引入并实现了“上下文增强检索”技巧，即在检索到最相关文本块的同时包含其前后相邻块，以提供更丰富的上下文信息给语言模型，从而提升回答质量。通过代码实践，文章有效地揭示了 RAG 的核心逻辑和关键优化方向。 主要内容: 1. 手写 RAG 核心模块有助于深入理解其工作原理。 -- 通过仅使用 Python 基础库和常用科学计算库实现 RAG 流程，能更清晰地掌握从数据处理到响应生成的底层逻辑。 2. 语义分块比固定长度分块更能捕获完整语义单元。 -- 基于句子间语义相似度进行智能切分，能有效避免语义割裂，提高检索到的上下文质量和相关性。 3. 上下文增强检索能为 LLM 提供更全面的信息。 -- 在检索结果中包含相关文本块的邻近内容，能丰富大模型获得的背景知识，减少因信息不完整导致的回答偏差。 文章链接：
#RAG #Python #文本分块 #语义搜索 #上下文增强 #阿里云开发者 #手写代码 #工作原理