时政
财经
科技
登录
#手写代码
关注
ginobefun
3周前
#BestBlogs RAG 技巧与底层代码剖析 | 阿里云开发者 使用 Python 基础库从零实现 RAG 内核,深入剖析文本分块、语义搜索及上下文增强技巧。 摘要: 本文旨在通过手写代码的方式帮助读者深入理解 RAG 的工作原理,避免过度依赖现有框架。 文章首先展示了使用 Python 基础库实现简易 RAG 系统的过程,包括数据导入、固定长度文本分块、Embedding 创建和基于余弦相似度的语义搜索,并提供了代码示例。接着,详细介绍了基于语义的文本分块方法,对比了其与传统方法的优势,并阐述了百分位法、标准差法、四分位距法等切分点判定策略,同样给出了基于语义分块的代码实现。最后,文章引入并实现了“上下文增强检索”技巧,即在检索到最相关文本块的同时包含其前后相邻块,以提供更丰富的上下文信息给语言模型,从而提升回答质量。通过代码实践,文章有效地揭示了 RAG 的核心逻辑和关键优化方向。 主要内容: 1. 手写 RAG 核心模块有助于深入理解其工作原理。 -- 通过仅使用 Python 基础库和常用科学计算库实现 RAG 流程,能更清晰地掌握从数据处理到响应生成的底层逻辑。 2. 语义分块比固定长度分块更能捕获完整语义单元。 -- 基于句子间语义相似度进行智能切分,能有效避免语义割裂,提高检索到的上下文质量和相关性。 3. 上下文增强检索能为 LLM 提供更全面的信息。 -- 在检索结果中包含相关文本块的邻近内容,能丰富大模型获得的背景知识,减少因信息不完整导致的回答偏差。 文章链接:
#RAG
#Python
#文本分块
#语义搜索
#上下文增强
#阿里云开发者
#手写代码
#工作原理
分享
评论 0
0
Kai
1个月前
vibe coding 时代写代码更累了 旧时代:全部手写,直接设计架构开始写就行了 新时代:需要写 prompt,然后 ai 输出一堆质量很不错的代码,在修改的时候,就比较麻烦了。 如果你选择手改,那需要理解现有的代码,然后才能做出更改,有时候花费的精力不如直接手写 如果选择 AI 改,那么就需要花脑子 prompt AI 修改,这个充满各种技巧,也不是轻松的事情 然后就出现一个痛苦的纠结。 在见识了 AI 输出代码的速度和质量后,再选择手写,你就感觉自己的效率恢复到了旧时代,有种在开车和走路之间选择了爬的感觉 选择 AI 写,脑子会更累。旧时代,你可以一边慢慢写代码,一遍思考架构和需求。但在AI 时代,AI 输出太快了,脑子需要更急的思考和阅读代码,然后理出下一个 prompt 要怎么写 如果感受的话,旧时代像自行车,虽然慢,但可以慢慢思考和调整路线 AI 像是一个极高性能的车,一脚油门就可以走特别远,但也需要人更快的思考速度和驾驭能力,否则就更容易翻车,写出一堆乱七八糟的代码和架构
#Vibe Coding
#AI编程
#代码修改
#旧时代编程
#新时代编程
#手写代码
#Prompt工程
#AI辅助开发
#初学者编程挑战
#编程效率
分享
评论 0
0
个人主页
通知
我的投稿
我的关注
我的拉黑
我的评论
我的点赞