#向量数据库

狂奔滴小马

3周前

什么向量数据库，如何对接 vercel ai sdk?

#向量数据库 #Vercel AI SDK #技术 #对接 #中性

1个月前

听了Zilliz创始人Charles的分享，我有几点收获笔记跟大家分享：五年前我们开始做向量数据库时，这还算是个相对前沿的技术方向。直到2023年随着RAG技术的成熟，这个领域才真正具备了商业化的可能性。这让我想到，有些技术的价值需要时间来验证，过早商业化往往会遇到很多问题。作为基础设施软件领域的创业者，我们早期也面临着商业化困难的挑战。坚持投入了五年时间，团队累计投入了约300人年，才慢慢看到曙光。基础设施产品的特性决定了它需要长期的打磨和积累，急功近利很容易半途而废。对于创始团队而言，我认为建立一套产品成熟度的检查清单非常重要，同时还要密切关注市场趋势的变化。在条件不成熟时，千万不要为了商业化而盲目行动，那样不仅浪费资源，还可能错失真正的机会。当决定商业化时，我建议组建新的专业团队。原来负责社区运营的同事虽然在社区建设方面有优势，但他们的思维方式和能力模型可能与商业化需求存在差异。我们要做的是发挥他们的优势，而不是试图让他们同时满足多个角色的要求。 "慢就是快"这句话在基础设施领域尤其适用。我们要建立长期主义的心态，不要被短期利益诱惑。如果一开始就抱着赚快钱的心态，很容易在困难面前退缩。基础设施产品需要时间来建立壁垒，需要持续投入才能看到回报。和2C产品不同，基础设施技术产品的市场规模评估应该从全球视角出发，不需要局限于某个单一市场。我们要考虑的是技术本身的普适性和应用场景的广度，而不仅仅是眼前的区域市场。从全球视角看，这一波AI革命的发展速度确实远超以往。国内的科技公司应该坚定地投入进去，这不仅是一次技术迭代，更像是移动互联网浪潮那样的时代机遇。我们需要保持学习和创新的热情，抓住这个难得的发展窗口。这些经验对所有科技创业者都有启发：坚持长期价值、尊重技术规律、保持开放视野，这些或许就是成功的关键。

#Zilliz #向量数据库 #RAG技术 #商业化 #长期主义

2个月前

对比下两种不同的说法： 1）书，在未来会成为“embedding化的智能副本” 2）“把这本书RAG一下” 更具体一点，多说一句话来解释：把一本书的文本切块，处理成高维向量（embedding）后放进向量数据库（vector DB）；读者可以直接对书（的embedding）提问，用相似度算法把最相关段落检索出来，然后llm基于这本书的内容来回答读者问题。简称为“RAG”。

#Embedding #RAG #向量数据库 #LLM #文本处理

3个月前

向量数据库选 Qrant 还是 Milvus ？

#向量数据库 #Qrant #Milvus #数据库选型

5个月前

建议大家，别在简历里写“熟悉 RAG”了，或者面试前好好学学。我面试过不少人，说熟悉 RAG，结果一问就穿帮。 RAG 绝大多数工程师只碰到前半段：拿个 LangChain，上个向量库，把 chunk 和 embedding 丢进去跑个检索；看起来跑通了，实际啥也没掌握。但只要你简历上写了，面试官就会问你下面这些（当然不写也不一定逃得过）： - chunk 是怎么切的？固定？语义？还是自适应？ - embedding 模型选型和维度怎么来的？ - rerank 用没用？怎么融合 BM25 和 dense 检索？ - prompt 是你写的吗？有没有评估 hit rate、hallucination？说实话，不是算法出身的人，如果没系统做过推荐系统或者检索优化，很多人说不清。 RAG 的前半段几乎就是推荐系统那套召回 + 排序 + 精排的逻辑： embedding = 向量化特征建模检索 = 多路召回 rerank = 打分排序但后半段还多了 prompt 设计、上下文拼接、生成模型行为控制这几个大坑。所以我劝一句： RAG 真不是写个向量库调用就叫“熟悉”。写了，面试官只会当你能答全链。别轻易说“熟悉”或“掌握”，你扛不住问。

谷歌Deep Research：AI操作系统雏形？· 123 条信息

#RAG面试 #LangChain #向量数据库 #检索优化 #prompt设计

9个月前

DailyDoseofDS 这个图把传统 RAG 和 Agentic RAG 之间的差异分的比较清楚。传统 RAG 就是先把文档向量化保存到向量数据库，然后在用户查询时，对用户的问题也做向量化，从向量数据库中找到相关的文档，再把问题和找出来的结果交给 LLM 去总结生成。这种方式的优点就是简单，由于不需要太多次和 LLM 之间的交互，成本也相对低，但缺点是经常会因为做相似检索时，找不到合适的结果，而导致生成结果不理想。 Agentic RAG 则是在过程中引入 AI 智能体： - 先对用户的查询内容用智能体进行重写，比如修正拼写错误等 - 智能体判断是不是还需要额外的信息，比如可以去搜索引擎搜索，或者调用工具获取必要的信息 - 当 LLM 生成内容后，在返回给用户之前，让智能体去检查答案是不是和问题相关，是不是能解决用户的问题，如果不行，则返回第一步，修改查询内容，继续迭代，直到找到相关的内容，或者判断该问题无法回答，告知用户结果。当然这样做的缺点是成本要相对高一些，并且耗时会更长。

#RAG #Agentic RAG #向量数据库 #LLM #自然语言处理 #信息检索 #数据处理

10个月前

给我的机器人加了几个工具：编辑文件，他需要编辑部分而不是每次都是全部更新整个文件；增加经验，（这个还需要一个搜索的，所以以后应该会把他每天批量移到一个向量数据库理让机器人搜索，以后动态构建系统提示词）；查文档的，这个项目比较简单让他读文件，还做了一个查rag的我的机器人laoded了

#机器人 #编辑文件 #经验积累 #向量数据库 #系统提示词 #文档查阅 #RAG