#LLM记忆

1周前

EverMemOS：企业级智能记忆系统 LLM训练大致分为三个阶段，Pre-Training学知识，SFT学说话，Post-Training学思考。这样的LLM用作问答没有问题，但是用作AI助理或者家庭机器人就有一个非常致命的缺点：LLM没有记忆，每次对话默认从零开始。除非附带历史信息，LLM不会记得你的任何信息，无法提供个性化、连贯的服务。 LLM记忆的设计模式主要分为两类：第一类是模拟人类的记忆方式（来自论文CoALA），第二类是从计算机工程的角度设计（Letta提出）。拟人化记忆的四种记忆类型： · 临时记忆：当前对话的内容，对应到LLM就是context，LLM的context的长度通常是256K tokens，Gemini则能达到1M tokens。 · 事实类记忆：这类记忆通常对所有人都是一样的。对于人类来说，就是人学到的知识和事实，例如水在0度结冰、小明不喜欢吃香菜；对于LLM，就是关于用户的信息，例如用户是男性、名字叫Gorden。 · 经历类记忆：这类记忆则因人而异。对于人类来说，就是发生过的事，例如上个周末去了公园、吃了火锅；对于LLM来说，过去的聊天记录提炼出来的总结都可以算作这类记忆，例如用户提问了如何减肥。 · 技能类记忆：对人类来说，就是如何开车这种学会后不必再思考、形成了本能的技能；对于LLM来说，就是system prompt，例如让LLM回复时必须使用Json格式。（例如）计算机工程出发的记忆类型： · 消息缓冲区：即当前对话内容，对应拟人化记忆的临时记忆。 · 核心记忆：由智能体维护的事实类记忆，但是对于当前对话，只取有关联的事实用作上下文。 · 历史对话记录：包括所有完整的历史对话记录，在必要是搜索使用。 · 压缩类记忆：存储在外部的、经过提炼且加了索引的知识和记忆，通常用向量数据库存储，在查询后把信息放到上下文中。比历史对话记录更高效。 EverMemOS主要使用的是拟人化记忆模式，结合了工程类记忆的效率实践，设计了多层次、多类型的记忆结构。存储记忆的大致流程是： 1）识别对话中的关键信息，提炼成记忆单元； 2）按对话主题、对话用户，与之前的记忆整合，梳理出脉络和用户画像； 3）建立记忆的关键词和索引，用于快速召回；如何调用记忆调用记忆的核心挑战是如何避免因为记忆过多、查询过慢导致响应时间变长。对于需要快速响应的对话，EverMemOS直接使用RRF融合算法（Reciprocal Rank Fusion）；对于复杂的场景，Agent会生成2-3个互补查询，补全缺失的信息，提升复杂问题的覆盖面，然后并行查询出需要使用的记忆。召回多层次的记忆后，再与当前对话内容拼接，整合成完整的上下文，给出最终的回复。一个典型的例子是你让AI给你推荐饮食，AI可以联想到你前几天做了牙科手术，从而有针对性的调整建议。通过 "结构化记忆 → 多策略召回 → 智能检索 → 上下文推理" 的记忆和召回路径，EverMemOS在LoCoMo评测里达到了 92.4% 的推理准确率**，**为目前最佳。长时间的记忆里、高准确率的召回率，是AI助理和AI机器人的必需能力，2025年是Agent的元年，2026会成为记忆的元年。 Github：

#EverMemOS #智能记忆系统 #LLM记忆 #AI助理 #LoCoMo评测

3个月前

#BestBlogs 那天，AI 大模型想起了，被「失忆」所束缚的枷锁｜机器之心 | 机器之心文章全面综述了 LLM 记忆能力的发展现状、类型、实现机制及未来挑战，从短期记忆到长期记忆，以及多模态和参数化记忆的最新进展。摘要：文章深入探讨了大型语言模型记忆能力的关键发展，指出 LLM 正从短期上下文记忆迈向跨会话的长期记忆。文章首先介绍了 Google Gemini、Anthropic Claude、OpenAI ChatGPT 和 xAI Grok 等主流大模型在记忆功能上的最新进展，强调了记忆在提升 AI 交互自然度和连贯性方面的核心作用。接着，文章详细阐述了 LLM 记忆的几种主要类型：受限于上下文窗口的“上下文内记忆”（短期记忆）、基于外部数据库和 RAG 技术的“外部记忆”（长期记忆）、将信息编码进模型参数的“参数化记忆”，以及受人类认知启发的“分层式记忆”和“情境记忆”。文章还列举了 MemGPT、MemOS、MIRIX、G-Memory、M3-Agent、记忆层和 BTX 等具体实现记忆功能的项目和研究，涵盖了从内存管理到多模态记忆和原生模型记忆的多种创新方案。最后，文章分析了当前记忆系统面临的挑战，如遗忘机制、效率与成本平衡，并展望了多模态原生、终身自主演化和智能体间共享协作等未来趋势，指出记忆是通往通用人工智能的关键一步。主要内容: 1. 大模型记忆能力正从短期迈向长期和跨会话。 -- 早期 LLM 记忆受限于上下文窗口，而最新进展使模型能跨多轮对话记住用户偏好和历史信息，提升交互连贯性。 2. LLM 记忆分为多种类型，外部记忆是当前主流的长期记忆方案。 -- 包括上下文内记忆（短期）、外部记忆（RAG）、参数化记忆，以及类人的分层/情境记忆，其中外部记忆通过向量数据库实现海量信息存储和检索。 3. 记忆不再是简单存储，而是涉及存储、检索、提炼和遗忘的复杂机制。 -- MemGPT、MemOS 等系统将记忆视为系统资源进行管理，MIRIX 等项目则对记忆进行多层细化和智能处理，提升记忆的效率和准确性。 4. 多模态记忆和将记忆原生融入模型是未来重要趋势。 -- 随着多模态 AI 发展，记忆需处理图像、视频等信息；Meta 的记忆层和 RockAI 的 Yan 2.0 Preview 尝试将记忆直接编码进模型参数，实现更深层次的内化。 5. 构建智能记忆系统面临挑战，是实现 AGI 的关键。 -- 挑战包括遗忘机制、效率成本平衡，未来需发展综合记忆架构、智能体间共享记忆，并实现记忆的自动演化，最终通向通用人工智能。文章链接：

#LLM记忆 #长期记忆 #多模态记忆 #AI挑战 #通用人工智能