#LLM记忆

3天前

#BestBlogs 那天，AI 大模型想起了，被「失忆」所束缚的枷锁｜机器之心 | 机器之心文章全面综述了 LLM 记忆能力的发展现状、类型、实现机制及未来挑战，从短期记忆到长期记忆，以及多模态和参数化记忆的最新进展。摘要：文章深入探讨了大型语言模型记忆能力的关键发展，指出 LLM 正从短期上下文记忆迈向跨会话的长期记忆。文章首先介绍了 Google Gemini、Anthropic Claude、OpenAI ChatGPT 和 xAI Grok 等主流大模型在记忆功能上的最新进展，强调了记忆在提升 AI 交互自然度和连贯性方面的核心作用。接着，文章详细阐述了 LLM 记忆的几种主要类型：受限于上下文窗口的“上下文内记忆”（短期记忆）、基于外部数据库和 RAG 技术的“外部记忆”（长期记忆）、将信息编码进模型参数的“参数化记忆”，以及受人类认知启发的“分层式记忆”和“情境记忆”。文章还列举了 MemGPT、MemOS、MIRIX、G-Memory、M3-Agent、记忆层和 BTX 等具体实现记忆功能的项目和研究，涵盖了从内存管理到多模态记忆和原生模型记忆的多种创新方案。最后，文章分析了当前记忆系统面临的挑战，如遗忘机制、效率与成本平衡，并展望了多模态原生、终身自主演化和智能体间共享协作等未来趋势，指出记忆是通往通用人工智能的关键一步。主要内容: 1. 大模型记忆能力正从短期迈向长期和跨会话。 -- 早期 LLM 记忆受限于上下文窗口，而最新进展使模型能跨多轮对话记住用户偏好和历史信息，提升交互连贯性。 2. LLM 记忆分为多种类型，外部记忆是当前主流的长期记忆方案。 -- 包括上下文内记忆（短期）、外部记忆（RAG）、参数化记忆，以及类人的分层/情境记忆，其中外部记忆通过向量数据库实现海量信息存储和检索。 3. 记忆不再是简单存储，而是涉及存储、检索、提炼和遗忘的复杂机制。 -- MemGPT、MemOS 等系统将记忆视为系统资源进行管理，MIRIX 等项目则对记忆进行多层细化和智能处理，提升记忆的效率和准确性。 4. 多模态记忆和将记忆原生融入模型是未来重要趋势。 -- 随着多模态 AI 发展，记忆需处理图像、视频等信息；Meta 的记忆层和 RockAI 的 Yan 2.0 Preview 尝试将记忆直接编码进模型参数，实现更深层次的内化。 5. 构建智能记忆系统面临挑战，是实现 AGI 的关键。 -- 挑战包括遗忘机制、效率成本平衡，未来需发展综合记忆架构、智能体间共享记忆，并实现记忆的自动演化，最终通向通用人工智能。文章链接：

#LLM记忆 #长期记忆 #多模态记忆 #AI挑战 #通用人工智能