AI大语言模型的“幻觉”和“失忆症”,看这一篇就够了(AI记忆和RAG的前因后果)

我爱免费

作者：微信文章
点击蓝字 关注我们



你是否也困惑于，为何斥巨资、集万千算力于一身的AI大语言模型，会对昨天刚发布的新闻一无所知？或者在一次长达百轮的方案探讨后，它会突然“忘记”你最初设定的核心目标？Ai就像个博士与金鱼的矛盾体。

【RAG专集第一期】

在与AI大语言模型（LLM）共事的日子里，相信你我都有过类似的魔幻体验：

前一秒，它还能引经据典，从量子物理谈到古代哲学，宛如一位无所不知的智者；后一秒，当你让它总结一下刚刚持续了半小时的深度对话（计划一场成都旅行），或是问它关于上周发布的新闻时，它却可能一脸无辜地回答：“抱歉，我的知识截止于XXXX年”，或者干脆对之前的讨论内容“选择性遗忘”。



这种“天才”与“金鱼”并存的矛盾体质，正是当前所有大模型的通病，一种我们称之为“AI失忆症”的现象，它也是导致“AI幻觉”的原因。



这背后，隐藏着大模型核心架构中两种记忆机制的巨大差异和割裂。今天，就让我们一起深入AI的大脑，看看它的记忆究竟是如何工作的。

长期记忆，AI大脑里的“百科全书”

首先，我们来谈谈AI的“天才”一面。它的博学，源于其庞大无比的长期记忆机制。

在技术上，这份记忆并非存储在某个数据库里，而是被“编码”和“压缩”进了模型那数千亿个参数，最终凝结成一颗蕴含了人类海量知识的“丹药”——也就是我们使用的LLM。

这颗“丹药”一旦炼成，它的知识体系就基本固定了。它形成了一个关于世界的、宏大但静态的知识快照。

打个比喻： AI的长期记忆，就像一座在2023年某个瞬间不再收集书籍的巨型图书馆。馆内藏书包罗万象，从基础科学到流行文化应有尽有。AI可以随时从中提取信息，展现出惊人的知识广度。

这意味着两个致命的局限：

知识截止： 图书馆闭馆之后发生的所有新事件、新技术、新知识，馆内一概不知。

知识盲区： 这座图书馆只收录了公开出版物，对于任何私有知识，比如你公司的内部文档、项目代码库，它同样一无所知。



这就是为什么，当你问及最新资讯或私域问题时，即便是GPT-4/DeepSeek这样的顶级模型，也只能束手无策。它的长期记忆，决定了它的博学，也注定了它的“过时”与“局外人”身份。

短期记忆：AI手中的“临时便签”

聊完“天才”，我们再来看看“金鱼”这一面。为了让我们能与模型进行流畅的多轮对话，工程师们为AI设计了一种短期记忆机制。

这个机制在技术上被称为上下文窗口（Context Window）。

打个比喻： 如果说长期记忆是那座冰封的图书馆，那么短期记忆就像AI手中一张大小有限的临时便签。每次你开启一个新的对话，就等于拿到一张全新的便签。你们的每一轮对话，都会被实时记录在这张便签上。

AI在回答你下一个问题时，会同时“看”着这张便签上的所有历史记录，从而理解语境，保持对话的连贯性。这解释了为什么在一次对话中，你可以让它“根据我上面提到的需求，优化一下代码”，它能够心领神会。

然而，这张“便签”的容量是极其有限的（由Token数量限制，如8K, 32K, 128K Tokens）。当对话越来越长，便签写满了怎么办？系统只能无奈地将最早的记录划掉，为最新的内容腾出空间。



这就是长对话中AI会“忘记”开头部分的核心原因。导致AI会开始一本正经的胡说八道，称之为“AI幻觉”。

长短期记忆之间的鸿沟

现在，我们已经触及到了问题的核心。AI“失忆症”的根本病因，在于其长期记忆与短期记忆之间，存在着一条几乎无法逾越的鸿沟，既博学又健忘。



长期记忆（预训练参数）： 是“只读”的。训练一次的成本高达数百万甚至上千万美元，这个过程无法在与用户的日常交互中动态进行。它像一本精装出版的百科全书，内容无法更改。

短期记忆（上下文窗口）： 是“易逝”的。它像水面上的倒影，对话结束，记忆便随之消失。

人类学习的过程，是一个不断将短期记忆（比如今天阅读的文章、与人交流的心得）通过消化、吸收、反思，转化为长期知识和经验的过程。我们的“便签”内容，是可以被整理、归档并存入“大脑图书馆”的。



而当今的LLM，恰恰缺失了这种将短期记忆沉淀为长期记忆的能力。 这条鸿沟，是其架构层面的“先天缺陷”，也是限制其从一个“问答工具”走向一个真正“智能伙伴”的最大障碍。

破局之路：给AI一个“外置大脑”

既然模型自身的两个“内置记忆”系统存在如此巨大的鸿沟，我们不禁要思考：能否跳出这个框架，从外部寻找解决方案？

如果AI的“大脑图书馆”无法更新，我们能否给它一个可以随时查阅的、实时更新的“外挂知识库”？

如果它的“临时便签”太小且易逝，我们能否为它打造一个容量巨大、可永久存储的“外部记忆系统”？

这个思路，正是破局“AI失忆症”和“AI幻觉”的关键。我们不再试图去改造那个昂贵而封闭的“大脑”，而是为它设计一个强大的、可插拔的“外置大脑”。

这个“外置大脑”的方法，就是RAG（Retrieval-Augmented Generation，检索增强生成技术，简称RAG）。

RAG技术就像给AI配备了一个 "智能图书馆" 助手，让AI能够：实时查阅资料、获取最新信息、提供更准确的答案。

下一期，我们接着聊RAG如何解决AI记忆问题。