AI既不会宽恕也不会遗忘

背景

本文源自 Hacker News 上的一篇深度评论文章，作者从工程实现层面剖析了 AI 系统的记忆机制，指出一个关键矛盾：AI 既无法像人类一样自然遗忘，也不具备真正意义上的宽恕能力。文章将 “forgive and forget” 这个成语拆解为两个独立过程——遗忘是生物基底的被动属性，而宽恕是在此之上主动习得的技能。当前所有商用 AI 架构中，这两者皆不存在：机器没有设计任何主动衰减的机制，也没有实现“保留记录但不据此行动”的操作原语。这一现状并非隐喻性的情绪表达，而是由底层硬件（权重、上下文窗口、向量检索、日志备份）的具体设计所决定的工程事实。

核心内容

四种记忆，无一自然衰减

当人们笼统地说“AI 永不遗忘”时，往往指的是单一系统并视其为整体。实际上，现代 AI 系统在四个不同位置存储你的过去，每种记忆都以各自有缺陷的方式（或完全无法）遗忘。

1. 权重（Weights）——最持久的记忆。模型在训练中见过的所有信息都被模糊地压缩在数十亿参数中。一旦写入，我们不知道如何将其精确移除。这不是政策缺口，而是一个开放研究问题。“机器遗忘”（Machine Unlearning）——在不从头重训的情况下消除特定训练数据的影响——在任何实际规模上仍未解决。你可以从数据库删除行，但无法删除它留下的梯度。这就是“被遗忘权”与机器学习持续冲突的安静原因：法律假定遗忘就是删除，而底层基底根本没有删除操作。

2. 上下文窗口（Context Window）——工作记忆。它的遗忘方式像电灯开关，而非调光器。在窗口内，注意力机制视每个 token 同样可达：你的第一句话和最后一句话具有相同的可访问性，不会因时间久远而衰减。然后会话结束，一切骤然完全消失。只有两种状态：过目不忘或一片空白。人类终其一生都活在这两极之间的灰色地带，而几乎所有社会机制都栖居于此。

3. 检索存储（Retrieval Store）——这里问题变得尖锐。嵌入向量不会模糊。余弦相似度没有时间轴。三年前的记忆与昨天的记忆以完全相同的保真度返回，不带任何“很久以前”的感觉。在向量空间中，整个过去是共存的，仅一次最近邻查找之遥。过去不是异国他乡，而是相邻的行。

4. 日志（Logs）——快照、副本和备份意味着，即使有意的遗忘也成了一个分布式系统工程问题：墓碑标记、保留窗口、备份可能比你自以为执行的删除存活更久。

机器拥有的遗忘是错误的那种

神经网络确实会不断遗忘，只是方式非常糟糕。训练新任务时，它倾向于整批覆盖旧知识——这就是“灾难性遗忘”（McCloskey & Cohen, 1989）。这至今仍是为什么你无法轻易让已部署的模型学习新东西而不危及已有知识的原因。上图（原文中展示的）中的陶土悬崖：完美保存直到突然完全丧失。

即便在单个会话内，Transformer 也会意外遗忘。“Lost in the Middle”研究（Liu et al., 2023）显示，模型回忆长上下文开头和结尾的信息远好于中间同样信息。没人设计这一点，它是一个涌现的盲区，一种非原则性的遗忘，恰好落在架构薄弱之处。

所以真实情况并非一个永不遗忘的机器，而是一个要么完美记忆、要么彻底丢失的机器，几乎没有任何中间状态。而恰恰是人类记忆所在的那个“中间”。

遗忘是特性，不是缺陷

被称为“遗忘”的东西并非为了衰减而衰减。Hermann Ebbinghaus 在 1880 年代测量了遗忘曲线：先快后平。但现代解读更有趣。Richards 和 Frankland 在 2017 年论文《记忆的持久与短暂》中直接论证：遗忘是一个主动的、适应性的过程，旨在帮助概括。一个保留所有细节的大脑会过拟合自己的过去。让细节褪去，主旨才得以提升为可复用的东西。遗忘是有目的的压缩。

其下有一个机器根本不具备的机制：当你回忆一段记忆时，你并非读取它，而是重新打开它。回忆动作让记忆短暂不稳定，然后以改变后的样子重新存储——这就是“再巩固”（Nader, Schafe & LeDoux, 2000）。这意味着人类记忆本质上是“读-修改-写”。每次回忆都是一次小编辑。而机器记忆是只读的：检索返回的是原样未变的向量，字节对字节，无论你拉取多少次、无论你现在知道了什么。

最后一点是安静的：在人脑中，记忆附加的情感和事实分别衰减。时间不会删除发生的事情，它会抽走其中的热度。只读存储无法抽走热度，因为它根本没有热度的概念。记录和其电荷是同一个不可变对象。

没人构建的那个操作

回到标题。如果你试图用一个工程师能实现的方式定义“宽恕”，你会得到非常具体的描述：保留完整保真度的记录，并阻止它驱动行为，同时让它驱动行为的选项仍然完全可用。保留、重新加权，并故意不按它行动——在你本可以轻易行动的情况下。

现在审视工具箱，发现没有任何东西能做到这一点：

• 机器遗忘是强制删除。那是失忆症，不是宽恕——你没有放下，你销毁了记录。
• TTL、衰减计划、过期记忆是驱逐。定时遗忘。
• RLHF 和微调是一次性对所有内容设定全局倾向。没有针对单条记忆的恩典，没有“以完整保真度保留这条，并选择这一次不依赖它”。

没有任何操作符能做这件事。在我交付或阅读过的任何框架中都不存在。最接近的是“封口”（muzzling），即系统被配置成永不提及该事件，这也不是宽恕——因为宽恕只有在怨恨确实可取而你没有取用时才具有意义。一个无论是否记忆都表现相同的存储，甚至无法表达这个选择。

为何我们有而它们没有

诚实的答案是成本。生物记忆在代谢上代价高昂——神经元和突触燃烧能量维持——因此大脑持续承受修剪、压缩和放手的压力。稀缺性是老师。我们遗忘是因为保留昂贵，而我认为我们放下某事也出于相关原因：背负怨恨也很昂贵。两种恩典（遗忘和宽恕）都是在预算约束下进化出来的。

机器没有这样的预算。存储几乎是免费的。保留一段记忆不花任何成本，保留一个怨恨也不花任何成本，因此永远没有释放的压力。没有任何东西昂贵到需要放手。

这在我看来并非悲观，而是有趣，因为它指明了修复的源头——不是更大的上下文窗口或更好的价值观文档。如果机器有一天学会中间态——优雅衰减、可分离的情感电荷、可以握住但不被它支配的记忆——那将来自让记忆和怨恨具有成本。来自稀缺性。与我们相同的老师。

在此之前，精确定义我们在部署什么值得深思。我们正在将完美回忆的系统放入人际关系中间，而这些关系是围绕不完美回忆悄然演化的。第二次机会从来不是写好的政策。它们是生物学的产物，一份馈赠。

关键要点

• 现代 AI 系统在四个独立位置存储记忆：权重、上下文窗口、检索存储和日志——每个都有独特的遗忘缺陷或完全无法遗忘。
• “机器遗忘”是一个未解决的开放研究问题；从神经网络中移除特定训练数据的影响而不重训在现实规模上不可行。
• 上下文窗口的记忆只有两种状态：完美可访问或完全消失，缺乏人类记忆的灰度渐变。
• 向量检索存储没有时间衰减轴：三年前的记忆与昨天的记忆同精度返回，不带旧感。
• 日志和备份使得有意的遗忘也变得困难（备份可能比删除指令存活更久）。
• 神经网络存在“灾难性遗忘”：学习新任务时可能整批覆盖旧知识；Transformer 还有意外中间盲区（Lost in the Middle）。
• 人类遗忘是主动适应过程（再巩固），每次回忆都是“读-修改-写”，而机器记忆是只读（检索不改向量）。
• 人类记忆的情感和事实分别衰减（热度可被抽走），机器没有分离机制。
• 宽恕的操作定义：保留完整记录但选择不据此行动，且该选择是自愿的（怨恨仍然可用）。当前所有技术（删除、TTL、RLHF）都无法实现此操作。
• 根本原因：生物记忆在代谢上昂贵，稀缺性促使遗忘和宽恕进化；机器存储近乎免费，没有