最近研究发现，AI领域已经取得了重要进展，给AI赋予了“长期记忆”能力。AI和人类一样也会遭遇灾难性遗忘，也就是“狗熊掰棒子”，每学一个新任务，就把旧任务遗忘了。这也是为什么教给AI一首诗，转身它就会忘掉作者的原因。这个问题在大语言模型中非常明显，每当它学习新内容时，旧知识就会被冲掉，仿佛每次关机都会格式化硬盘一样。即使是强大的Transformer架构也无法避免这个问题，要么重新训练烧电量很高，要么微调后也是“掰一个丢一个”。这种记忆差的问题和人类的顺行性遗忘症很相似，每天醒来一切都归零。 传统模型之所以存不下旧知识是因为设计本身的问题。它们把知识分为预训练知识和当前对话信息，中间像隔了一堵墙。预训练参数不敢随意改变，怕毁掉原有的知识库；而对话任务又必须实时更新，导致旧知识被新梯度覆盖。这个问题就像“狗熊掰棒子”，每次学习新东西就把旧的扔掉。科学家们曾尝试过很多方法修补这个问题，但效果都很有限。 康奈尔大学博士生Ali Behrouz在谷歌实习期间提出了一套嵌套学习框架，核心组件是MIRAS。他给出了解决方法：首先决定如何存储信息，将长期记忆和短期记忆分开保存；然后让模型知道哪些是重要的信息要记住；接着给模型一个动态过滤机制来清理无用数据；最后给模型制定学习规则。 团队把这个嵌套系统应用到了HOPE模型中，效果非常惊艳。学习新任务时，旧任务准确率几乎不变；而且新任务收敛速度更快；更重要的是不需要大张旗鼓地重新训练，知识像滚雪球一样自然积累起来。现在AI终于学会了“沉淀经验”，举一反三也不再是梦想。 但是长期记忆也有副作用。如果AI被灌入谣言或者偏见会怎么样？还有如何校准这些问题也需要解决。所以科学家们还得赶紧补上“道德导航”这一课。 总之，嵌套学习技术让AI第一次具备了自我进化能力。希望这个技术能更快落地到现实生活中：一次教会它生日、纪念日、重要资料等信息后它就能一直记得；以后写报告、做方案、提醒喝水、早睡早起这些琐事都可以交给它来处理。 最后这个聪明又靠谱的AI伙伴值得期待。