“马赛克记忆”这个概念，是由 Igor Shilov 等研究者在 2024年5月24日 首次提交的论文《The Mosaic Memory of Large Language Models》中正式提出的。这个概念的核心发现是，大模型并不只是简单记住精确重复的文本，它还会像拼凑马赛克一样，把来自不同“模糊重复”片段的信息组合起来，形成记忆。当多个语焉不详的“模糊重复”片段被缝合时，模型容易生成事实错误。例如，缝合对两位同名不同人的描述，为某人“创造”出不存在的履历。这在法律文书、新闻报道等场景下可能引发严重后果。
“模糊重复”与“精确重复”的区别很简单，如下所示：
精确重复：字面上完全一致。
模糊重复：字面上不同，但内容或意思高度相似。比如，“今天天气真好”和“今日气候宜人”，或者用一整段话表达了与另一段话完全相同的意思。
精确重复（比如一模一样的两句话）很容易被发现和删除，但模糊重复要隐蔽得多。但它对模型的影响同样不小：
造成数据偏见：在训练数据中，某个观点可能因为被反复用不同的话表述而大量出现，导致模型误以为这是主流甚至唯一的观点。
浪费计算资源：模型把算力花在了学习本质上相同的内容上，而不是从多样化的数据中获取新知。
催生“马赛克记忆”：这直接关联你之前的问题。即使去除了精确重复，大量存在的模糊重复段落，也可能被模型像拼马赛克一样组合起来，形成新的记忆，增加了隐私泄露或死记硬背的风险。
大模型的“幻觉”与“马赛克记忆”看似是两个独立的问题，实则关系紧密，它们像一枚硬币的两面，共同揭示了大模型学习与生成机制中的脆弱性。
从机制上看，“马赛克记忆”可以视作引发“幻觉”的一种潜在途径。如前所述，模型会拼接来自不同“模糊重复”片段的信息。如果被缝合的信息碎片本身是准确、可靠的，那么模型可能幸运地组合出正确的新事实。但问题在于，训练数据中充斥着大量未经核实的、片面或虚构的信息。当模型的“马赛克拼接”过程将这些原本孤立、甚至互相矛盾的错误碎片强行组合时，就会“一本正经地胡说八道”，生成一个看似合理、实则完全背离事实的内容，这便是“幻觉”的一种典型表现。例如，它可能将某位名人在不同场合说的话揉在一起，创造出一句该名人从未说过的“名言”。
更重要的是，两者都根植于模型对训练数据的过度依赖与统计性重构。大模型本质上是统计模型，它学习的是数据中的模式和关联，而非真正的世界知识。“马赛克记忆”正是这种学习方式的体现——它不区分逻辑真伪，只进行模式重组。这直接导致了“幻觉”的产生：模型可能会为它通过“马赛克记忆”拼凑出的虚假内容，补充上生动的细节、符合语境的描述，甚至赋予它极高的生成概率，就像一个善于编故事的人，能把零碎的谣言讲述得滴水不漏。从这个角度看，“幻觉”就是“马赛克记忆”机制下产生“赝品”知识时的副作用。有研究从分布式认知理论的角度也指出，AI生成错误输出的能力与它在人机交互中扭曲、建构记忆的能力是相通的，都源于其作为认知工具的构建性本质。