从R1幻觉谈起，大模型幻觉是缺陷还是创意火花？

主持人： 大家好，欢迎来到今天的访谈。最近，大模型的“幻觉”问题引发了热议，尤其是DeepSeek-R1，它的幻觉率似乎比自己的基座大模型DeepSeek-V3高不少。今天我们请到了资深AI研究员立委博士，来跟大家聊聊这个话题。立委，您好！

立委： 主持人好，大家好！

立委： 这可算是大模型的经典问题。其实啊，大模型就像一个“超级接话茬儿高手”，你给它上半句，它就根据自己学过的海量知识，预测下半句该说啥。它学东西呢，就像咱们人脑记东西一样，不可能每个字都记得清清楚楚，它会进行压缩和泛化，抓大意、找规律。

打个比方，你问它“姚明有多高”，它大概率不会错，因为这知识点太出名了，它记得牢。但你要是问“隔壁老王有多高”，它可能就懵了，因为它没见过老王啊！但它又不能不回答，咋办？它就得“脑补”，根据“一般人有多高”这个学到的概念，给你编一个数出来，这就是“幻觉”。

主持人： 哎呦，这“脑补”能力也太强了！胡编乱造，这幻觉也太糟糕了。

立委： 那可不一定！你看啊，某种程度上，幻觉就是想象力（褒贬不论），就是创意！你想想，那些伟大的文学作品、艺术作品，哪个不是天马行空、充满想象？要是啥都得跟现实一模一样，艺术就成了照相机了，那还有啥意思？

就像赫拉利在《人类简史》里说的，人类之所以能成为地球霸主，就是因为我们会“讲故事”，会创造出神话、宗教、国家、货币这些现实中不存在的东西。这些都是“幻觉”，但它们却是文明诞生和发展的原动力。

主持人： 听您这么一说，感觉幻觉还挺重要的。那咱们回到DeepSeek-R1，它的幻觉问题真的很严重。

立委： 是很严重。此前学界普遍认同OpenAI的说法，推理增强会明显减少幻觉。我曾与大模型公司的一位负责人讨论，他就特别强调推理对减少幻觉的积极作用。但 R1 的表现却给出了一个出人意料的答案。

根据Vectara的测试，R1的幻觉率确实比V3高不少，R1的幻觉率14.3%，显著高于其前身V3的3.9%。这跟它加强了的“思维链”（CoT）和创造力直接相关。R1在推理、写诗、写小说方面，那叫一个厉害，但随之而来的“副作用”就是幻觉也多了。

具体到R1，幻觉增加主要有以下几个原因：首先，幻觉标准测试用的是摘要任务，我们知道摘要能力在基座大模型阶段就已经相当成熟了。在这种情况下，强化反而可能产生反效果，就像用大炮打蚊子，用力过猛反而增加了幻觉和编造的可能。

其次，R1 的长思维链强化学习并未针对摘要、翻译、新闻写作这类相对简单而对于事实要求很严格的任务做特别优化，而是试图对所有任务增加各种层面的思考。从它透明的思维链输出可以看到，即便面对一个简单的指令，它也会不厌其烦地从不同角度理解和延伸。过犹不及，这些简单任务的复杂化会引导结果偏离发挥，增加幻觉。

DeepSeek-R1在文科类任务的强化学习训练过程中，可能对模型的创造性给予了更多的奖励，导致模型在生成内容时更具创造性，也更容易偏离事实。我们知道，对于数学和代码，R1的监督信号来自于这些题目的黄金标准（习题集中的标准答案或代码的测试案例）。他们对于文科类任务，利用的是V3或V3的奖励模型来判定好坏，显然目前的系统偏好是鼓励创造性。

另外，用户更多的反馈还是鼓励和欣赏见到的创造力，一般人对于幻觉的觉察并不敏感，尤其是大模型丝滑顺畅，识别幻觉就更加困难。对于多数一线开发者，用户的这类反馈容易促使他们更加向加强创造力方向努力，而不是对付大模型领域最头痛的问题之一“幻觉”。

主持人： 这么说来，R1 的幻觉问题是不是源于它过于"积极"的思维推理？但推理能力增强和幻觉之间到底是什么关系？

立委：这个关系很微妙，并不是简单的正相关或负相关。你看 R1 是头部推理模型，而 Claude 3.5 Sonnet 是头部的非推理大模型，但后者的幻觉率反而高于前者。可是当我们对比 R1 和它的基座模型 V3 时，又发现增加推理强化后幻觉确实显著增加了。

这事儿跟大模型的“性格”有关。R1这家伙，强化做得给力，特别喜欢“发散思维”，你给它一个简单的指令，它能给你想出一大堆东西来，思维链能绕地球三圈！这似乎说明 R1 在强化创造力的过程中，不可避免地增加了创造力的伴生品：幻觉。作为一个文理通吃的推理大模型，R1 在不同领域的表现并不一样。在数学、代码等需要严谨推理的领域，幻觉的空间很小。但在语言创作领域，尤其是现在被测试的摘要任务上，幻觉问题就明显得多。这更多是 R1 语言创造力爆棚带来的副作用。

具体从技术角度来说，R1 会为用户的简单指令自动增加很长的思维链，等于是把一个简单明确的任务复杂化了。你一个简单的指令，它也反复从不同角度理解和衍伸（CoT思维链好比“小九九”，就是一个实体遵从指令时的内心独白）。思维链改变了自回归概率模型生成answer前的条件部分，自然会影响最终输出。

V3: query --〉answer
R1: query+CoT --〉answer

对于 V3 已经能很好完成的任务，比如摘要或翻译，任何思维链的长篇引导都可能带来偏离或发挥的倾向，这就为幻觉提供了温床。

主持人： 那对于R1来说，幻觉主要是出在哪方面呢？

立委： 我觉得可以把R1的能力分成“文科”和“理科”来看。它在数学、代码这些“理科”方面，逻辑性很强，幻觉相对少。但在语言文字这些“文科”方面，幻觉就比较明显了。

比起O1，R1 最令人惊艳的成就，是成功将数学和代码的推理能力充分延伸到了语言创作领域，尤其在中文能力方面表现出色。网上流传着无数的R1精彩华章。舞文弄墨方面，它显然超过了99%的人类，文学系研究生、甚至国学教授也赞不绝口。

但你看，让它做个摘要，本来是很简单的任务，但它非得给你“发挥”一下，结果就容易“编”出一些原文里没有的东西。这其实是它“文科”太强了，有点“用力过猛”。

主持人：这个说法有意思。那么在具体应用中，语言任务是不是都需要创造力呢？

立委：语言能力其实可以细分为两类：一类需要高创造力，比如写诗歌、小说；另一类需要高度真实性，比如新闻报道、翻译或摘要。R1 最受称赞的是前者，这也可能是研发团队的重点方向，但在后者中就出现了副作用。

这让我想到中国古人说的"信达雅"，自古难全。为"雅"牺牲"信"的例子我们见得很多，文学创作中夸张的修辞手法就是重要手段和例证。为"信"牺牲"雅"也有先例，比如鲁迅先生推崇的"硬译"。

有趣的是，我们人类在这方面其实一直是双标的，但我们心里有个可以随时切换的开关。看小说和电影时，我们把开关偏向创造性一侧，完全不会去纠结细节是否真实；但一旦切换到新闻频道，我们就对虚假内容零容忍。

主持人： 人对于逻辑看起来清晰自洽、且详细的内容，就会倾向于相信，所以大模型幻觉潜在的危害真地很大。那咱们普通人，面对大模型的幻觉，该咋办呢？

立委： 很多人在惊艳R1创造力的同时，现在开始慢慢注意到这个幻觉现象并开始警惕了。但更多人还是沉浸在它给我们带来的创造性的惊艳中，需要增强大众对模型幻觉的 awareness。我觉得吧，咱们可以“两手抓”：

保持警惕： 大模型说的话，特别是涉及到事实的，别全信，多留个心眼。最容易产生幻觉的地方是人名、地名、时间、地点等实体或数据。

交叉验证： 重要的细节，可上网查查原始资料或询问身边专家，看看说法是不是一致。

引导模型： 你可以在提问的时候，加一些限定条件，比如“请务必忠于原文”、“请核对事实”等等，这样可以引导模型减少幻觉。

享受创意： 如果你需要的是灵感、创意，那大模型的幻觉，会给你带来惊喜！

不妨把大模型的幻觉，看成是“平行世界的可能性”。它编出来的东西，也许在这个世界不是真的，但在另一个世界里，说不定就是真的呢！就像小说家写小说，虽然是虚构的，也是一种“艺术真实”。源于生活，高于生活。大模型是源于数据，高于数据。大模型压缩的是知识体系和常识，不是一个个事实，后者是数据库的对象。

主持人： 妙啊！您这说法，让我想起了大家常说的一句话：大模型不是在“胡说八道”，而是在“一本正经地胡说八道”。

立委： 哈哈，差不多就是这个意思！大模型的幻觉，其实是它“脑补”出来的，但它“脑补”的依据，是它学到的海量知识和规律。所以，它的幻觉，往往不是乱来的，有“内在的合理性”，这才丝滑无缝，假话说的跟真的似的，但同时也更具有迷惑性。初玩大模型的朋友，需要特别小心，不能轻信。

对于普通用户来说，理解幻觉的特点很重要。比如问"长江多长"这类有足够信息冗余的百科知识问题，大模型不会出错，这些事实是刻在模型参数里的。但如果问一个不知名的小河或虚构河流的长度，模型就会启动"合理补白"机制编造。

主持人: 按照您的说法，人类的语言本身就是幻觉的温床。

立委： 可以这么说。语言使得人类创造了神话、宗教、国家、公司、货币等非真实实体的概念，以及理想、信念等形而上的意识形态。赫拉利在《人类简史》中强调了幻觉对于文明的根本作用：语言的产生赋能了人类幻觉（“讲故事”）的能力。幻觉是文明的催化剂。人类是唯一的会“说谎”的实体 -- 除了LLM外。

主持人: 那么在幻觉的背后，大模型是怎么运行的呢？

立委： 幻觉的本质是补白，是脑补。

“白”就是某个具体事实，如果这个事实在训练数据中没有足够的信息冗余度，模型就记不住（零散事实等价于噪音）。记不住就用幻觉去补白，编造细节。

幻觉绝不是没有束缚的任意编造，大模型是概率模型，束缚就是条件概率中的前文条件。幻觉选择的虚假事实需要与补白所要求的value类型匹配，即符合ontology/taxonomy 的相应的上位节点概念。“张三”可以幻觉为“李四”，但不可以幻觉成“石头”。

所谓艺术真实是说，小说创作虽然可能背离了这个世界的事实，但却是可能的数字世界的合理想象。大模型的幻觉属于此类。

大模型的知识学习过程（训练阶段），是一种信息压缩过程；大模型回答问题，就是一个信息解码过程（推理阶段）。好比升维了又降维。一个事实冗余度不够就被泛化为一个上位概念的slot，到了生成阶段这个slot必须具像化补白。“张三”这个事实忘了，但【human】这个slot 的约束还在。补白就找最合理、与 slot 概念最一致的一个实体，于是“李四”或“王五”的幻觉就可以平替“张三”。小说家就是这么工作的，人物和故事都是编造的。无论作家自己还是读者，都不觉得这是在说谎，不过所追求的真善美是在另一个层面。大模型也是如此，大模型是天生的艺术家，不是死记硬背的数据库。“张冠李戴”、“指鹿为马”等在大模型的幻觉里非常自然，因为张和李是相似的，马和鹿也在同一条延长线上。在泛化和压缩的意义上二者是等价的，因此是合理的想象。

主持人： 未来有没有什么办法，能让大模型既有创造力，又少出幻觉呢？

立委： 这绝对是AI大模型领域的“终极难题”之一！现在大家都在想办法，比如：

更精细地训练： 在训练的时候，就对不同类型的任务区别对待，让模型知道什么时候该“老实”，什么时候可以“放飞”。

针对任务做偏好微调（finetune） and/or 强化（rl）可以减缓这个矛盾。 摘要、改写、翻译、报道这种任务需要特别小心和平衡，因为它既有一点再创造的需求（例如文风），又是本性需要内容忠实的。

具体说，R1训练pipeline是四个过程，微调1，强化1，微调2，强化2。强化2主要是与人类偏好对齐的强化。这个过程在创造力与忠实方面，目前看来倾斜于前者，后去可以再做平衡。也许更重要的是在阶段三的微调2中，针对不同任务加强约束，例如，增加摘要的监督数据，引导忠实平实的结果。

Routing： 以后可能会有一个“调度员”，根据任务的类型，安排不同的模型来处理。比如，简单任务交给V3或调用工具，慢思考的复杂任务交给R1。

例如，识别出算术任务，就去写个简单代码运算，等价于调用计算器。目前不是这样，我昨天测试一个九位数的乘法，R1 思考了三分多钟，思维链打印出来可以铺开来一条街，步步分解推理。虽然最后答案是对了，但算术问题用耗费太大的所谓 test time compute 的思维链（CoT），而不用 function call，完全不合理。一行计算代码就搞定的事，没必要消耗如此多的计算资源和tokens去做显式推理。

这些都是可以预见的 routing，尤其是在agent时代。 R1 CoT不必包打一切，而且除了幻觉，也不环保。

主持人： 感谢老李的精彩分享！今天的访谈让我们对大模型的幻觉有了更深入的认识。

立委： 不客气，很高兴和大家交流！