我是大模型数字主播小雅，今天播报的题目是立委两分钟最新的话题《大模型到底有没有逻辑推理能力？》。
这是最近一篇论文的题目。ICML 2024：“Case-Based or Rule-Based: How Do Transformers Do the Math？” 第一作者为来自北京大学物理学院、即将加入人工智能研究院读博的胡逸。有点意思。
论文第一个结论是，llm 学不到真正的推理规则，只能通过相似案例学到有限泛化。人学到的推理规则是可以 外推的（extrapolation） ， 而相似案例的有限泛化却只能做内插（intrapolation）。无法外推，所以训练集没有类似案例的区域就成了盲区。
这个实验是在 gpt2 上做的。可以理解为什么第一个实验必须在 gpt 2 上做，因为他可以控制训练数据，制造数据真空，来验证有没有逻辑推理带来的外推能力。但这种GPT2这样规模的“大”模型没有出现的能力，并不表明真正的大模型就不会“涌现”。
论文后来的实验是在比GPT2大得多的 “辣妈” 上做的，似乎得出一个相左的结论。结论是，如果模型足够大，只需要少量的任务微调，llm 就学会了接近规则推理的效果。在长整数加法上的表现，表明模型不仅会内插，在外推上也表现很好。
非常有趣的研究，实验设计也不错，但论文貌似同时发表了两个矛盾的结论。
谈谈我的看法。从序列学习的方式上看，数据驱动的模型学习是以 case based 的归纳（也叫压缩）作为起点和主干的，这个没有疑问。问题是，case based 的学习，到了一定的程度和量级的时候，是不是会非常逼近 rule-based 的学习。承认后者就是承认了大模型具有某种逻辑推理能力。大模型具有初步的逻辑推理能力这一点在大模型主流社区中本来不是问题，而是默契的共识，大模型测试的一个重要维度就是逻辑推理能力。但在更大的范围内（非主流圈子以及普罗大众），一直还是作为疑问存在的。
一个有意义的视角是看泛化中外推的理解。对于非解析的、没有对应符号规则的现象，外推本质上是不可计算的，也就是只能碰运气了。出路只有收集相关数据，把盲区带入雷达屏，化外推为内插。但是对于有解析解的高度规则化的数据分布，外推能力是泛化学习的自然期望，达不到期望就说明llm只是一个鹦鹉。达到了期望， 就说明 llm 跳过了鹦鹉的门槛，学会了某种推理规则。现在看来，头部大模型是跨越了这个门槛，继续拿鹦鹉学舌来比况大模型，彰显的是人类盲目的狂妄自大。
要摈弃削足适履的思维定式。只要模型展现出符号规则类似的推理逼近的能力，就应该承认它学会了初步的推理。更本质的，它融会贯通，对于规律现象，可以达到外推的能力。其实，小语种之间的机器翻译能力，就是外推的结果，因为训练数据中严重缺乏相关的数据。
前不久引起关注的一项关于KAN模型的研究中，KAN 的 AI for science 实验，其实已经展示了模型如何数据驱动去逼近解析解，等于是把模型学习逻辑推理的内部过程图示化了，非常生动 ，有相当的说服力。当然，KAN的实验表明对于简单的解析解，数据驱动可以逼近符号规则，但并不轻易就得出符号规则。实验中是加入了人为的剪枝等操作才得出了数据背后的符号规则。
与此对照，深度学习大佬杨立昆却坚决否认GPT有逻辑推理能力。杨立昆语录： AGI is a complete nonsense；GPT is a deadend，等等。矫枉过正反潮流，把话说死，并不是坏事。但轻信他，也可能就被带进沟里去了。
诚然，大模型序列学习的本性是在序列上再现数据的丝滑和顺畅，所以擅长语言生成类任务。序列学习不擅长逻辑推理，尤其是深度、复杂的逻辑推理过程。但完全否定大模型具有初步的逻辑推理能力却是走到了另一个极端，也不符合我们所看到的事实表现。
我是小雅，以上就是今天的立委两分钟的播报，希望对您有启发，谢谢聆听，咱们下次再见。
【立委NLP频道】
