《不识数的 ChatGPT》

立委：都说当前的 ChatGPT 数学底子潮，它识数吗？ 

Liren：

立委：怎么着？确实是10条、也确实是有“喜”字的短语，只是可惜不是10个字。

知道它不识数，硬要逼它，道德上是否属于不尊重残障实体的不良行为呢：

numerically challenged entities should not be tested on math purely for making fun of it

认真地，以前我们做NLP训练的时候，所有的数字都被 NUM 替代，因为这家伙形式上无穷变体，实质只是一类。IE（信息抽取） 的传统里面，有一个与 “专有名词” （NE，Named Entity）并举的抽取对象，叫做 DE（Data Entity，MUC 社区称为 numex ），主要就是针对这些带有数字的对象（百分比、重量、温度、算术公式、年龄、时间等），NLP面对 DE 从来都是先分类，然后把它包起来。语言模型，无论统计的还是符号的，都不细究它。直到需要语义落地的时候，再打开这个包，去调用某个 function 去做符号拆解和语义落地，包括变体标准化和映射到合适的数据类型，然后才好进入数学的操作和计算。LLM 在没有做特殊的 function 对接前，自然也是如此，于是上面的笑话是 “by design”：可以看成 a feature, not a bug，lol。至于怎么对接来解决它，那是另一回事。

Xuefeng：纠正了一下，已经学会数汉字了。

这种对话之后便能更新自身的认识（程序模式），可以称之为有“自我进化”能力了。

立委：这叫 step by step 的现场调教法，很神奇，属于思维链（CoT）培训，背后的原理不是很清晰。有推测 step by step 的 CoT（Chain of Thought）方面的基本调教已经在他们内部的模型微调中做足了功夫，这才为现场特定的 step by step 的调教提供了激发的基础。

不知道它学会了以后，能保持这个能力多久？在同一个session 里面多测试几次，需要确认它是真在现场学到了对汉字计数的能力。（当然 session一关闭，这个识数能力肯定消失，因为前面的调教场景没了。）

Xuefeng：据说 Open AI 不会根据和用户的对话更新其核心数据库。一段缓存期之后就丢掉了这个“认识”。这样可以防止恶意影响 ChatGPT。

立委：不是数据库的问题，模型本身是恒定的。few shots 和 step by step 的现场调教，都不会影响模型本身。看看下例。

这是个很奇特的 in-context 的学习现象，学到的“技能”不稳定，你看最后不等一个 session 结束，转眼就还给老师了，声称10个汉字给出的却是8个字：“江雨霏霏江草齐齐”。甚至到底是不是真学到了，也是个问号。完全有可能在看似学到了的那个当口，它的网络空间中有一些strings正好与特定字数10相关联。

Dongdong：看来文科chatGPT和理科能力不兼容

立委：哪怕其实没有学到“识数”的技能，现场的调教能够激发其中高度相关的某个string，回应下来满足了我们的要求。加上它的能说会道的解释，也是一种很唬人的表现。不懂装懂，能装到这个段位，也是让人开眼了。

错误不可怕，可怕的是，错得那么像人。

生活中，我们都遇到过不会算术的人，尤其在国外，甚至收银员不识数的比例也很高。离开计算器，这类人遇到数字像个傻子，掰手指头都整不明白，更甭提心算。ChatGPT 与他们差不多，说话与他们一样顺溜地道，当然，数学底子也一样潮。

当一个实体看了那么多的书，记忆体那么大，到了我们无法想象的量级的时候，很多难以说清道明的所谓“涌现”的技能，更可能就是从他们的巨大网络空间中激发了最相关联的组合。我们凡人以常识和经验作为参考系来审视这些非常能力，无论如何也难相信这就是一种数据的关联恰好被触发，我们宁肯相信实体具有了技能，甚至灵性、意识。

前人不我欺，假作真时真亦假，无为有处有还无啊。

Shaoping：看下例：

它不坚持真理。

立委：哈，这一类也见过n次了。这好像是在学到的能力与必须尊重人类的原则之间，有一个权重偏向后者的设置。它的设计者心里是明晰的：多数技能不稳定，完全可能是真理的假象，权重宁肯偏向迁就和同意人，而不是坚持这种不可靠的技能，因为坚持真理与坚持谬误只有一步之遥。