前些时候的一条爆炸新闻来自纽约时报：
伊弗里·辛顿 (eoffrey Hinton) 与另外两位所谓的“人工智能教父”一起获得了 2018 年图灵奖，以表彰他们的基础性工作导致了当前人工智能的繁荣，现在他表示自己的一部分对自己一生的工作感到遗憾。根据《纽约时报》对这位 75 岁老人的采访，欣顿最近辞去了在谷歌的工作，以便畅所欲言地谈论人工智能的风险。 “我用通常的借口安慰自己：如果我没有这样做，其他人也会这样做，”已在谷歌工作了十多年的 Hinton 说。“很难看出如何防止坏人利用它做坏事。”
听上去，与原子弹制造者或投放者的反省、懊恼类似。辛顿团队在10年前的深度学习元年在 ImageNet 图像识别大赛中以CNN碾压以前的所有机器学习系统，随后被谷歌请去。他在谷歌的10年，是AI的爆炸性发展的10年。
“正是这项工作最终促成了 ChatGPT 和 Google Bard 的诞生。 这位终身学者在谷歌收购了一家由 Hinton 和他的两名学生创办的公司后加入了谷歌，其中一名学生后来成为 OpenAI 的首席科学家。Hinton 和他的学生开发了一个神经网络，在分析了数千张照片后，它可以自学识别狗、猫和花等常见物体。正是这项工作最终促成了 ChatGPT 和 Google Bard 的诞生。 根据NYT 的采访，Hinton 对谷歌对该技术的管理感到满意，直到微软推出新的 OpenAI 注入的 Bing，挑战谷歌的核心业务并在搜索巨头内部引发“红色代码”反应。Hinton 说，如此激烈的竞争可能无法停止，导致世界上充斥着如此多的虚假图像和文字，以至于没有人能够分辨“什么是真实的”。 但这只是 Hinton 最关心的问题。在更长的时间内，他担心人工智能会消除死记硬背的工作，并可能随着人工智能开始编写和运行自己的代码而消除人类本身。 “这种东西实际上可以变得比人类更聪明的想法——一些人相信了，”欣顿对纽约时报说。“但大多数人认为这还很遥远。我认为这还很遥远。我认为它是 30 到 50 年甚至更长的时间。显然，我不再这么想了。”
就是说，以前以为还有半个世纪的人类反应和防范的时间，可是显然所有人都没有想到科技发展的加速度涌现。所以：
1. 我们已经进入真假莫辨的时代，但人类没有准备好如何应对；
2. 人类飞蛾扑火似地加速AI进程，生产力的提升和资本的回报所带来的兴奋和诱惑不可抵挡。
怪就怪当年辛顿用CNN炸平ImageNet后，突然有了商业算计，搞什么竞标拍卖，于是率团投入谷歌。要是随了百度（第一个追求者），何至于今日。没有谷歌，就不会有 Open AI；没有Open AI，就不会有 chat；没有chat，人类社会就依然是 good old days。
鲁老师说，嗯，这个思维链是没问题的。lol
马少平老师说，辛顿凡尔赛。
没见过这么巨大的凡尔赛了，绝对创迪尼斯纪录，而且后无来者。人家也有这个底气和资格，千年不遇。他这一来，对于AI威胁的社会警醒，秒杀老马的呼吁，以及那封成千上万名人的公开信。名人效应的极化表现。
世界上唯一可以更加“凡尔赛”的事件想来只能是爱因斯坦了，如果老爱生前高调表示自己后悔发现了质能方程 E＝mc²，因为它促成了原子弹。
我当时说，估计还会有后戏。果然，最近，辛顿有一个长篇访谈: 人类可能只是AI演化过程中的一个过渡阶段。这与马斯克的说的“人类可能只是硅基生命体的引导程序”如出一辙。这两位毫无疑问是AI威胁论的最有影响力的呼吁者。
辛顿：如果你看看这些大型语言模型，它们有大约一万亿个连接，像GPT-4这样的东西知道的比我们多得多，它们具有关于所有事物的常识性知识，它们可能比一个人知道的多1000倍。 但是它们只有一万亿个连接，而我们有100万亿个连接，所以它们比我们更擅长将大量知识放入仅一万亿个连接中。 我认为这是因为反向传播可能是比我们拥有的更好的学习算法。 这是可怕的。
纯粹从数字看，辛顿说，
1. 已知 GPT4 比我们人类的知识量多了三个量级（千倍）
感觉上这是保守的估计，assuming 作为个体的人，甭管什么专家。
2. 人类大脑的神经元比 GPT4 数量高了两个量级
这种类比合理与否存疑。是不是 apples to apples，另外，人类很多神经元并不直接参与智能工作。等等。
3. 结论：（算法）原理上，back prop （反向传播） 比人类的内部学习机制（天知道是什么）更加高效。
主要是说，电脑比人脑聪明。
辛顿花了很长时间解释反向传播（back prop）算法，试图用中学生能听懂的语言解释，感觉是很好的大师科普（让人想起小时候爱看的华罗庚给中学生普及的数学原理）：
主持人： 在谈论GPT-4的前景之前，让我们回顾一下反向传播，以便我们都理解你提出的论点，并告诉我们反向传播是什么。这是一个算法，你在1980年代与几位同事一起开发的 Hinton： 许多不同的小组都发现了反向传播，我们做的特别之处在于使用它，并表明它可以发展出良好的内部表示。有趣的是，我们是通过实现一个很小的语言模型来做到这一点的。它的嵌入向量只有6个组件，训练集有112个案例。大约10年后，Yoshua 使用基本相同的网络处理自然语言。如果使网络变得更大，它实际上应该适用于自然语言。 反向传播的工作原理，我可以为您提供一个简单的解释，知道它如何工作的人可以得意的坐下来，嘲笑我提出的解释方式，好吗？因为我有点担心它不够好。（观众笑） 想象一下，你想要在图像中检测鸟类，所以在图像上，假设它是100像素×100像素的图像，那是10，000个像素，每个像素有3个通道，红绿蓝，那是30，000个数字。计算机视觉问题是如何将这30，000个数字转换为是否存在鸟类的决策，人们试图长时间做到这一点，但他们做得不是很好。 这里有一个建议，你可能会有一层特征检测器，检测图像中的非常简单特征，比如边缘。所以一个特征检测器可能有很大的正权重对应一列像素，然后对邻近的一列像素有很大的负权重，所以如果两列都很亮，它就不会启动；如果两列都很暗，它也不会启动，但如果一侧的列很亮，而另一侧的列很暗，它会非常兴奋，那就是边缘检测器。 我刚刚告诉你如何手动连接一个边缘检测器。我们可以想象一个（神经网络）有大量的类似检测器检测不同方向和不同尺度的边缘来覆盖整个图像，我们需要（检测）相当多的数量。 主持人： 你是指线条，例如一个形状的边缘。 Hinton： 从亮到暗的地方变化的地方。嗯，就是那样。 然后我们可能在上面有一层检测边缘组合的特征检测器，例如，我们可能有一个检测两个边缘以尖锐角连接的特征检测器。如果这两个边缘同时出现，它会变得兴奋，那将检测到可能是鸟嘴的东西，也可能不是；在那一层，还可能有一个特征检测器检测到一圈边缘，那可能是鸟的眼睛，可能是各种其他东西，可能是冰箱上的旋钮之类的东西；然后在第三层，你可能有一个未来检测器，检测潜在的鸟嘴和潜在的眼睛并连接起来。继续这样连接，最终可能会有一个检测到鸟类的东西。 然而，手动连接所有这些内容将非常困难，决定应该连接什么权重应该是多少，尤其困难，因为你希望这些中间层不仅适用于检测鸟类，还适用于检测各种其他事物。所以这几乎不可能手动实现。 反向传播的作用是从随机权重开始，这些特征检测器完全是垃圾（不真也不能用）。然后你放进一张鸟的图片，输出可能是0.5表示是鸟（假设你只有鸟和非鸟）。接下来，你需要改变网络中的每个权重，让它不再说0.5，而是说0.501表示是鸟，0.499表示不是鸟。你需要改变权重的方向，使得更可能说鸟是鸟，更不可能说非鸟是鸟。这就是反向传播的原理。 反向传播实际上是如何消除差距，在你想要的（也就是概率1表示是鸟）和现在得到的（也许是0.5）表示是鸟之间。如何消除这个差距，把它反向传播到网络，这样你就可以计算网络中每个特征检测器，你希望它更活跃还是更不活跃。一旦你计算出来，如果你知道你想要一个特征检测器更活跃一些，你可以增加权重，来自特征检测器的权重，并也许加入一些负权重到特征检测器。这样，你就有了一个更好的检测器。 所以反向传播就是反向遍历网络，找出每个特征检测器，你是否希望它更活跃一点，还是更不活跃一点。
back prop 实在太关键了，是深度革命的命根子，是LLM智能的学习机理，值得反复科普。
辛顿的下一个论证，说的是为什么AI可怕。
简单说，就是模型可以复制，而人脑不可以复制：一个师傅要培养出一个同等知识的徒弟需要经过漫长的教育过程。辛顿论证说，LLM 可以复制任意份，每个 LLM 可以去根据不同领域的更多的数据做微调（他没说是 fine tune，但从复制的基础模型的源头以及会改变模型权重看，他指的是 fine tune，而不是随学随忘的 in context learning）。
这些被微调了的不同专家模型可以有效沟通，只要不发生直接冲突，他们所学到的新的专业知识（新的模型权重）可以互通有无，最后形成更超级的大脑模型。辛顿论证的这最后一步，也许我孤陋寡闻，没见这种有效沟通成为更强模型的学术报道。但他这么说，觉得应该相信他。
可复制，可融合。有了这两条的 AI 演进，于是人类面临一个完全超出我们想象和理解的可以野蛮发展的新的智能形态。
它们可以学到更多的东西。以一个医生为例，想象一下，有一个医生，他已经看了1000名患者，另一个医生已经看了1亿名患者，你会期望，第二个医生如果没有太健忘，他可能已经注意到了数据中的各种趋势，而这些趋势在只看过1000名患者的情况下是看不到的。 第一个医生可能只看过一个罕见病患者，另一个看过1亿患者的医生已经看过很多这样的患者，所以他会看到一些规律，这些规律在小数据中是看不到的。 这就是为什么，能够处理大量数据的东西可能看到的数据结构，我们永远看不到。
这就是我们以前议论过的情形：在超大数据超大模型中，原来的小数据不再稀疏，因此可以“涌现”出新能力、新知识。
接下来，辛顿举的下面这个例子我觉得并不牢靠、鲁棒（完全可以从非严格常识推理的其他角度解释他列举的案例）。不过，他所感受到的 GPT有时候让人惊掉下巴的推理能力，我们都曾在不同的案例中感受过多次，虽然并不是每一次都经得起严格检验，但这种感觉是真实的、普遍的。
主持人： 那么，给一个我应该对此感到恐惧的点？ Hinton： 好吧。请看看GPT-4，它已经能够进行简单的推理。我明白推理是我们人类的强项，然而，GPT-4在几天前展示出的表现使我感到震惊。它完成了我认为不可能的常识性推理。 我问它，我想要我房子里的所有房间都是白色的，目前有一些白色房间，一些蓝色房间和一些黄色房间，黄色油漆在一年内会褪成白色。那么，如果我想要两年后所有的房间都变成白色，我应该怎么做呢？ 它回答说，你应该把蓝色的房间漆成黄色。尽管这不是直观的解决方案，但它是正确的。这相当令人印象深刻。 这种常识性推理，用符号AI很难实现，因为它必须理解什么是褪色，它必须理解时间问题。所以，它们在做一种合理的推理，智商大概是80或90左右。 正如我的一个朋友说的，这就好像基因工程师声称，我们要改进灰熊，我们已经把它们的智商提高到65了，现在它们能说英语了，而且在各种方面都非常有用，但我们认为我们可以把智商提高到210。 主持人： 我有过，相信很多人也有过类似的感觉：与这些最新的聊天机器人互动时，脖子后面的头发会竖起，有一种奇怪的感觉。 但当我感到不舒服时，我只需关闭我的笔记本电脑。。。
辛顿说：“政治系统如此破碎，以至于我们甚至不能决定不给那些十几岁的男孩攻击性武器。如果你不能解决那个问题，你如何解决这个问题？”
说的是美国的枪支泛滥，到了几乎每两天就有一次滥杀无辜的恶性案件出现，而政治家无所作为。这种德行的人类社会，我们还敢指望它能应对AI威胁吗？在这样的人类世界，辛顿的警钟是：
“我不认为我们会停止发展它们，因为它们非常有用。它们在医学和其他方面都非常有用。所以，我不认为有什么机会阻止发展。我们想要的是某种方法，确保即使它们比我们聪明，它们会做对我们有益的事情。这就是所谓的对齐问题。 但我们需要在一个有恶意行为者的世界里尝试这样做。他们想要制造杀人的机器人士兵。对我来说，这似乎非常困难。”
技术是中性的，很多人拿技术做好事，但怎么防止坏蛋拿技术做坏事呢，例如制造机器人士兵。
辛顿的最后结论，与马斯克完全一致。这很有趣，不是简单的英雄所见略同。辛顿是这场AI技术革命的源头，是最有资格从技术角度看人类命运问题的人选。马斯克本来是局外人，他对于技术的了解跟我们一般人本质上无区别。当我们上升到人类命运的角度，当技术必须从哲学或更广的视角去审视的时候，山内人与山外人所见完全相同，这是辛顿受了马斯克影响呢，还是辛顿受了马斯克影响呢？lol
从时间线条的唯一性上看，只能是深度学习之父受到了一个技术商人的影响，而不是相反。我不大相信，这是辛顿独立发展出来的AI威胁论。更可能的是，老马发表“高论”后，辛顿开始是持怀疑态度的。随着LLMs的推进，尤其是 GPTs 系列的发布，特别是 GPT4 的出现，辛顿开始接受，并信服了老马的观点。然后他开始从技术角度做“权威”阐述。
老马的高论中最著名的比喻以前说过，他把在超级智能面前的人类比做蚂蚁，说：超级智能对于人类不必有恶意，他们对人类没有恶意，但这并不妨碍他们消灭人类。因为根本就不需要恶意，只要人类在超级智能的实现目的的路上挡道了，就好比人类在开一条路的时候遭遇了蚂蚁，我们并不需要对于蚂蚁的恶意，我们会不眨眼睛就把挡道蚂蚁铲平。
人类其实就是蚂蚁。
辛顿在比喻中，异曲同工，他一再把人类比做两岁的儿童，把超级智能比做成年人。一个成人操纵一个两岁儿童，太容易了。比如你给儿童两个选择，儿童的智商是不会想到还有第三种选择的。
在野蛮发展的LLMs面前，人类就是这么可怜。
我以前觉得这种AI威胁论有耸人听闻之嫌，但也找不到对此的有力反驳。起码，在我们难以想象的加速度发展的AI智能面前，人类如何自处，始终是一个很难想象的挑战。
外一篇 斯坦福五月7日记
有朋自远方来，天气好。下了几天雨，今日转晴，不热不冷。
与黄老师一路辩LLM哲学，@梁焰 从旁添油加火，时有妙语内插（interpolation）， 警句外推（extrapolation），人智涌现，不亦乐乎，此斯坦福之记也。
我们的共识是：人与机器肯定不同，但机器从表现上无限接近于人。
黄老师坚持，只要机器不是人，就肯定会有软肋人类可抓。窃以为并非如是简单，例如， LLM 无以离散符号程序化，无论步骤几何，非透明逻辑可解。人类乃逻辑生物，既如此无知，何来抓其软肋，人类胜机器之一筹？是故辛顿与老马之忧似非空穴来风。
我故信人之异于机器者几希，莫名某点而已。盖因面片咸为AGI侵蚀殆尽，创造性几近失守，自主性面临夹击，鲜能辨其异何在。黄老师言，人与机器本质不同，机器纵为悟空，亦跳不脱人类如来之手心。（听上去类似马云的论调？）
思辩乘兴而起，兴未尽而暂停，无解而终，复归俗世。
是日也，天不高而气爽，人不多而闲散。绿草成茵，白塔耸立，三五儿童，嬉戏其间，现代伊甸园之乐也。今日何日，LLM有知乎？GPT4 奈何之？
唯愿此景长存，杞人忧天。
令 ChatGPT4 将以上文白夹杂日记改写为文言，得文如下：
【相关】
