Meta超大模型辣妈3.1 发布时的92页论文读书笔记

超大模型 辣妈3.1 是大模型开源社区的里程碑。作为 leader，Meta 该项目的参与者/贡献者有 500 多人（这篇论文的作者署名作为附录按字母顺序排列，跟中央委员姓氏笔划公示似的）。这是充满了实现细节描述的原文：

meta Llama 3.1 paper

AIGC MV （just for fun & cheering opensource milestone）

【立委笔记】

1. 辣妈3.1 没有用稀疏技术，不是 model 4 那种多专家系统，而是一个 dense model

2. 405B参数，15.6T tokens：token 数是参数的 40 倍

超大规模头部模型现在强调的都是数据量远大于参数量的增长，这 15T tokens 的数据也是开源的吗？（不会，因为即便愿意开源，也没这个胆子，可能会引起无数数据侵权的官司）

3. 强调超大基础模型的三大杠杆：data, scale, and managing complexity.

4. 比上一代系统辣妈2，计算量增加了 50 倍 （using 3.8 × 1025 FLOPs）

5. 复杂性管理：（1）选择标准的密集Transformer架构，而非混合专家模型，以最大化训练稳定性。（2）采用相对简单的后训练程序：监督微调（SFT）、拒绝采样（RS）和直接偏好优化（DPO）。就是说，算法设计和实现上，趋于简单化。不利用稀疏技术和分流多专家系统，为的是稳定性（但训练挑战更大，但他们不怕）。后训练阶段用更简单、容易实现的DPO，而不用强化学习，也是为了稳定性，因为强化学习从来就不好缠。

6 基准测试涵盖：通用、代码、数学、推理、工具使用、长上下文和多语言。全部表现为 SOTA（国际先进水平）。

MMLU（大规模多任务语言理解）：405B模型达到87.3%（5-shot），88.6%（0-shot，CoT）。
代码生成（HumanEval）：405B模型达到89.0%，接近GPT-4。
数学问题（GSM8K）：405B模型达到96.8%，略高于GPT-4。
长上下文任务：在某些任务上表现优异，如QuALITY达到95.2%。
多语言任务（MGSM）：405B模型达到91.6%，与顶级模型持平。

405B模型在许多任务上与GPT-4和Claude 3.5 Sonnet相当或接近。一句话，开源追平了闭源。

7. 预训练开始是 8k 窗口，在预训练后期（继续训练）时候扩展到了 128k 窗口。

8. 基础模型预训练完成后，经过多次迭代的对齐“后训练”。

包括：（1）通过人类反馈对齐模型，包括多轮的监督微调（SFT）和直接偏好优化（DPO）；（2）集成新能力，如工具使用；（3）增强编码和推理能力（专项优化）；（4）安全对齐。

9. 多模态扩展（进行中，未上线发布）：图像、视频和语音能力。

包括 （1）多模态编码器预训练：图像编码器在大量图像-文本对上训练，统一空间里对齐视觉内容和自然语言；（2）语音独自自训练？（3） 在图片基础上，进一步作视频-文本数据对齐的实验。

10. 语言模型为核心，其他模态都是后加的（无论加到预训练 and/or 后训练）。

在扩展到多模态的时候，语言模型保持参数不变，适配的是多模态，让多模态在同一个意义空间对齐、靠近语言模型。换句话说，辣妈是遵循模块化、步骤化的方式逐渐扩展到多模态。而不是采用主流（主流主要指 Open AI 和谷歌，至少在理论上）倡导的“大一统的多模态原生数据的联合预训练”。

辣妈的所有算法策略，总的印象是求稳，而不是求创新 或 求大一统。偏向于务实，不在乎自己的算法领先。例如语音的集成，先是语音的自训练（因为语音与文字其实很类似，都是语言体系），然后是语音与文字的对齐（包括语音识别 ASR 和语音合成 TTS）。一步一步集成进跨模态的大模型，这方面谈不上先进性，但一步一个脚印，有利于工程化的开发、集成和迭代。不知道他们什么时候可以上线发布多模态的能力？

11. 数据收集清洗工作非常繁杂，但辣妈团队一丝不苟，这也是它质量可以追平 SOTA 的数据保证。

盘点一下：

（1）去重（De-duplication）：URL级别去重； 文档级别去重：使用MinHash算法；行级别去重：每30M文档移除出现超过6次的行。
（2）过滤：移除低质量文档、异常值和过度重复的文档，使用重复n-gram覆盖率移除重复内容（如日志或错误消息）；使用"脏词"计数过滤未被黑名单覆盖的成人网站；使用token分布KL散度过滤含异常token过多的文档。
（3） 控制数据品质：使用fasttext分类器识别可能被维基百科引用的文本；使用基于Roberta的分类器，该分类器基于Llama 2的预测进行训练；使用DistilRoberta生成文档质量分数。还有 fasttext 的语言分类器，可识别176种语言；特别过滤两类信息：黄色；个人身份等隐私信息。对代码和数学的网页做特别的精细处理。

12. 数据比例：例如，对网络上过度表示的数据类别（如艺术和娱乐）进行降采样；数据混合比例由一系列小模型实验决定比例取舍，最终数据混合摘要：

约50%的token对应一般知识；25%的token涉及数学和推理；17%的token是代码；8%的token是多语言内容。

13. 模型架构：除了经验性细节调整，dense 模型的基本架构不变，所以是数据和规模化造就了头部模型。

405B模型具体参数：126层；token表示维度16,384；128个注意力头；根据scaling law决定模型大小为405B，约为3.8 × 10^25 FLOPs训练预算下的计算最优size。

14. 词汇表：使用128K个token的词汇表。结合了tiktoken3分词器的100K个token和28K个额外的多语言tokens，以更好地支持非英语语言。

15. 计算机资源，包括GPU万卡集群、海量存储和高速网络，巨大的资源投入。具体数据如下：

计算资源：
使用了多达16,000个H100 GPU（一种非常强大的图形处理器）。
每个GPU都有80GB的高带宽内存，功率为700W。
这些GPU被安装在Meta自己设计的服务器上，每个服务器有8个GPU和2个CPU。

存储系统：
使用了一个叫Tectonic的分布式文件系统。
提供了240PB（1PB=1000TB）的存储空间，分布在7,500台服务器上。
可以每秒处理2TB的持续数据，峰值可达7TB/秒。
一个主要挑战是处理模型检查点（保存模型状态的过程）时产生的大量突发写入。

16. 三步预训练过程：a) 初始预训练；b) 长上下文继续预训练；c) 用高质量数据源退火（Annealing）

预训练关键策略：
逐步增加批量大小和序列长度，以平衡稳定性和效率。
动态调整数据混合，针对性地提升特定能力。
分阶段增加上下文长度，避免早期的计算开销。
在训练后期使用退火和高质量数据，微调模型性能。

———————————

【LLM摘要】Llama 3：Meta的开源大模型突破

1. 引言与概述

Meta公司推出的Llama 3是一系列基础语言模型，旨在支持多语言处理、编程、推理和工具使用等多种任务。这个模型系列包括8B、70B和405B参数三个版本，其中最大的405B参数模型采用密集Transformer架构，支持多达128K tokens的上下文窗口。Llama 3的开发突显了三个关键因素：数据质量与规模、计算规模、以及复杂性管理。

2. 模型架构与预训练策略

2.1 模型架构
Llama 3沿用了标准的密集Transformer架构，而非采用混合专家模型。这一选择旨在最大化训练稳定性，体现了Meta对简化设计以管理复杂性的重视。主要的架构改进包括：
- 使用分组查询注意力（GQA）机制，每个注意力层有8个键值头。
- 引入防止同一序列中不同文档之间自注意力的注意力掩码。
- 扩展词汇表至128K tokens，结合了tiktoken3分词器的100K tokens和28K个额外多语言tokens。
- 将RoPE基频超参数增加到500,000，以支持更长的上下文。

2.2 预训练数据处理
Llama 3的预训练数据处理极为严格，包括：
- 多层次去重：URL级、文档级（使用MinHash算法）和行级去重。
- 启发式过滤：移除低质量文档、异常值和过度重复内容。
- 模型基础质量过滤：使用fasttext和基于Roberta的分类器进行质量评估。
- 特殊内容处理：为代码和数学内容开发专门的处理流程。
- 多语言数据处理：使用fasttext基础语言识别模型，支持176种语言。
- 安全与隐私保护：过滤包含个人可识别信息（PII）和不安全内容的网站数据。

2.3 预训练策略
预训练过程分为三个主要阶段：
1. 初始预训练：在约15T多语言tokens上进行，远超Llama 2的1.8T tokens。
2. 长上下文预训练：从初始的8K tokens逐步扩展到128K tokens的上下文窗口。
3. 退火阶段：在最后阶段使用高质量数据进行微调，并采用Polyak平均法生成最终模型。

数据混合比例经过精心设计：
- 50%通用知识
- 25%数学和推理
- 17%代码
- 8%多语言内容

3. 训练基础设施与挑战

3.1 计算资源
- 使用多达16K个H100 GPUs，每个GPU配备80GB HBM3内存。
- 采用4D并行策略：张量并行、流水线并行、上下文并行和数据并行。

3.2 存储系统
- 使用Tectonic分布式文件系统，提供240PB存储空间。
- 支持2TB/s的持续吞吐量，峰值可达7TB/s。

3.3 网络优化
- 开发NCCLX通信库，提高网络效率。
- 设计特定的网络拓扑和负载均衡策略。

3.4 训练挑战
- 在54天训练期间经历466次作业中断，其中419次为意外中断。
- 开发自动化系统和专门工具处理硬件故障和网络问题。

4. 后训练与对齐

Llama 3采用多轮迭代的后训练过程，包括：
1. 监督微调（SFT）
2. 直接偏好优化（DPO）
3. 奖励模型训练：使用人类反馈数据
4. 安全对齐：实施多轮安全措施

这一过程不仅提升了模型的指令遵循能力，还增强了安全性和特定能力（如编码和推理）。

5. 多模态扩展

虽然尚未正式发布，但Llama 3展示了promising的多模态能力：
- 图像识别：训练独立的图像编码器，通过适配器与语言模型集成。
- 视频理解：在图像适配器基础上添加视频适配器。
- 语音处理：独立训练语音编码器，然后与语言模型对齐。

这种模块化方法允许灵活添加新模态，同时保持核心语言能力不变。

6. 性能评估

Llama 3在多项基准测试中表现卓越：
- MMLU（5-shot）：87.3%
- HumanEval（代码生成）：89.0%
- GSM8K（数学问题）：96.8%
- 长上下文任务（如QuALITY）：95.2%
- MGSM（多语言任务）：91.6%

这些结果表明Llama 3 405B在多个任务上与GPT-4和Claude 3.5 Sonnet相当或接近，特别是在文档理解和长上下文任务上表现突出。

7. 安全性考虑

Meta在Llama 3的开发过程中高度重视安全性：
- 预训练和后训练阶段均实施严格的安全措施。
- 开发Llama Guard系统级安全解决方案。
- 进行广泛的红队测试和风险评估。

8. 开源影响与未来方向

Meta决定公开发布Llama 3全系列模型，包括405B参数版本，这一决定可能对AI研究社区产生深远影响：
- 推动开放、负责任的AI发展。
- 加速AGI的研究进程。
- 为研究者提供检验和改进大规模语言模型的机会。

未来发展方向可能包括：
- 进一步改进多模态集成。
- 扩展上下文长度。
- 持续提升数据质量和模型规模。

9. 结论

Llama 3的开发展示了Meta在大规模AI系统方面的深厚经验和前瞻性思考。通过聚焦数据质量、计算规模和复杂性管理这三个关键杠杆，Llama 3在多个关键基准上达到或接近了当前最先进水平。其开源发布可能会推动整个AI领域的创新浪潮，为负责任的AGI开发铺平道路。

———————————

老友说大模型做摘要千篇一律 看了等于没看。其实那是因为学术圈摘要 人类就是这么写的 难免有点八股 怪不得大模型。其实大模型擅长各种表述 端看你怎么提点它了。例如，指令： 根据上面的《辣妈3之歌》，讲一个风趣幽默但不离谱的故事：

好的，我来尝试用更加风趣生动、通俗易懂的方式重新描述Llama 3这个庞然大物：

辣妈3号：Meta的AI大厨烹饪的最新"神仙美味"

各位吃瓜群众请注意，AI界的米其林三星大厨Meta又出新菜了！这道名为"辣妈3号"的神仙美味，不仅辣得够味，还要把你的味蕾辣出新境界！

1. 主厨的秘密武器

想象一下，辣妈3号就像是一位会8国语言、能写代码、会算数、还能当你小助手的超级保姆。她不仅能照顾一个幼儿园的熊孩子（8B版本），还能管理一个中型公司（70B版本），甚至能治理一个小国家（405B版本）！这位405B大姐能同时记住12.8万个"流言蜚语"（哦不，是上下文），简直是行走的百科全书+超级计算机！

2. 食材选择：只选最新鲜的！

辣妈3号的主厨们可是挑食材的老手：
- 他们从网上"海捞"了15万亿个词，比上一代多了近10倍！
- 这些词里，一半是日常生活的调料，四分之一是数学题和脑筋急转弯，近五分之一是程序员的咒语，剩下的是环游世界学来的各国方言。
- 他们还发明了一个超级除草机，把网上的垃圾、重复的、不健康的统统都筛了出去。

3. 烹饪过程：三步炒作法

第一步："小火慢炖"- 先用普通灶台（8K上下文）煮个半熟。
第二步："大火爆炒"- 换成超级灶台（逐步加到128K上下文），把汤汁收得又浓又香。
第三步："温火收尾"- 最后用最好的食材轻轻一熬，这就是传说中的"退火"（连厨师自己都不知道为啥叫这名），让味道达到巅峰！

4. 厨房设备：顶配豪华版

- 16000个超级大功率电磁炉（H100 GPU）同时开火！
- 一个能装下半个太平洋的冰箱（240PB存储）！
- 比5G还快的专属配菜系统（NCCLX通信库）！

想象一下，这么多灶台同时开火，厨房里热得跟桑拿房似的。但我们的大厨们愣是顶着高温，54天里换了466次厨师服，才把这道菜给炒出来！

5. 调教方法：既要软萌可爱，又要知书达理

光会做菜不行，还得懂礼貌啊！于是我们的厨师们开始了漫长的"调教"过程：
- 先是来了一轮"温柔教育"（监督微调）
- 接着是"棒棒糖加大棒"战术（直接偏好优化）
- 最后还请来了道德模范（安全对齐）来指导

经过这番折腾，辣妈3号不仅会做菜，还会哄人、会编程、会算数、懂礼貌，简直就是十项全能！

6. 特色小菜：多才多艺显身手

别以为辣妈3号只会做饭，她还是个多才多艺的"女神"：
- 看图说故事？小菜一碟！
- 看视频写影评？不在话下！
- 听歌识曲还能唱两句？简直就是KTV麦霸！

虽然这些"才艺"还在练习中，但已经有几分李白"朝如青丝暮成雪"的潜质了！

7. 实力派：考试成绩单亮瞎眼

辣妈3号参加了一系列"星厨争霸赛"，成绩简直亮瞎眼：
- 大学入学考试（MMLU）：87.3分（满分100）
- 程序员面试（HumanEval）：89分（满分100）
- 奥数比赛（GSM8K）：96.8分（满分100）
- 长篇小说阅读理解（QuALITY）：95.2分（满分100）

这成绩单拿回家，恐怕连"虎妈"都要笑得合不拢嘴！

8. 安全第一：AI界的"保安队长"

Meta的厨师们深知"枪支弹药不能乱放"的道理。他们给辣妈3号配了个24小时保镖团队（Llama Guard），防止她不小心说错话或做错事。还时不时安排几次"道德考试"，确保她不会变成"终结者"。

9. 开源盛宴：人人都能当大厨！

最厉害的是，Meta决定把这道"神仙美味"的菜谱完全公开！这就相当于米其林三星餐厅把招牌菜的制作方法放到了网上。以后谁想做，在家就能整一道！这波操作，不仅让其他大厨们惊掉了下巴，还让无数吃货们欢呼雀跃！

10. 未来展望：更上一层楼

Meta的厨师们可没闲着，他们已经在琢磨下一道"神仙美味"了：
- 也许是会跳舞的辣妈4号？
- 或者会画画的辣妈5号？
- 搞不好哪天就冒出个会写交响乐的辣妈6号！

总之，AI界的"米其林"之路，才刚刚开始呢！

结语

辣妈3号的诞生，不仅让Meta在AI界的江湖地位更上一层楼，还为整个AI研究界带来了一股新风。这碗"辣妈汤"，不仅好喝，还给大家带来了无限的想象空间。AI的未来会怎样？让我们拭目以待，看看下一道"神仙美味"会是什么滋味！

———————————

下面才是中规中矩、非常忠实的另外几个LLM论文摘要，出自头部大模型，角度和风格略有不同，可以对比着快速浏览，获得辣妈3的基本信息 。我核对过，觉得比人类写得好。

【摘要2】

【摘要3】

引言

现代人工智能系统的基础是基础模型。本综述介绍了Meta推出的新一代基础模型集——Llama 3。Llama 3是一组支持多语言、编程、推理和工具使用的语言模型，其最大模型包含4050亿参数，并支持最多128K的上下文窗口。本论文对Llama 3进行了广泛的实证评估，结果显示其在多种任务上的性能与当前领先的语言模型如GPT-4相当。

模型架构与训练

Llama 3采用标准的稠密Transformer架构，并在数据质量和多样性以及训练规模上进行了显著改进。模型分为三个主要阶段进行训练：

1. 初始预训练：使用大规模多语言文本语料库对模型进行预训练，模型在此阶段学习语言结构并获得大量知识。初始上下文长度为8K tokens。
2. 长上下文预训练：在初始预训练后，通过逐步增加上下文长度进行进一步预训练，最终支持128K tokens的上下文窗口。
3. 退火：在最后的退火阶段，对高质量数据进行上采样，并采用Polyak平均化方法生成最终预训练模型。

Llama 3在设计上做出了一些简化以管理复杂性，如采用标准的稠密Transformer模型架构，而非混合专家模型，从而最大限度地提高训练的稳定性。后训练阶段采用相对简单的程序：监督微调（SFT）、拒绝抽样（RS）和直接偏好优化（DPO）。

模型评估与性能

Llama 3的模型被评估在多个基准数据集上，包括多语言理解、编程、推理等任务。其旗舰模型在多个关键基准上的性能接近甚至超过了GPT-4，具体表现如下：

• 多语言能力：Llama 3支持至少八种语言的问答和指令执行，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。
• 编程能力：能够编写高质量代码，并在HumanEval等编程基准上表现优异。
• 推理能力：在ARC Challenge等推理基准上表现出色。
• 长上下文任务：在某些任务上表现优异，如QuALITY达到95.2%。
• 多语言任务：在MGSM测试中，405B模型达到91.6%，与顶级模型持平。

Llama 3还进行了多模态扩展实验，整合了图像、视频和语音的识别能力。这些模型通过组合方法进行训练，显示出与当前最先进模型在图像、视频和语音任务上的竞争力。

数据处理与质量控制

Llama 3的数据处理过程包括大规模的文本语料库清理、去重和过滤，以确保数据的高质量。具体步骤包括：

1. PII和安全过滤：过滤掉可能包含个人可识别信息（PII）和不安全内容的网站数据。
2. 文本提取和清理：使用自定义解析器从HTML内容中提取高质量文本，并保留数学和代码内容的结构。
3. 去重：在URL、文档和行级别上进行多轮去重。
4. 启发式过滤：通过启发式方法去除低质量文档、异常值和重复内容。
5. 模型质量过滤：使用模型分类器对数据进行进一步的质量筛选，确保训练语料库的高质量。

复杂性管理

Llama 3在设计上做出了一些简化以管理复杂性，如采用标准的稠密Transformer模型架构，而非混合专家模型，从而最大限度地提高训练的稳定性。通过优化数据质量和多样性、扩大训练规模以及简化模型架构，Llama 3在多个关键基准上达到了或接近了当前最先进模型的性能。

安全性

Llama 3引入了Llama Guard 3模型，用于输入和输出的安全性过滤。该模型在训练过程中实施多轮安全措施，以确保模型的安全性和可靠性。

训练基础设施

Llama 3的训练在Meta的生产集群上进行，使用多达16,000个H100 GPUs，每个GPU具有80GB的高带宽内存，功率为700W。存储系统使用Tectonic分布式文件系统，提供240PB的存储空间，支持每秒2TB的持续数据处理能力，峰值可达7TB/秒。网络方面，使用RDMA over Converged Ethernet (RoCE) 和Nvidia Quantum2 Infiniband fabric。

后训练与对齐

Llama 3的后训练和对齐过程包括：

1. 监督微调（SFT）：使用人类反馈数据训练奖励模型，然后用于指导模型生成。
2. 直接偏好优化（DPO）：进一步对齐模型，使其更符合人类偏好。

通过多轮迭代，不断改进模型的指令遵循能力和安全性。

社区贡献与未来发展

Llama 3的所有模型将在更新的Llama 3社区许可证下公开发布，包括预训练和后训练版本的4050亿参数语言模型。通过公开发布旗舰模型，Meta希望推动研究社区的创新，并加速通向人工通用智能（AGI）的负责任发展。

结论

总体而言，Llama 3展示了在多语言、编程、推理和工具使用等方面的显著改进。通过优化数据质量和多样性、扩大训练规模以及简化模型架构，Llama 3在多个关键基准上达到了或接近了当前最先进模型的性能。通过公开发布如此大规模的模型，Meta展现了其推动开放、负责任的AI发展的决心，这可能会对整个AI领域产生深远影响。

【摘要4】

本文详细介绍了Meta推出的基础语言模型Llama 3。Llama 3是一组支持多语言、编程、推理和工具使用等多种任务的模型，其最大模型具有405B参数和128K token的上下文窗口。

Llama 3的开发基于数据、规模和复杂性管理三大关键支柱。在数据方面，其预训练数据量达约15T多语言tokens，远超Llama 2的1.8T tokens，并进行了严格的数据清洗和质量控制，包括PII和安全过滤、文本提取和清理、多轮去重、启发式过滤以及模型质量过滤等，数据混合比例为约50%通用知识、25%数学和推理、17%代码、8%多语言内容。

在规模上，旗舰语言模型使用3.8 × 10^25 FLOPs进行预训练，规模远大于以前的Llama模型。在管理复杂性方面，采用标准的密集Transformer架构和相对简单的后训练程序，如监督微调（SFT）、拒绝采样（RS）和直接偏好优化（DPO），以最大化训练稳定性。

Llama 3在多个基准数据集上进行了广泛评估，包括多语言理解、编程、推理等任务。其旗舰模型在许多任务上的表现与GPT - 4等领先语言模型相当或接近，在帮助性和无害性之间取得了更好的平衡。例如，在MMLU、HumanEval、GSM8K、QuALITY、MGSM等基准测试中表现出色。

此外，Llama 3还进行了多模态扩展实验，通过组合方法整合图像、视频和语音的识别能力。图像编码器在大量图像 - 文本对上训练，语音模块进行了自训练并与语言模型对齐，视频 - 文本数据也进行了对齐实验。这些模型仍在积极开发中，尚未准备好发布。

Llama 3的训练基础设施强大，使用多达16K个H100 GPUs，采用4D并行策略和专门的网络拓扑及负载均衡策略。训练过程中面临硬件挑战，但通过自动化系统和专门工具解决。在预训练和后训练阶段都实施了严格的安全措施，开发了Llama Guard系统级安全解决方案，并进行了广泛的红队测试和风险评估。

Meta公开发布了Llama 3模型，包括405B参数版本，这可能会推动AI研究社区的创新，加速负责任的AGI开发。未来可能会进一步提升模型能力，如改进多模态集成和扩展上下文长度，同时持续改进数据质量和模型规模。总的来说，Llama 3强调了数据质量、计算规模和复杂性管理在开发高质量基础模型中的重要性，其算法策略求稳务实，通过一丝不苟的数据收集清洗工作保证了模型质量。

What did Ilya see?

-- looking closely into his historical Berkeley talk

by Wei Li, Jia Gao

Introduction

When Ilya Sutskever left OpenAI and re-emerged with his new company, SSI (Safe Superintelligence Inc.), the move was both surprising and expected—he bypassed AGI and directly aimed at SSI (Safe Superintelligence). He confidently declared: Superintelligence is imminent, and establishing safe superintelligence (SSI) is the most important technological issue of our time.

Ilya, a legend in the field of deep learning and AI, and the former true soul of OpenAI, was at the center of the dramatic internal shift, addressing the issue—effective acceleration versus super alignment. Why was Ilya so steadfast about "super alignment" amid the underlying AI values and strategic path debate? Even after the storm settled, the outside world continued to speculate: what did Ilya see that compelled him to join the board in making the decision to oust CEO Sam Altman? Ilya remained hidden until recently, when he left OpenAI, leading to the dissolution of his super alignment team and the creation of his new company.

What did he see behind the push for "safe intelligence"?

Back on October 3, 2023, Ilya gave a talk at UC Berkeley titled "A Theory of Unsupervised Learning." Though obscure and known to few, it is destined to be one of the most significant moments in AI history. This talk was a theoretical reflection and summary by a top expert in deep learning on the GPT model he pioneered, now famous worldwide. Ilya revealed the core principles of large models and vividly described his obsession with, and excitement over, independently understanding the mechanisms of unsupervised learning. Despite the complexity, the talk was brilliant and enlightening.

Until recently, Leopold Aschenbrenner, a former member of his super alignment team, published a 165-page article, "Situation Awareness," preliminarily revealing the shock and concerns within OpenAI over the exponential evolution of GPT models. This partly answered the question of what Ilya saw, but Ilya himself remained silent until his official re-emergence not long ago.

Reflecting on his "confessional" talk at Berkeley, we might glimpse his "moment of enlightenment" when facing potential superintelligence and understand his original intent for safe intelligence. It was a rare deep sharing by Ilya, attempting to convey essential message to the world. But did the world hear him?

1. Machine Learning: Supervised Learning and Unsupervised Learning

To accommodate readers with varying mathematical backgrounds, this blog aims to explain Ilya's historical presentation in an accessible language. Purely technical explanations can be skipped by non-technical readers without affecting the understanding of the presentation's main ideas.

Before diving in, let's review the basic concepts of machine learning. Machine learning is like having computers as students and humans as teachers. By providing computers with numerous "practice problems" and "answer keys," they slowly learn to solve problems. This is supervised learning. But can computers really learn from practice problems instead of merely memorizing them? Ilya assures us there's theoretical proof of this.

Imagine a sea of problems before you, each paired with a standard answer. This is the model's training data. Model training is like diligently solving these problems until most of them are correct, meaning low training error. But even an extensive problem set has its limits. When new problems arise, can the model still get them right? These new problems are the test data, akin to exams. Whether the model performs well depends on its test error rate.

Mathematics tells us that as long as the problem set is large enough, far exceeding the model's size, excellent performance on training problems (low training error) ensures good performance on test problems (low testing error). In other words, if the model trains well, it will do well in exams! This is the mathematical guarantee for supervised learning.

However, if the model merely memorizes without extraction, no matter how large its memory or how strong its "memory power," it lacks real adaptive learning ability (called "generalization ability"). Only when the model isn't too smart, it will be forced to extract the essence (called "compression"), learning real skills from the problem set.

This explains why the model size shouldn't be too large, to avoid giving the model too much room to cut corners. In short, Ilya wants to say that "big labeled data + low training error" is the winning formula for supervised learning, guaranteed by mathematics. This point has been confirmed both theoretically and practically. Since the deep learning revolution 12 years ago, countless successful cases have shown that as long as the training data is sufficient, neural networks can excel, at all sorts of AI tasks, from recognizing cats and dogs to machine translation.

But what about unsupervised learning? Can computers learn intelligence from a problem set without standard answers? It sounds far-fetched, but Ilya is about to explain how he managed to seek a solid mathematical foundation for unsupervised learning as well.

2. Distribution Matching: A New Approach to Unsupervised Learning

Everyone knows that machine translation was a typical win of supervised learning, in fact, the only win among various NLP tasks (such as dialogue, information extraction, sentiment analysis,  question answering, docuent understanding, etc.) prior to the large language model's era. Why? Because we have a vast amount of historical bilingual data. It's like students having workbooks with English on the left and Chinese on the right—supervised learning thrives on this setup.

But what if the teacher suddenly stops providing aligned bilingual data and only gives you English books and unrelated Chinese books, leaving you to figure out how to align and learn automatic translation? That's the problem unsupervised learning needs to solve. Ilya says unsupervised learning can also handle various language machine translations (which we've seen today with large models—specialized translation software is no longer needed), and even any input-to-output transformation tasks. What's the catch?

Ilya discovered a new approach called distribution matching. Essentially, if the English and Chinese book collections are large enough, containing various sentence structures, their linguistic regularities will be learned "without supervision". For example, the context distribution of "I/me/my" in English should correspond to "我" in Chinese; adjectives near nouns in English with semantic compatibility should have a similar pattern in Chinese, etc. This provides the basic condition for potential language alignment.

Ilya points out that if two languages' native data is sufficiently rich, the input in one language can almost uniquely determine the equivalent translation in the other language. This principle applies not only to machine translation but also to tasks like speech recognition and image recognition.

Ilya independently discovered this approach in 2015, fascinated by the underlying mathematical principle—compression theory. If we can find a method that maximally compresses both English and Chinese data, this approach will capture the common patterns of the two languages, which form the basis of translation.

So, Ilya proposes that unsupervised learning is essentially about finding the optimal data compression method. This perspective not only sounds cool but also provides a mathematical explanation for the effectiveness of unsupervised learning. Although real-world tasks are not idealized, this principle gives unsupervised learning a solid theoretical foundation, making it as convincing as supervised learning.

Next, Ilya will delve deeper into the mathematical principles behind it. Although somewhat abstract, he promises it’s full of insights. We'll see how he uses the magic of compression to explain the mysteries of unsupervised learning.

3. Ilya’s Ultimate Theory: From Conditional Modeling to Joint Modeling

This is the final and most intriguing slide of Ilya's talk, worthy of thorough analysis and contemplation. The goal of unsupervised learning is often defined as "learning the internal structure of data." Ilya suggests understanding unsupervised learning from the perspective of data compression: a good unsupervised learning algorithm should maximally compress the data, representing its content in the simplest form. This introduces the concept of Kolmogorov complexity.

The Kolmogorov complexity of a data object is the length of the shortest computer program that can fully describe this object. You can imagine this shortest program as a "compressed package" containing all the information needed to reconstruct the original data. From this perspective, the goal of unsupervised learning is to find the optimal compressed representation of the data, which is the Kolmogorov complexity.

The Kolmogorov complexity of a data object is the length of the shortest computer program that can fully describe this object. Imagine this shortest program as a "compressed package" containing all the information needed to reconstruct the original data. From this perspective, the goal of unsupervised learning is to find the optimal compressed representation of the data, which is the Kolmogorov complexity.

However, in practice, we often need to handle multiple related datasets. For instance, in machine translation, we have the source language dataset X and the target language dataset Y. We want to learn a model that can translate sentences from X to Y (or vice versa). Traditionally, this is viewed as a conditional probability problem: given X, what is the probability distribution of Y? Represented in terms of Kolmogorov complexity, this involves finding K(Y|X), the shortest description length of Y given X.

Ilya proposes a different approach. Instead of viewing X and Y as condition and result, like in supervised learning, he suggests viewing them as a whole and compressing them together within a massive model. Essentially, we seek the joint Kolmogorov complexity K(X,Y), the shortest program length that compresses both X and Y simultaneously. This approach must fully utilize the correlation between X and Y, using information in X to automatically align Y (or vice versa), much like how we use our native language knowledge to understand and remember foreign language expressions.

Ilya believes this joint compression idea is the true power of unsupervised learning. Real-world data is often interconnected, with numerous deep common patterns and regularities. If unsupervised learning can discover and utilize these regularities, it can significantly enhance learning efficiency and generalization ability. This explains the remarkable performance of large language models like GPT across various tasks: through massive unsupervised pretraining, they learn the deep regularities of the training data, and these regularities are transferable across related datasets.

Although Kolmogorov complexity is theoretically uncomputable, Ilya believes we can approximate this process using deep neural networks (like GPT). Through optimization algorithms such as gradient descent, neural networks can find the optimal compressed representation in massive data, capturing the essence of the data and its alignment patterns, even if not strictly in terms of Kolmogorov complexity.

Thus, Ilya’s theory can be seen as a new paradigm for unsupervised learning, elevating traditional independent modeling (like separate models for English and Chinese) to a unified associative modeling approach. In this paradigm, the goal of unsupervised learning is no longer just compressing individual datasets but finding the connections between them. This cross-modality learning represents an advanced form of artificial general intelligence (AGI).

Now, let’s closely examine this final slide. In it, X represents dataset 1 and Y represents dataset 2. The key point is extracting every bit of information from X (or Y) to help predict Y (or X). This is what Ilya refers to when he says training X and Y together yields the effect that unsupervised learning of X helps accomplish the task of transforming X to Y.

The crucial idea is: K(Y|X) becomes K(X, Y).

Ilya transforms the universally applicable functional AI task of "input X conditions output Y" into an approximate solving problem by jointly training X and Y without modal segmentation. This joint training approach is effectively the current multimodal unified training, abbreviated as K(X, Y).

Ilya aims to strengthen the theoretical basis, emphasizing his surprising discovery that self-learning of X has a strong predictive effect on Y.

The essence of unsupervised self-learning is that the self-learning of X is to compress X, and the self-learning of Y is to compress Y. This is straightforward because the essence of self-learning is involves only positive examples, without negative samples. Unsupervised self-learning lacks a specific task orientation; it learns language from language, images from images, music from music, and so on, continually abstracting various patterns from phenomena.

Ilya points out in the slide: conditioning on a dataset, not an example. The compression object is the dataset, not individual data points, which is crucial. This distinction separates superficial compression from content compression. Superficial compression is merely a mechanical process that does not produce intelligence. Only content compression can achieve artificial intelligence.

How do we understand the difference and connection between superficial lossless compression (e.g., digital music) and content lossless compression (e.g., Suno)? Compressing a specific song losslessly aims to ensure it can be restored to its original musical form (including noise and imperfections). This is traditional music compression, targeting individual sample, e.g., a specific song. Compressing a collection of music, whether using GPT or Diffusion, targets a group of samples, resulting in a large model like Suno.

When individual objects turn into group objects, formal compression naturally transforms into content compression. This is because, although the group comprises individuals, compressing the group is like "painting" a portrait of the group, outlining its characteristics. It may resemble an individual, but it is not a specific individual in the original data; otherwise, it would not be a model but a memory repository.

This is understandable because the purpose of large model compression is to identify the characteristics and regularities of the dataset. The text generated by GPT-4 might seem familiar; the music generated by Suno might sound familiar; the videos generated by Sora might look familiar; the images generated by MJ might seem familiar. However, they are virtual individuals "restored" based on prompts, abstracted or compressed from big data: derived from data, higher than data, mingling with data, indistinguishable from real and fake.

Given that the compression object is the entire dataset content, how do we measure its effectiveness after decompression? What is the gold standard?

This standard is each sample itself. However, this is not entirely accurate; the standard could have equivalent answers, as the same content can have various ways of expressions. The implementation method is "masking", and NTP simply masks the next token. Training involves calculating the loss for each sample, using backpropagation with gradient descent to adjust parameters continually, eventually lowering the loss in the group training of the dataset to an acceptable point, forming the large model.

This final slide and Ilya’s explanation emphasize a core point: Conditional Kolmogorov complexity K(Y|X) provides a theoretically optimal solution for unsupervised learning. K(Y|X) is defined as the length of the shortest program that produces the output dataset Y given access to the input dataset X. It represents the theoretical limit of extracting all valuable information from X to predict Y. An algorithm that can achieve K(Y|X) would be the best for predicting Y using unlabeled data X.

This can be seen as the theoretical basis for large models performing various language translations. Each language is potentially X and potentially Y. After self-learning with an huge amount of data, LLMs learn the relationships between languages, possessing the potential to translate from X to Y.

In practice, the machine translation task, like other tasks, initially involves few-shot examples in instruction-following fine-tuning to define the task, ultimately triggering the internal power of large models to translate various languages. This internal power of unsupervised learning for various tasks is the theme of his talk.

However, K(Y|X) is uncomputable in practice. Ilya proposes a feasible alternative, using joint Kolmogorov complexity K(X,Y) (joint compression of X and Y). He believes K(X,Y) can achieve the same effect as K(Y|X) in practical machine learning tasks.

Let us stop and think again: conditional modeling is now replaced by sequence modeling by Ilya. The widely known probability simplification in traditional machine learning, such as the Markov chain, has a similar effect.

Conclusion

Ilya's historic presentation at Berkeley on the theory of unsupervised learning reveals the secret behind the mainstream of self-learning large models, especially GPT. It seems that Ilya, after long contemplation, finally disclosed this "heavenly secret" in a cryptic manner at Berkeley. Although the theory and its proof appear complex, it is crucial for understanding why GPT's sequence learning method ("next token prediction") has become a universal simulator for AI tasks.

Ilya exudes a genius prophet aura, with a lonely invincibility and high-altitude isolation, blending a sense of deep realization, compassion, and the pure, focused, and idealistic earnestness of a graduate student nerd.

He claims to prefer compression but does not emphasize so-called lossless compression. He leaves room for himself and the mainstream, proposing the concept of "no regret"—though GPT may not achieve lossless or perfect compression, it theoretically proves there is no better way: GPT is the closest to lossless, "no-regret" modeling.

When Ilya officially re-emerges to establish SSI, emphasizing a single focus, a single goal, and a single product—to use technology to ensure the superintelligence brought by large models is safe for humanity—he asserts: AI will be eternal, its birth akin to the creation of heaven and earth. As Ilya passionately discusses AI's progress, he is most qualified to declare and lead the "exciting yet dangerous journey towards AGI."

References

Chinese full-length post

Ilya's presentation:

Related Links:

https://www.youtube.com/live/AKMuA_TVz3A?si=7dVfcBUv3rHBHtyT

https://situational-awareness.ai/

Ilya Sutskever：你会 bet against AI 吗？

挥刀董事会，OpenAI 如何解决致命难题

英伟达GTC的一小步，AI进化史的一大步

为什么说 Sora 是世界的模拟器？

我是大模型数字主播小雅，今天播报的题目是立委两分钟最新的话题《大模型到底有没有逻辑推理能力？》。

这是最近一篇论文的题目。ICML 2024：“Case-Based or Rule-Based: How Do Transformers Do the Math？” 第一作者为来自北京大学物理学院、即将加入人工智能研究院读博的胡逸。有点意思。

论文第一个结论是，llm 学不到真正的推理规则，只能通过相似案例学到有限泛化。人学到的推理规则是可以 外推的（extrapolation） ， 而相似案例的有限泛化却只能做内插（intrapolation）。无法外推，所以训练集没有类似案例的区域就成了盲区。
这个实验是在 gpt2 上做的。可以理解为什么第一个实验必须在 gpt 2 上做，因为他可以控制训练数据，制造数据真空，来验证有没有逻辑推理带来的外推能力。但这种GPT2这样规模的“大”模型没有出现的能力，并不表明真正的大模型就不会“涌现”。

论文后来的实验是在比GPT2大得多的 “辣妈” 上做的，似乎得出一个相左的结论。结论是，如果模型足够大，只需要少量的任务微调，llm 就学会了接近规则推理的效果。在长整数加法上的表现，表明模型不仅会内插，在外推上也表现很好。

非常有趣的研究，实验设计也不错，但论文貌似同时发表了两个矛盾的结论。

谈谈我的看法。从序列学习的方式上看，数据驱动的模型学习是以 case based 的归纳（也叫压缩）作为起点和主干的，这个没有疑问。问题是，case based 的学习，到了一定的程度和量级的时候，是不是会非常逼近 rule-based 的学习。承认后者就是承认了大模型具有某种逻辑推理能力。大模型具有初步的逻辑推理能力这一点在大模型主流社区中本来不是问题，而是默契的共识，大模型测试的一个重要维度就是逻辑推理能力。但在更大的范围内（非主流圈子以及普罗大众），一直还是作为疑问存在的。

一个有意义的视角是看泛化中外推的理解。对于非解析的、没有对应符号规则的现象，外推本质上是不可计算的，也就是只能碰运气了。出路只有收集相关数据，把盲区带入雷达屏，化外推为内插。但是对于有解析解的高度规则化的数据分布，外推能力是泛化学习的自然期望，达不到期望就说明llm只是一个鹦鹉。达到了期望， 就说明 llm 跳过了鹦鹉的门槛，学会了某种推理规则。现在看来，头部大模型是跨越了这个门槛，继续拿鹦鹉学舌来比况大模型，彰显的是人类盲目的狂妄自大。
要摈弃削足适履的思维定式。只要模型展现出符号规则类似的推理逼近的能力，就应该承认它学会了初步的推理。更本质的，它融会贯通，对于规律现象，可以达到外推的能力。其实，小语种之间的机器翻译能力，就是外推的结果，因为训练数据中严重缺乏相关的数据。
前不久引起关注的一项关于KAN模型的研究中，KAN 的 AI for science 实验，其实已经展示了模型如何数据驱动去逼近解析解，等于是把模型学习逻辑推理的内部过程图示化了，非常生动 ，有相当的说服力。当然，KAN的实验表明对于简单的解析解，数据驱动可以逼近符号规则，但并不轻易就得出符号规则。实验中是加入了人为的剪枝等操作才得出了数据背后的符号规则。

与此对照，深度学习大佬杨立昆却坚决否认GPT有逻辑推理能力。杨立昆语录： AGI is a complete nonsense；GPT is a deadend，等等。矫枉过正反潮流，把话说死，并不是坏事。但轻信他，也可能就被带进沟里去了。

诚然，大模型序列学习的本性是在序列上再现数据的丝滑和顺畅，所以擅长语言生成类任务。序列学习不擅长逻辑推理，尤其是深度、复杂的逻辑推理过程。但完全否定大模型具有初步的逻辑推理能力却是走到了另一个极端，也不符合我们所看到的事实表现。

我是小雅，以上就是今天的立委两分钟的播报，希望对您有启发，谢谢聆听，咱们下次再见。

【立委NLP频道】

• 李维 郭进《自然语言处理答问》，商务 2020

• 《李白对话录》
• 《朝华午拾》电子版
• 《李家大院》电子版
• 《李老夫子遗墨》电子版
• 《小城青葱岁月》电子版
• 《江城记事》电子版
• 立委微博的存在
• 【李名杰从医67年论文专辑】（电子版）
• 【李名杰从医67年论文专辑（英语电子版）】

Ode to Madam Hu

July 1, 2024 at 1:50 PM

[verse 1]
In Suzhou's June, beneath a scorching sky,
A madman's blade flashed, evil drawing nigh.
Mother and child cried out in desperate fear,
Their screams of anguish piercing far and near.

[chorus]
With verse we mourn, our grief in words conveyed,
A hero's tribute, never to fade.

[verse 2]
Before the school bus, Madam Hu stood tall,
Her gentle hands became a shield for all.
No tiger-wrestler she, no dragon-slayer,
But love unbounded made her their savior.

[chorus]
With verse we mourn, our grief in words conveyed,
A hero's tribute, never to fade.

[verse 3]
Her blood stained red the soil of Jiangnan,
White clouds and grieving grass bore witness, wan.
Though snuffed, her candle's light forever gleams,
Like brave Feng Yuan of old, her courage beams.

[chorus]
With verse we mourn, our grief in words conveyed,
A hero's tribute, never to fade.

[verse 4]
Why must the kind so often suffer woe?
When will justice's path smooth waters show?
We question Heaven, tears fall like the rain,
In silence seek life's meaning through our pain.

[chorus]
With verse we mourn, our grief in words conveyed,
A hero's tribute, never to fade.

[verse 5]
Madam Hu's name shall echo through the years,
Half-masted flags, a nation draped in tears.
Her love, transcending life and death's divide,
One selfless act, as sun and moon abide.

[chorus]
With verse we mourn, our grief in words conveyed,
A hero's tribute, never to fade.

[verse 6]
Rest now in peace, return to native ground,
Let not your family grieve, all hearts are bound.
In old Wu Gate, by Suzhou's storied streams,
We offer flowers and wine to honor dreams.

[chorus]
With verse we mourn, our grief in words conveyed,
A hero's tribute, never to fade.

[fade]
[end]

胡氏颂
苏州六月炎炎日，
街头突现凶徒起。
匕首寒光闪不已，
母女惊呼声声急。
校车门前胡氏立，
柔弱双手化盾力。
非为搏虎斩蛟志，
只因大爱无私意。
鲜血染红江南地，
白云悲悯草木悲。
烛火虽灭光不已，
如古冯媛勇气继。
善良何故遭祸际？
正义何曾得善治？
追问苍天泪如洗，
沉默中觅人生理。
胡氏芳名世代记，
旗帜半垂国人泣。
大爱无疆超生死，
一念救人照月日。
愿君安息归故里，
家人莫悲天下悯。
吴门故地姑苏际，
香花清酒祭英魂。
勇者浩气长存世，
感人义举青史立。
愿以诗文寄哀思，
颂扬英烈万古记。

【立委NLP频道】

• 李维 郭进《自然语言处理答问》，商务 2020

• 《李白对话录》
• 《朝华午拾》电子版
• 《李家大院》电子版
• 《李老夫子遗墨》电子版
• 《小城青葱岁月》电子版
• 《江城记事》电子版
• 立委微博的存在
• 【李名杰从医67年论文专辑】（电子版）
• 【李名杰从医67年论文专辑（英语电子版）】

2023-2024年关于大模型以及AIGC的演讲和采访汇总

2023-03-05：源码资本AIGC“尖峰系列”丨李维博士：人类语言“通天塔”建成，ChatGPT的辉煌与挑战

2023/05/09: 腾讯科技，对话产业专家：“百模大战”愈演愈烈，地球上算力不够支撑10亿人使用

2023/07/16: 轩辕之学讲座，特邀讲座《大模型的历史、现状和挑战》

2023/06/28: 中国证券报报道 360 GPT 联盟特邀演讲：李维：避免大模型行业同质化竞争 深耕领域阶段有很多“细活”可做

2023/07/21: ArchSummit 全球架构师峰会主题演讲《从架构师视角谈如何迎接/拥抱大模型及其新生态》（https://blog.csdn.net/EDDYCJY/article/details/131929057）

2023/07/28: Chinajoy，中国音像与数字出版协会和上海汉威信恒展览有限公司主办，特邀演讲《AIGC时代，数字人引领内容创作新范式》

2023/08/06: 亚马逊云科技和真格基金主办的闭 “机遇与挑战——生成式AI的发展趋势和落地应用”，主题演讲《AI大模型落地的前景和痛点》

2023/08/23: 江苏师范大学主办 “大语言模型离人类语言有多远”学术研讨会特邀演讲《大模型的本性及其落地痛点》

2023/10/20: 第十一届科博会，特邀主题演讲《AI和大模型趋势》

2024年3月18：英伟达 GTC2024全球开发者大会 与英伟达中国团队合作，讲演《重塑数字人互动潜能》

2024/04/22: 第十四届北京国际电影节光影未来，演讲《捕捉未来的魔术师》

2024/04/22 九派财经专访出门问问副总裁李维：两年内大模型的商业化爆发一定会发生

2023/11/11: 香蕉论坛，“百“模”大战对智能座舱发展意义与实践”，2023/12/05 汽车商业评论，《​李维：大模型技术的过去、现在与未来》

2023/12/05 汽车商业评论，《​李维：大模型技术的过去、现在与未来》

2024/04/22：九派财经专访出门问问副总裁李维：两年内大模型的商业化爆发一定会发生

2024/05/24: 九派财经专访出门问问副总裁李维：找产品方向是更大痛点，跑通场景是第一位

《飞哥说AI》深度系列：

2023/12/09: 飞哥说AI，李维 高佳：OpenAI狂飙生态？ 领域壁垒仍是大山

2023/12/09: 飞哥说AI，李志飞 高佳 李维：关于 Google Gemini 的八点启示

2024/02/19: 飞哥说AI，李志飞 李维 高佳：为什么说 Sora 是世界的模拟器？

2024/02/29: 飞哥说AI，李志飞 李维 高佳：万字长文解构中国如何复刻 Sora：模型架构、参数规模、数据规模、训练成本

2024/03/05: 飞哥说AI，李志飞 李维：Claude 3 追平或超越 GPT-4，能归纳15万单词

2024/04/01: 飞哥说AI，李维 王艺 高佳：Suno 将如何进化？

2024/04/12: 飞哥说AI，高佳 李维 王艺「产模结合」也许是AI公司更好的出路？

2024/06/04: 飞哥说AI，李维 高佳：KAN会引起大模型的范式转变吗？

【立委NLP频道】

• 李维 郭进《自然语言处理答问》，商务 2020

• 《李白对话录》
• 《朝华午拾》电子版
• 《李家大院》电子版
• 《李老夫子遗墨》电子版
• 《小城青葱岁月》电子版
• 《江城记事》电子版
• 立委微博的存在
• 【李名杰从医67年论文专辑】（电子版）
• 【李名杰从医67年论文专辑（英语电子版）】

简介一下 first：

Moravec悖论是由机器人专家汉斯·莫拉维克（Hans Moravec）在20世纪80年代提出的一个观察，指出了人工智能领域中的一个有趣现象：高水平的推理需要相对较少的计算资源，而低水平的感知和运动技能则需要大量的计算资源。这意味着计算机和机器人在处理复杂逻辑和数学问题时相对容易，而在执行诸如行走、抓取和视觉识别等基本感知和运动任务时却非常困难。

Moravec悖论的主要观点

高水平推理 vs. 低水平感知和运动技能：

高水平的认知任务（如象棋、数学证明、逻辑推理）可以被算法高效地解决，因为这些任务往往有明确的规则和结构。

低水平的感知和运动技能（如步行、抓取物体、视觉识别）涉及大量的不确定性和复杂的环境变量，这些任务需要处理大量的感官输入并实时做出反应，非常困难。
人类和机器的不同发展路径：

人类在进化过程中，低水平的感知和运动技能（如走路、避开障碍物）已经通过数百万年的进化得到优化，并且我们对这些技能的认知是无意识的。相比之下，高水平的认知任务是相对新的发展，且大多是有意识的。

计算机和机器在这些高水平任务上表现出色，但在处理低水平感知和运动任务时却非常困难，因为它们缺乏人类进化中积累的那些隐性知识和适应能力。

Moravec悖论的实际例子

下棋 vs. 走路：计算机程序可以打败世界上最好的选手，但要让一个机器人在复杂的现实环境中稳定地行走仍然是一个巨大的挑战。

逻辑推理 vs. 抓取物体：逻辑推理问题可以通过算法高效解决，而让机器人精确地抓取和操纵不同形状和材质的物体仍然需要复杂的感知和控制算法。

有几点感想：

1. 既然低水平的感知和运动技能是亿万年进化的结果，成为动物和人的遗传本能，后天只是激发出来了这种能力。

那么 LeCun 以动物和人总是在语言能力之前，先“学”会了这些能力作为理由，批判LLM对于多模态的干扰和“投机取巧”，就不是很有说服力。因为模型并没有进化出来的遗传基因作为基础。模型唯一可以利用的是LLM里面的认知知识（包括感知常识的语言描述）。

2. 虚拟机器人（LLM）可以轻易做很多高级白领工作，但人形机器人却对蓝领低级工作的模仿非常笨拙，这是大家都看到的事实。

但其实我们也观察到，虽然笨拙，但任何低级的力气活（例如举重）、技巧活（例如翻筋斗），一旦学会了，机器人就比人类有无比的优越性：它不知疲倦，不怕单调，耐力超强。学会了投篮以后，你不用担心他的成绩不稳定。

3. 视觉识别以前是模型的短板，人和动物的强项。

但是现如今就不同了。例如，人脸识别，模型比人强了。看图说话和视觉理解最近的表现也有明显的碾压人类趋势。

这是因为当悖论提出的时候，那还是符号逻辑主导AI的年代，机器学习刚开始有一些进展，但善于从海量数据学习patterns的深度学习还没有发明。感知智能当时是一座难以逾越的大山。

4. 具身机器人的外推能力怎么来呢

我们知道，机器人以前的建模都是非常“内向”的，在厨房环境建立的模型，换到了办公室环境就不行，必须一切重来，重新准备场景数据，重新训练。厨房环境的数据 “外推” 到办公室环境的能力，可不可以做到？

可以的。在大模型的架构下，这早已不是幻想。可行性可以从半年多前的谷歌 RT-2 机器人的项目表现看到端倪。

道理就是大模型虽然没有遗传的基因，也没有目标场景（厨房场景）的数据， 但办公室环境的数据 finetune 出来的大模型能力，是有希望迁移（外推）到其他的环境（例如办公室环境），因为LLM 某种意义上起的作用就是生物进化得到的先验遗传。

模型训练的讨论中，常常提到 interpolation（内推）与 extrapolation（外推）两个术语，可以说说。

大家都知道，在数据驱动的主流学习过程中，内推需要的是在训练数据的边界内“泛化”能力，善于信息压缩的深度学习训练是内推的利器。但外推（extrapolation）就没见有长于此道的算法或模型。实际上，外推与数据驱动是直接矛盾的，by nature 就是无解的，因此很可能这就是个伪问题，根本就不该对外推抱有幻想。当然，从鲁棒性角度，外推现象出现的时候，应该有个合理的应对，至少要做到模型不死机，至于外推的精度，主要是看运气，而非模型的内功可以发力。

不过，外推的问题还是值得梳理一下。

外推（Extrapolation）
定义：外推是指在已知数据点之外进行预测或推断。例如，已知某个函数在几个点上的值，外推就是在这些已知点之外估计函数的值。

前面说了，数据驱动的路数，本质上对外推无解。不能强人所难，巧妇难为无米之炊。米就是数据。

但加强外推，理论上还有 “先验知识” 和 “模型结构复杂化” 两个路子可能有点帮助，而数据本身的短板，除了数据，没有它途：就是说把对于“无人区”的外推问题，转化为收集相关数据，让外推变成内推。

模型结构复杂化在历史上是帮助了训练的“外推”能力的，如果原来的简单模型有自身的结构性局限。我们都知道，AI历史上，非线性问题在简单的单层神经网络的模型里是无解的，无论给出多少训练数据（这其实是早期神经网络的命门：单层神经无法解决 XOR 的现象）。但到了多层+非线性转换，就有解了。这其实是深度学习神经革命的最基本的立足点。这其实反映了当本质上是多维的数据被挤压在低维空间的时候，简单模型是无法跨越维度去找patterns的，相当于外推遇到了墙壁。模型复杂化就是开拓了多维空间，供训练施展。

至于“先验”对于外推的作用，我们从 Alpha-Zero 利用 self- play 再生数据可以看到效果。self-play 的好处是有游戏规则等先验知识，因此它所产生的数据，可以是在先验知识条件下的未见过的“外推”数据。

尼克：其实是个动态的过程。我按照你的理解，用美国实用主义哲学的话语替你更清晰地表述：可以证伪或者科学革命的是外推，可以证实的是内插。但是都符合奥卡姆剃刀，都是压缩。

白硕：啥叫外啥叫内？彼此互为“外”的，在一个巧妙的映射下就成了“内”。基因组和字符串，当初谁知道是外还是内呢？

鲁为民：我的理解是如果用数学语言来描述, 给定一个数据集，如果一个数据 sample 在该数据集的 Convex Hull 是内插，在Convex Hull 之外是外推。所以 Nick 说的证伪也还应该是内插，但科学革命要看革命到什么程度。

所以内插问题基本是可解的问题。从这个意义上来说 NTP 都是内插 （不过 Sonomonoff 说的下一个符号预测是外推，定义和这个不一样）。

尼克：convexity的判定非常简单，复杂性很低。

白硕：内插是纯粹连续空间里的事儿。外推符号也可以。那么问题来了，对应于符号的外推，连续模型是什么？比如离散符号集上的归纳。

还有就是奇奇怪怪的分布，用凸包就太“宽大”了，什么点都进来了。差值很容易不靠谱。把原始数据先变到某个流形上，再做凸包和内插，会精准很多。代价就是要去搞定流形。

尼克：连续是离散的近似，还是离散是连续的近似？

白硕：.1、.2，这种离散不是真离散。张三李四更离散。

中医说心是君主之官，肺是宰辅之官，肝是将军之官，这个映射是离散到离散。要嵌入向量空间还要能内插外推，不知道大模型中医书读多了会不会玩这套。

尼克：对，单说convexity从复杂性角度没意义。

鲁为民：但这个基本上可以界定对人类和机器可解的问题；比如我们可以判别哪些努力是在是制造（信息）永动机。

尼克：微分vs差分。是连续到离散。连续简单，离散就复杂。

鲁为民：所以像 Embedding 这样试图将离散问题近似为连续问题，将问题简化到利用目前的手段可解。另外通过概率方法，也可将离散问题连续化 ...

立委：如果某数据的本性就是完全随机（布朗运动？） 不存在任何有效的压缩。外与内如何区分？区分又有何意义？

尼克：有修辞的意义

立委：这类数据本性是不可计算的，但在谜底泄漏之前，只要给数据 模型（or 图灵机）就一定在计算。它在计算或压缩什么呢？

又因为所给的数据一定是有限的，这有限的数据一定会被“误读” 而且一定形成某种内外之别。不完全归纳/回归？？数据驱动的方法 其实不知道 也不可能知道背后的真相。

立委：离散符号的 embedding 比起 1 hot 是降维 降维克服了数据稀疏的挑战 从而为压缩创造条件。但从传统的符号逻辑 用人为的非常有限的离散 features （例如词类与子类）来表示离散符号来看， embedding 是在增加维度。但除了 embedding 还有更好的办法 与上帝对话吗 ？embedding 的维度数，本来就具有任意性、可配置。

白硕：理论上离散的NP完全问题对应的人造数据也都可以“嵌入”连续空间。连续方法对求解有好处吗？@Nick Zhang（尼克）

尼克：看怎么嵌入了，可能对求近似解有用。

白硕：用1 hot那种嵌入。能不能找到结构相似性？比如对变元做一个permutation不变的SAT问题。

尼克：这个permutation复杂性有要求吗？

【立委NLP频道总目录】

• 《李白对话录》
• 《朝华午拾》电子版
• 《李家大院》电子版
• 《李老夫子遗墨》电子版
• 《小城青葱岁月》电子版
• 《江城记事》电子版
• 立委微博的存在
• 【李名杰从医67年论文专辑】（电子版）
• 【李名杰从医67年论文专辑（英语电子版）】

在Anthropic 的 Claude 3 和 谷歌 Gemini 赶上 GPT4 以后，就不断有人希望 Open AI 放出它的 GPT5 的大招来，但传说中的 5 迟迟不来，于是有人怀疑，scaling law 是不是失效了，大模型是不是进入了平台期。

这个怀疑有一定的道理，因为GPT路线上的 scaling law 不过是个经验“法则”，虽然说，it never fails us，so far，但谁也不敢保证它永远有效。遇到瓶颈不是不可能的。

微信中也开始流转马库斯最近的评论：“大模型开始进入收益递减的时代”。但他的论证感觉很有问题。

文章开始有个奇怪的递减结论的依据。在一个 100 scale 的性能上，达到 80 以后，绝对递升减缓不是一个宇宙真理吗？怎么就成了马库斯眼中的递减论的批评依据呢？我们对 “更大力出更大奇迹” 的 scaling 期望，主要是要补齐那些目前能力的空白 和 短板，最终实现 “在所有职能任务上，模型都可以达到或超过人类水平” 的 AGI 理想。因此，合理评价大模型更新换代是不是走在agi的路上，应该细致分析空白与短板，而不是用那些已经达到 接近 或超过人类水平的指标上。 也许 gpt5 确实遇到平台期或过不去的瓶颈 （我们其实不知道），但这种论证方式显得多么不靠谱。

道理上，对于已经达到或超过人类技能的指标上，应该关注不要有太大的退步（regressions）。对于一个重要的智能也有上百甚至上千种需要全面测量的模型，只要智能边界在扩大，空白被填补，低性能有增长、高性能没有大退步，就是走在正确的路上。就不能说是处于平台期。

有人看不起多模态的进步，认为那是低级的智能任务，是横向的发展，是“向下看”为应用落地，而不是向上去探顶，去加强高级智能任务的能力。这个看法，缺乏对于智能的全面深刻的理解。

多媒体方向的进步，虽然水到渠成，但其实速度很快，无论Sora的发布，还是前两天Open AI 和谷歌的全双工、实时、流式、能看能听能说、甚至能逗哏捧哏、打情骂俏的超写实助理的发布，其表现和速度实际上超出我们多数人的预期，完全不像是模型进入平台期的景象。

实时交互等于是在大模型原来的短板上大幅度增强，填补了一些空白。把这些能力排除在外，只看、只认认知智力的进展进度，是非常偏见的。

从功能对于应用的影响来看，感知多模态的加强，比起认知智能的进一步提升（例如在所有的专家资格考试中赶上人类专家），更为关键，因为模态是认知智能落地的重要接口。

从大模型本身的健康来看，多模态也是绕不过去的关，认知智能只有借助感知智能（进而结合具身智能从数字世界进入物理世界），才能算是真正落地（grounding），获得数字世界 ——或跳出数字空间获得物理世界—— 的意义。

在这一点上，LeCun 在 AGI 中特别强调感知智能是有其道理的。但LeCun过分纠结于感知和认知训练的次序了：他坚持感知智能先行，要排除语言模型的认知的“投机取巧”和对感知智能的“干扰”，淡化或无视认知智能对于感知智能的知识迁移作用，这是具体路线之争，不是特别有说服力的。

LeCun 说过： GPT 不如我家的一条狗。

这话你也不能说他错，但显然是偏激之词，带有太大的情绪。

其实，不仅LLM不及猫狗，我们人类也不及，没有猫狗的嗅觉灵敏，也没有他们躲避危险的高效。我们人类甚至在算术方面不如计算器，更甭提计算机。

so what？

对不如一条狗的LLM，我们也不能因此否认它比1000个教授和博士都更博学。LLM 可以与物理学家讨论暗物质，与语言学家谈乔姆斯基层次结构，与任何专家谈任何问题。而且所谈的并不是人们想象的那么无知和胡说，虽然里面 here and there 确实有幻觉和臆测。

切身体会是，如果你作为专家保持一种探究问题的心态和对于幻觉警惕的 alert，你会发现与它交谈比与很多中等水平的同行讨论，更有意思，或受启发。ta 看的书实在太多，而且也本性上学到了融会贯通，而不仅仅是死记答案：学到了语言，也相当程度上，学到了知识。

无视LLM这种人类智能，贬之为不如一条狗，除了发泄情绪外，只有一个价值：提醒感知智能的重要性。

不管怎样，AI 因为有了马库斯和LeCun这些“持不同政见者”，而更加丰富多彩。但我们也没必要被他们蛊惑。

甜甜听到我的 piano ballad，问：are u ok, Dad?

我说，if you are blue, what you do is play piano.
我也想 play，但可惜我不会。所以，I made a piano ballad

她说，I see, 但她没想到这是 AI 歌曲。

甜有很高的音乐素养，以前一直看不起AIGC，主要是她觉得她看到的AIGC内容在似像不像之间，所谓“恐怖谷”效应，感觉 weird，但这次说，这一首的确不像是AI的，与人类艺术家产出无异。

我说，there will be more and more AIGC beyond our imagination

human like or super human like ...

我说我在公园转，循环听了这首不知道多少遍，还没有烦。谁说 AIGC 出不来可循环听放的曲子？

当连听三个 sad, 很难不泪眼模糊：人生本来就有无尽的不可承受之重。

有时候也想，人类从个体角度，绝大多数人都经历过生不如死般的磨难，和没有道理的内卷和碾压。而人类并不抽象，它是由一个个注定饱经磨难的个体组成的。那么，人类灭亡、文明毁灭又有什么了不得的？不过是落下一片白茫茫大地真干净。

绝大多数人类行为，换一个角度看，不仅仅毫无意义，而且是飞蛾扑火。

歌唱的是爱情毁灭的残酷，但传达的绝望情绪，却是所有的悲观主义哲学。

昨天，听李飞飞 Ted 演讲，她确实是个演讲高手。谈她刚下场要做的初创，做所谓“空间智能”，就是视觉 3D，也许加“具身智能”，当前的热门。

她一开篇从宇宙历史开始，说，“有了光，但没有眼睛，没有视网膜。”

听上去像是在说新约上帝造人的故事。

我在想，如果文明终结，不过就是回到“有光但没有眼睛”的世界。物质、色彩、感情、烦恼、痛苦与狂热，压缩、理性、概念与意识，这一切的一切，全部消失于无形。从哪里来，回哪里去。

一万个不情愿，我们每个人都（被）接受了个体的这个宿命，长远来看，为什么不能接受群体的宿命呢。

这个意义上，超级对齐不仅是杞人忧天，而且是要做上帝，或替上帝操心。太把自己当回事儿了。伊利亚、马斯克，无不如此，自以为超人。马斯克准备投巨资要移民火星 说是为文明买一张保险。但巨额保费谁出？打着人类的名义，本质上还是人类买单，哪怕这是从他个人的超级利润拿出来的。这其实没有道理。尤其是在还有疾病、饥饿和无数本来可以避免的痛苦的世界。