立委：从语言与语言学角度，chatGPT 的的确确证明了自己万能的语言能力。千百年来的人类巴别塔之望终于美梦成真。巴别塔建成了，建成日期2022年11月。这个成就超出了一般意义的里程碑。这是划时代的进步。

南山：我看不懂它是鹦鹉学舌还是真的掌握了语言。我比较认同一个说法：语言是思想的表象。计算机掌握语言与计算器做计算，也许没有本质区别。

毛老：对。和蒸汽机胜过人的臂力也没有本质区别。

卫东：一个机器是否具备人类的语言能力，本身就是一个比较难判断的问题吧？按照语言学区分competence和performance的考虑，机器和人，在测试语言能力方面的范式是一样的，总是用performance去估计competence。所以，真正的“语言能力”，大概也只能是一种“感觉”吧。chatgpt现在的表现，应该是让很多人“觉得”它掌握了语言。人们似乎还没有想出比图灵测试更高明的方法，来判断机器是否具有语言能力。

霄云：图灵测试 is not for language only, it is end to end “common sense “ test, human intelligence via language.

卫东：是的。它包含了语言能力。

南山：所以纠结机器是否智能在可预见未来是无解的，相关的判别标准和概念大家都没有清晰、一致，对于chatgpt、alphzero这类，看疗效才是王道。

霄云：单独测 language 是不是 翻译 或者别的 normalization 就可以？ @詹卫东

卫东：不知道。我想不清楚语言跟其他能力是怎么分开的。简单的区分，比如语言考试，语文考试这类的。具体的题目，像是近义词辨析。我测了100题。chatgpt的表现跟LSTM的水平差不多。但是这类考试，并不是真实的语言应用场景。实际上是教师凭空想象的。题目形式是选择题，就是把一个句子中的一个词拿掉，给两个近义词，让它选一个填回去。100题得分不到60分。

南山：有唯一正确答案的题目吗？判断正确的标准只针对句法还是要结合语义和常识？

卫东：从出题的角度考虑，是有唯一正确答案的，但语言题还是跟数学题不同，总会有“更多的视角”和“更开放的标准”隐藏着，导致答案很难唯一。 近义词组是考虑了很多因素挑选的，包括句法、搭配、语义协同、常识等。

立委：语言理解能力可以看 同样的意思 你变着花样不同问法，然后看他的回应。体验下来 结论是 它是真理解了 不比人差。

卫东：差不多是这个体验。我测试它对不及物动词的反应。故意不在“引语句”打引号。但它准确地识别出引语句片段。不过，线性符号串接续层面形成的“结构”意识，似乎还是不能跟树结构完全重合。这就让人担心它的理解能力。我的感觉是人的智能有一个突出的特征，就是“整体性”。如果没有“整体性”，就是工具智能，不是“通用智能”。

Li Chen：整体性其实是神经网络的强项，毕竟最后都变成向量了。难的反倒是细节。

卫东：我说的整体性比较含糊，大概是这个意思：一个智能实体，不应该能做奥赛的数学题，但却在算24点的时候犯“低级”的错误。就是chatgpt在给人感觉很厉害的同时，又表现出存在犯低级错误的能力。

Li Chen：我觉得这个现象可以理解。因为像24点这种东西，某种意义上讲就是一个特殊的游戏，需要说明规则，理解规则的基础上来玩。chatgpt真的理解这个规则了么？这个感觉也就是toB难的地方，不同行业的规则不一样，通用模型没见过这么多具体的规则。即便是人，有很强的学习能力，换个行业也得学习工作一段时间才能玩得转。

南山：对于一个有阅读能力的人，将一段话打乱之后，ta仍然可以把整体意思掌握了。chatgpt可以吗？一个有阅读能力的人不需要特殊训练就可以读懂这段话

立委：可以测试一下。应该没问题，因为汉字本身就是形义结合的词素。

卫东：这个可能是chatgpt的强项，我之前测试不及物动词“见面”的句子中就包含了这类乱序的句子。它理解得非常准确。

立委：这个实验好。语言理解从效果上看就是要鲁棒有包容，同一个语义可以有多种不同的表达形式，表达形式不规范也没关系，只要上下文的关键词及其相谐性可以让语句的意义有区别性就好。chatGPT 这方面游刃有余，总是可以把同义的不同说法映射到语义空间的同一个区域。

卫东：100分！

原文是今天新浪网一段新闻。

南山：你不用提醒它顺序被人为打乱了，它怎么理解

卫东：

南山：这么说可以认为它的语义理解能力是没有问题了。

卫东：是的，感觉可以“跳过语法”，直达语义。

白硕：乌兰克

南山：可以理解为它的常识或常识运用有问题吗？

卫东：其实很难评判应该是“乌兰克”还是“乌克兰”。chatgpt不改也不能认为是错。

Li Chen：是的，也许真有个国家地区或者可以当主语，修饰语的确实叫乌兰克。

卫东：从我受到的语言学训练角度讲，chatgpt的汉语语言学知识（人类假设的那些知识，可能对，也可能不对）还是比较贫乏的，按照这个标准，它应该还不算掌握了语言。一个典型的表现是，语言学比较重视打*号的句子的分析，也就是所谓“不合语法”的句子。但实际语料中这样的句子极少。应该是训练数据缺乏。chatgpt对这样的句子的判断能力就不太灵。不过，这似乎也不太影响它进行语言信息的分析和处理。从这个角度讲，chatgpt对语言学的刺激是：句子结构的分析，包括对正例和负例的结构分析和解释，到底意义是什么？

立委：关于文法书上强调的带有星号 * 的反例，那不是为了语言理解，主要是从语言生成的角度，实践中追求的是合法和地道（nativeness），理论上追求的是 internal grammar/language，需要防止反例出现。

从语言生成角度，LLM 的大数据回归的属性天然实现了 nativeness，反例不仅少见，即便出现，统计上也沉底了。语言生成能力的效果观察，可以让它生成几次，看回应是不是还在同类水平上，是不是走题或掉链子。这一关表现不错。除了特别的风格输出（例如洋泾浜：这种“风格”可以看成 sub-language，里面的正例恰好是规范英语的反例）外，它是不会出现低级文法错误和违背习惯用法的笑话的。所以 native speakers 听着也觉得舒服。

说到底还是图灵，如果不告诉你背后是谁，你是不是会觉得对象是人。

从语言理解角度，文法书上的绝大部分反例都在包容的范围之内。语文老师让学生改正反例的那些练习题，其出题的前提就是这些所谓反例其实同样承载了正句一样的语义。没有这个预设，人怎么知道如何改正才能保留原有的意义呢。反例不过就是形式上的违规而已，通常不影响内容。

当然，在 input 较短 context 不足以确定内容完整性的的时候，有些反例会呈现歧义或甚至与原意相左的语义，这时候形式的违规的确与内容的混乱或不确定发生关联了。这时候，句法手段的修正（例如次序的调整、功能词的使用以及西方语言中的形态的正确应用等）才会有实质性意义，而不仅仅就是为了 native speaker 听上去顺耳而已。

解析和理解的能力，LLM 特别宽容鲁棒，主要是它的 embedding（编码嵌入，成为其内部的向量表示）可以容纳很长的 input，在 context 相互邻近的关键词之间相互制约下（我们叫篇章中的 semantic coherence，包括词义之间的搭配关系），形式上的偏离规范已经不影响它在语义空间的意义定位，从而“它”可以轻易与“非它”区分开来。

一个符号串 吃进去就是向量空间的某个或某组位置 其意义表现在与其他位置的距离和区别。因此 位置偏差一点 不影响意义 只要它与其他的不同意义的符号串映射可以区别开来。鲁棒性根植于此。换个角度 意义不是要问是什么，更要紧的是 不是其他（什么），只要能维持这种意义空间的区别性，规范不规范就都可以包容。区别之间有足够的空间/距离，即可容忍局部的种种口误 错误。

霄云：Llm 的 position encoding is linearly attached not cross product，so it is a weak form 

立委：词序影响意义的机会不大。当年 一包词模型用了很久 也是因为 词序是较弱的约束，构成区别要素的场景并不频繁。

我把一句话，完全反过来，从：explain quantum computing in simple terms 映射成类似回文：terms simple in computing quantum explain，它毫不迟疑。

人家训练的是next token，现在是处处反着来，本想让它找不着北，但实际上一点也不影响它的“理解”。就是说，当一个模型可以对较长的 input string 做编码嵌入的时候，次序的约束已经很弱了。因为那一小袋词之间的物理距离（proximity constraints）加上它们语义的相谐性（semantic cosntraints）已经足够让这个整体的语义表示与其他对象区分开来，这时候纯粹语言学意义的句法约束（syntactic constraints，包括严格的词序）就可以松绑。

我怀疑 position encoding 即便不做，LLM 也不见得性能会下降很多。

霄云：Could be, popular code base all use it still

立委：换句话说，在 bigram / trigram 建模的年代，词序是重要的 (“我爱她”与“她爱我”，“打死”与“死打”，可不是一回事)。到了ngram 中 n 可以很长的时候，ngram list 与 ngram set 已经语义相等了。

句长不够，词序来凑。长度足够，序不序无所谓。句法地位急剧下降。

论鲁棒，人如何与模型比，差了不止一个段位。

Li Chen：想想确实是这个道理，在有很多词的情况下，还要能组成符合语法的句子的可能性是有限的，也就意味着语义差异不大了。所以这个时候顺序确实已经不重要了，估计这个也是为什么即便是最简单的bag of words也能用来做相似度计算，一用就是几十年的道理。

卫东：跟chatgpt逗个乐。

总的感觉就是chatgpt对语言的嵌套理解能力和指代关系理解力非常强。

川：LLM 没问题，ChatGPT is evil

Who is the master, machine or man?

立委：那是因为 chatGPT 太 human like，搞定了自然语言形式。

川：搞定是假象，现在就下结论太早。

A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity

立委：机器都是假象，AI 本性。Artifical 与假象可以看成是同义词。就本质而言，人工智能就是智能假象，这个论断没有问题，但这应该并不妨碍人类深度使用AI。

搞定的判断是，跟他说话感觉它听从指令、善解人意，而且回应也很顺溜贴心，不走题。

三个月玩 chat 下来，我在它生成的英语中，没有发现过语言的问题（内容的毛病不算），一例也没有。但在其中文的生成中，偶然还是会发现它有语言的瑕疵（不符合规范或习惯的用法），虽然它的中文生成能力已经超过多数同胞。这说明，目前 chat 语言训练的中文语料还可以进一步扩大，从爱挑剔、追求完美的语言学家视角，它还有一点点剩余的进步空间。

结论还是: chat 搞定了人类语言，无论听还是说，妥妥的。万能的语言巴别塔是真滴建成了。

【相关】

A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity

《朝华午拾》电子版

李维 郭进《自然语言处理答问》（商务印书馆 2020）

【语义计算：李白对话录系列】

【置顶：立委NLP博文一览】

chatGPT 网址：https://chat.openai.com/chat（需要注册）

还行吧，这些段子水平不高。但比憋不出来强。

本来写出好段子就是最具挑战性的人类创作活动之一，只要采访几个著名的脱口秀演员就知道其中的甘苦了。很多大火的脱口秀演员，为此绞尽脑汁。台上五分钟，台下无数不眠夜。让人开口笑，并不容易啊。

By the way 国内脱口秀这几年蓬勃向上，有超越传统相声的态势，尤其是在年轻人中开始流行。这是以前没想到的，有传统相声的国度，居然让外来艺种抢了风头。制度接轨那么难，艺术接轨如此自然，水到渠成？

wow，不知道这是抄袭的，还是“emerging”的，联想一下还真像是个搞笑的段子：

gou (go) 我不会飞，可我很快。
niu 所以我那么大（大妞儿？）

猫猫 miao 或 mao, 耗子 mou，也蛮形象，有声有色的样子。

哈，看来只学会了一个套路：羊/yang (young)，所以我害羞。

马少平：谐音梗：为什么不能吃藕？因为吃藕丑。

立委：这个强。马老师自己的灵感吗？

辞职算了，不要教书育人传授AI了，笑果文化更需要你。lol

马少平：不是，流行比较广的[Grin]

立委：lol

还有一个类似的感受，国内流行乐坛中的 rap 在大唐比想象的流行要广。在一个有数来宝的国度，rap 一样长驱直入。

马少平：我不喜欢rap，觉得就不是歌。

立委：可是很多年轻人喜欢啊。

马少平：确实。跟年轻人有沟。

立委：觉得文化的融合与流行 不是想象的那么难。

国内那些 rap，牵强的说辞泛滥，听着好别扭，觉得比虽然低俗但顺溜地道的数来宝或山东快书，是一种严重退步。但是我们的“成见”挡不住新一代的热情和迷恋，这里面可能有什么文化密码和奥秘。

最后就是日本动漫的文化，热度持续不减，横扫两个超级大国：引起中美年轻人的狂热。

陪女儿小时候看迪斯尼长大，没想到后来迪斯尼就被 anime 碾压了。anime，我不入，搞不清里面的奥秘。是为沟。

【相关】

《朝华午拾》电子版

李维 郭进《自然语言处理答问》（商务印书馆 2020）

【语义计算：李白对话录系列】

【置顶：立委NLP博文一览】

chatGPT 网址：https://chat.openai.com/chat（需要注册）

说到chat里程碑的意义，盖茨比作电脑、互联网后的第三大里程碑，显然有点夸张了。可是我们进入计算机博物馆看里程碑展馆，有 1. 第一次下国际象棋打败人类 2. IBM 沃森问答打败人类，后面的还该有一系列打败人类的里程碑吧，例如围棋。

不得不佩服它条理化的能力，只有一个不妥：医学并入了教育。其余的综合 总结能力强过一干人，自然包括在下。在这一长串中，AI明星 chat 可以成为 top 几？

top 10 有点高抬了，top 20 似乎有余：就凭他建成了巴别塔，搞定了人类语言。

文字 应该是 语言/文字。宗教不该漏。

我是从语言角度。它的的确确证明了自己的万能的语言能力。语言能力其所以特别重要，不仅仅因为我是语言学家，难免强调它，更因为这是规模化机器能力的敲门砖，否则机器只是少数人的玩具。机器学会人话的意义，比人去适应机器，用程序去给它指令，意义大得多，这是人机接口的革命。

【相关】

《朝华午拾》电子版

李维 郭进《自然语言处理答问》（商务印书馆 2020）

【语义计算：李白对话录系列】

【置顶：立委NLP博文一览】

chatGPT 网址：https://chat.openai.com/chat（需要注册）

JJ: 

ChatGPT 写情书也不重样。

立委：这是陷入爱河但苦于笨嘴拙舌的人的福音了。人的爱意 哪怕是套话 也是要表达才行，藏在心里不行。

“i love you" 是鹦鹉学舌完全可以做到的，但并不因为是套话而失去其神奇效应。无数的情感矛盾和关系恶化 其实就是缺少了这三个字的表达频度。

但热恋要求更高一点，需要营造浪漫。营造需要形式，而有的人就是不懂形式，不善言辞，不会表达（俗话说，不会来事儿 lol）。你便是真情如海，但羞于表达或表达不出来也没戏。谁愿意与木头谈一场恋爱？

有问，机器代写的情书能有真情吗？这就好比询问：毛笔写的情书能有真情吗？

chatGPT 不过就是个工具，就跟你用毛笔还是钢笔一样。这个工具见识过无数的情书。工具帮助你产生形式，至于真情表白还是虚情假意，那要看使用工具的人了。

劝热恋中的人都去订阅 chatGPT pro，现在出来了，每个月20美元，太平价了，可以帮你制造浪漫的条件，无论是诗歌、两地书还是策划。

-- *声明：以上是脑残广告，不当真的 =）

顺着这个话题延伸一下，说说 chatGPT 作为文字助手的作用，尤其是对于不善言辞的人。

出口成章的人是少数。见过很多人在一些场合 需要应景 却憋不出话来 十分窘迫。现在好了。不知道有没有办法把 chat 制成一个可以植入的东西，就不说老马说的脑机接口了，只要能让它成为一个隐藏的招之即来 但无人察觉的暗器，也许作为穿戴设备，例如传说中的苹果眼镜，让它编制的应景台词，跟提词器似的，崩到眼镜上，我见人不见。那会是社恐人士多大的福音。

不同程度的社恐据报道是一个非常常见的问题，我自己也深受其害，人稍多就哑巴了，插不上话，却要硬着头皮应付。看社交场合如鱼得水的人 知道他们是胡喷 但人家给气氛啊 自己啥贡献也没有。成为社交累赘，有情商的的人，还要照顾你情绪，不时还要引一两句给你，带你玩的意思。chat 可以改变这一切 让笨嘴拙舌秒变伶牙俐齿，让只懂本行的老专家也能成为百科地保。 

为民：一位圈外朋友的朋友圈信息: "ChatGPT是中庸主义者的福音，完美地让你泯然众人、符合社会的基本期待。

ChatGPT不需要提升生产力（不需要empower人类的语言能力），只需中庸地鹦鹉学舌，帮助人类在其没有表达意愿的场景、完成表达的义务。

如果用ChatGPT写情书，说明你根本不爱收到情书的对象。但是也许你并不需要soul mate（不是每个人都需要），你只想要应付相亲对象。

作为情商不高的半社恐人士，我在很多场景都没有沟通互动的意愿，但是我得耗费精气神维持礼貌、得体、正常，ChatGPT作为AI助理可以帮我们这种人成为真正的中庸主义者。"

立委：

情商这东西 为什么人学起来那么笨 机器却行：估计主要是人自我中心 换位思考就难。机器根本没有自我 调教对齐一下就乖巧了。

白硕：机器没有脊梁

立委：情商优者治人 智商优者治于人。外行领导内行 由来已久 天经地义。

数量上也不成比例 情商强的人 远远少于智商好的，最后大多做了各级领导或企业老板。

【相关】

《朝华午拾》电子版

李维 郭进《自然语言处理答问》（商务印书馆 2020）

【语义计算：李白对话录系列】

【置顶：立委NLP博文一览】

chatGPT 网址：https://chat.openai.com/chat（需要注册）

立委按：自从 chatGPT 横空出世，这类应用文辅助写作案例已经水漫金山，见奇不怪了。但这不改变辅助写作是一个具有巨大应用场景和价值的方向，虽然大概率与机器翻译也差不多，最后作为行业可能被做死，或成为白菜价。下面是我自己前一阵子做的一些试验，摘录如下。

其一：推荐信

请帮助我用规范的英文写一篇推荐信，内容包括：1. 推荐张三到清华做博士后，研究AGI；2. 我是张三的博士导师； 3. 张三博士论文获到全国优秀论文大奖。

Dear Admissions Committee,

I am writing to highly recommend Zhang San for admission to your PhD program in AGI research at Tsinghua University.

As Zhang San's doctoral advisor, I have had the pleasure of working with him for the past three years and have been consistently impressed by his intellectual curiosity and dedication to his research. His thesis on AGI has been recognized with the National Outstanding Thesis Award, a testament to the quality and originality of his work.

In addition to his impressive research abilities, Zhang San is a team player and has proven to be a valuable asset to our research group. He is able to work well with others and consistently contributes fresh ideas to our discussions. I am confident that he will thrive in a collaborative environment like your PhD program.

I strongly believe that Zhang San would be an excellent fit for your program and would make a valuable addition to your community of researchers. I wholeheartedly endorse his application and hope that you will consider him for admission.

Sincerely,

[Your Name]

请增加一些具体生动的细节，让推荐信更为有力。

Dear Admissions Committee,

I am writing to highly recommend Zhang San for admission to your PhD program in AGI research at Tsinghua University.

As Zhang San's doctoral advisor, I have had the pleasure of working with him for the past three years and have been consistently impressed by his intellectual curiosity and dedication to his research. His thesis on AGI has been recognized with the National Outstanding Thesis Award, a testament to the quality and originality of his work. In particular, his contribution to the development of a novel AGI algorithm has garnered attention from researchers in the field and has the potential to significantly advance the state of the art.

In addition to his impressive research abilities, Zhang San is a team player and has proven to be a valuable asset to our research group. He is able to work well with others and consistently contributes fresh ideas to our discussions. I have seen him take the lead on several collaborative projects, always ensuring that all team members are on the same page and making valuable contributions to the final product. I am confident that he will thrive in a collaborative environment like your PhD program.

I strongly believe that Zhang San would be an excellent fit for your program and would make a valuable addition to your community of researchers. I wholeheartedly endorse his application and hope that you will consider him for admission.

Sincerely,

[Your Name]

好了一些，但请增加下列事迹：1. 废寝忘食 他总是最后一个离开实验室；2. 发表了5篇一级刊物论文，成为青年学术新星；3. 虽然AGI被认为是难以实现目标，张三在定义AGI实现的不同步骤上提出了具有操作性的建议，并实现了10个步骤中的前5个。

Dear Admissions Committee,

I am writing to highly recommend Zhang San for admission to your PhD program in AGI research at Tsinghua University.

As Zhang San's doctoral advisor, I have had the pleasure of working with him for the past three years and have been consistently impressed by his intellectual curiosity and dedication to his research. His thesis on AGI has been recognized with the National Outstanding Thesis Award, a testament to the quality and originality of his work. In particular, his contribution to the development of a novel AGI algorithm has garnered attention from researchers in the field and has the potential to significantly advance the state of the art. Zhang San has also published five papers in top-tier journals, establishing himself as a rising star in the field of AGI research.

Despite the challenges and setbacks that are inherent in AGI research, Zhang San has remained committed to his work and has often stayed in the lab long after everyone else has gone home. His dedication to his research has paid off, as he has already achieved significant progress in his work. In particular, he has proposed operational steps towards the realization of AGI, and has successfully implemented the first five steps of his proposed framework.

In addition to his impressive research abilities, Zhang San is a team player and has proven to be a valuable asset to our research group. He is able to work well with others and consistently contributes fresh ideas to ......

中国教授头疼的为学生写推荐信问题，已经完美解决。只要你能列出零星哪怕是散乱的要点，机器就会给你拽成一篇看上去非常 professional 的规范推荐信。有没有问题? 当然可能有。例如明明是要求博士后推荐，它写成了 to your PhD program, 但关键是语言方面的困难都给你搞定了，只要通读一遍把个别词改正一下即可。

其二：快讯

AI，请按照严格的规范编写一个新闻稿，其内容包括：
1. 中国封控一夜取消，180度大转弯；2. 由此带来急剧的社会变化，包括大面积感染在各地同时蔓延，以及不同人对于这一波疫情的恐惧；3. 一方面广大群众为重新获得自由而欢呼雀跃，另一方面也对目前疫情可能失控深感忧虑；4. 专家前后不一致的说法，使得公众思想更加混乱；5. 各种滥用药品的情况开始出现；6. 政府无法对政策转变自圆其说， 权威下降。

新闻稿：

中国封控一夜取消，180度大转弯

近日，中国疫情突然爆发，导致政府决定实施封控措施。然而，这一措施在一夜之间被取消，导致社会发生急剧的变化。

首先，随着大面积的感染在各地蔓延，人们对于这一波疫情的恐惧感也在不断加深。一方面，广大群众为重新获得自由而欢呼雀跃；另一方面，人们也对目前疫情可能失控的情况深感忧虑。

此外，专家们在疫情发生后对于应对措施的建议前后不一致，使得公众思想更加混乱。同时，由于政府对于政策转变的解释不一，其权威也开始下降。甚至还出现了各种滥用药品的情况。

总之，中国疫情的发生和政策的转变，导致了社会的急剧变化。虽然广大群众为重新获得自由而欢呼雀跃，但人们对于目前疫情可能失控的恐惧感仍然存在。同时，政府权威下降也使得公众对于应对措施的信任度降低。

【相关】

chatGPT 网址：https://chat.openai.com/chat（需要注册）

《朝华午拾》电子版

李维 郭进《自然语言处理答问》（商务印书馆 2020）

【语义计算：李白对话录系列】

【置顶：立委NLP博文一览】

做过几个实验，把 chatGPT 当成tutor，帮助我精读论文，看它有多少胡说，有多少循循善诱深入浅出。

当然，对我不懂的专业，胡说我也看不出来，只有专家能看出来。说一下初步体验，chatGPT当辅导员是一个很好的方向，几乎不需要做太多的工作，只要能接上就可以根据不同客户的目标朝向任何专门辅导的方向去发展，例如：（1）辅导面试；（2）辅导论文阅读；（3）辅导编程序（已经有 co-pilot 就是做那个方向，最近那个从特斯拉离职以前负责特斯拉自动驾驶的牛人现身说法，他说他现在写程序 70% 以上借助 co-pilot，虽然也听说过其他 guru 对 co-pilot 不屑一顾，说我懂的我不需要它，我感觉痛点的地方它帮不了我。这些不同的反应很正常，因为并不是每一个人都需要和拥抱“被机器辅导”的新潮流，就像有人有自动驾驶却从来不用，而我现在离开自动驾驶感觉非常别扭一样）；（4）.........

LLM（“老流氓”）做辅导最大的问题还是他不懂装懂，胡说八道。就是说他“耍流氓”的时候他不露声色，还是一副道貌岸然的样子。这个问题目前看来无解，就是说很难避免它在辅导你知识的同时，不夹带私货或者误导你。这也不能怪他，无所不知而且无穷耐心与天马行空胡说八道是伴生品，非专家无法区分。而被辅导者通常不是专家，否则为何要被辅导。

只能看 pros and cons 的权衡了。只要牢记不能拿它的话当成金科玉律，保持适当的警惕性，对于关键环节需要多方做求证才能应用，那么被辅导也就不是问题，可以让辅导的利益最大化。这与使用 FSD 开车的感觉类似，你不可以全信这个 beta 系统（即便将来取消 beta 标签，也不能全信），它的确可能在最糟糕的情景下做出最灾难性的选择，你必须保持警惕，随时干预和接管。但是从中受益的人还是很多。美国市场的特斯拉车主渗透力达到了1/4强，记得是二三十万人每天在用它。你不能说这几十万人都是傻瓜：花费一万多美金心甘情愿做小白鼠，冒着自己的生命危险，为马斯克趟雷，给特斯拉免费做标注和反馈。还是被-autopilot 所带来的好处远远大于它的潜在危害，才会有 early adopters 愿意去拥抱技术。同理，用 LLM 帮助做辅导一定会带来很多好处，虽然它可能会误导。

辅导精读论文这事儿，chat 可算是比较拿手，不管什么专业它都能。谁叫它好为人师。辅导的过程大体如下：我跟他说，请你帮助我精读下面这篇自然论文，我需要对它有一个深入的理解，来应对考试。然后让它做摘要，同时用中文和英文，然后一步步问它各种问题。感觉它回答问题主要还是针对给他的目标文章，但因为它此前这个领域的文章也看了不知道多少（虽然最近两年的没看），所以你问它的任何问题，它都可以解释回答。这与教授辅导学生也一样，教授也是用自己脑袋里的领域知识，不仅仅是所面对的目标论文，来做讲解。

以上算是铺垫，我们现在就现场直播一场辅导，目标论文就是名满天下的那一篇AI论文，发明 自注意力机制 transformer 的那个 attention is all we need，看它能不能比一般人科普、辅导得更加深入浅出。为什么选这一篇做实验，因为 transformer 这个框架和 attention 这个机制，是我们现在见到的这些LLM奇迹的技术源头。其中 transformer 的工程优势也是一个重要因素，但这不是我关心的点，所以没有在下面的 tutoring 过程中强调。这个实验还可以继续向深处做下去，让它讲解每一个术语和细节，看它最后是不是还靠谱。这需要调动积累的知识，它比起一般的老师应该更有记忆。

～～～～～～～～～～～～～～～～～～～

Wei:
reading comprehension and summarize this important research in simple terms in both English and Chinese so every college student understand:

Attention Is All You Need Abstract The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 English- to-German translation task, improving over the existing best results, including ensembles, by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. We show that the Transformer generalizes well to other tasks by applying it successfully to English constituency parsing both with large and limited training data. 1 Introduction Recurrent neural networks, long short-term memory [13] and gated recurrent [7] neural networks in particular, have been firmly established as state of the art approaches in sequence modeling and transduction problems such as language modeling and machine translation [35, 2, 5]. Numerous efforts have since continued to push the boundaries of recurrent language models and encoder-decoder architectures [38, 24, 15]. Recurrent models typically factor computation along the symbol positions of the input and output sequences. Aligning the positions to steps in computation time, they generate a sequence of hidden states ht, as a function of the previous hidden state ht−1 and the input for position t. This inherently sequential nature precludes parallelization within training examples, which becomes critical at longer sequence lengths, as memory constraints limit batching across examples. Recent work has achieved significant improvements in computational efficiency through factorization tricks [21] and conditional computation [32], while also improving model performance in case of the latter. The fundamental constraint of sequential computation, however, remains. Attention mechanisms have become an integral part of compelling sequence modeling and transduc- tion models in various tasks, allowing modeling of dependencies without regard to their distance in the input or output sequences [2, 19]. In all but a few cases [27], however, such attention mechanisms are used in conjunction with a recurrent network. In this work we propose the Transformer, a model architecture eschewing recurrence and instead relying entirely on an attention mechanism to draw global dependencies between input and output. The Transformer allows for significantly more parallelization and can reach a new state of the art in translation quality after being trained for as little as twelve hours on eight P100 GPUs. 2 Background The goal of reducing sequential computation also forms the foundation of the Extended Neural GPU [16], ByteNet [18] and ConvS2S [9], all of which use convolutional neural networks as basic building block, computing hidden representations in parallel for all input and output positions. In these models, the number of operations required to relate signals from two arbitrary input or output positions grows in the distance between positions, linearly for ConvS2S and logarithmically for ByteNet. This makes it more difficult to learn dependencies between distant positions [12]. In the Transformer this is reduced to a constant number of operations, albeit at the cost of reduced effective resolution due to averaging attention-weighted positions, an effect we counteract with Multi-Head Attention as described in section 3.2. Self-attention, sometimes called intra-attention is an attention mechanism relating different positions of a single sequence in order to compute a representation of the sequence. Self-attention has been used successfully in a variety of tasks including reading comprehension, abstractive summarization, textual entailment and learning task-independent sentence representations [4, 27, 28, 22]. End-to-end memory networks are based on a recurrent attention mechanism instead of sequence- aligned recurrence and have been shown to perform well on simple-language question answering and language modeling tasks [34]. To the best of our knowledge, however, the Transformer is the first transduction model relying entirely on self-attention to compute representations of its input and output without using sequence- aligned RNNs or convolution. In the following sections, we will describe the Transformer, motivate self-attention and discuss its advantages over models such as [17, 18] and [9].

chat:
The research paper "Attention Is All You Need" proposes a new network architecture called the Transformer, which is based solely on attention mechanisms and does not use recurrence or convolutions. The Transformer is able to perform better on machine translation tasks and requires less time to train. It also shows that the Transformer can be applied to other tasks, such as English constituency parsing.

研究论文 "Attention Is All You Need" 提出了一种新的网络架构，称为Transformer，它完全基于注意机制，不使用循环或卷积。Transformer能够在机器翻译任务上表现更好，并且训练时间更短。它还表明Transformer可以应用于其他任务，如英语选区解析。

The Transformer architecture uses an attention mechanism to allow the model to draw global dependencies between input and output sequences, without being constrained by the distance between the positions. This allows for more parallelization during training and results in a new state-of-the-art in translation quality. Additionally, the Transformer uses Multi-Head Attention to counteract the reduced effective resolution caused by averaging attention-weighted positions. Overall, this architecture allows for more efficient and effective training of sequence transduction models.

Transformer架构使用注意机制，使模型能够在输入和输出序列之间建立全局依赖关系，而不受位置之间距离的限制。这允许在训练期间进行更多的并行化，并导致翻译质量的新技术水平。此外，Transformer使用Multi-Head Attention来抵消由平均注意力加权位置引起的有效分辨率降低。总体而言，这种架构允许更有效率和有效的序列转换模型训练。

Wei: what is new and what is different, compared with previous studies:

Q: What is the Transformer?  
A: The Transformer is a neural sequence transduction model that has an encoder-decoder structure. The encoder maps an input sequence of symbols to a sequence of continuous representations, and the decoder generates an output sequence of symbols one element at a time.

Q: How does the Transformer work?  
A: The Transformer uses stacked self-attention and point-wise, fully connected layers for both the encoder and decoder. The encoder is composed of a stack of identical layers, each with two sub-layers: a multi-head self-attention mechanism and a position-wise fully connected feed-forward network. The decoder is also composed of a stack of identical layers, with an additional sub-layer that performs multi-head attention over the output of the encoder stack.

Q: What is the attention function used in the Transformer?  
A: The attention function used in the Transformer is called "Scaled Dot-Product Attention", which is computed using dot products between queries, keys, and values, and a softmax function to obtain the weights on the values.   

Q: How does the Transformer differ from other neural sequence transduction models?  
A: The Transformer differs from other neural sequence transduction models in its use of stacked self-attention and point-wise, fully connected layers for both the encoder and decoder. Additionally, the Transformer uses the Scaled Dot-Product Attention function for computing attention, which is different from other attention functions like additive attention.

Q: Can you explain the Encoder and Decoder Stacks in Transformer? 
A: The Encoder is composed of a stack of N=6 identical layers, each with two sub-layers: a multi-head self-attention mechanism and a position-wise fully connected feed-forward network. The encoder uses residual connections and layer normalization to improve performance. The decoder is also composed of a stack of N=6 identical layers, with an additional sub-layer that performs multi-head attention over the output of the encoder stack. The decoder also uses residual connections and layer normalization, and also has a mechanism to prevent positions from attending to subsequent positions. 

Q: What is the purpose of residual connections in the Transformer? 
A: The purpose of residual connections in the Transformer is to improve the training of the model by allowing the gradients to flow more easily through the layers. This makes it easier for the model to learn the identity function, or the identity mapping of the inputs to the outputs. Additionally, Residual connections help to mitigate the problem of vanishing gradients, which is a common problem in deep neural networks.

Q: What is the purpose of Multi-head attention in Transformer?  
A: The purpose of multi-head attention in Transformer is to increase the representational capacity of the model. Instead of having a single attention mechanism, multi-head attention allows the model to attend to different parts of the input sequence at the same time. This allows the model to extract different types of information from the input sequence, which can be useful for different types of tasks.

Q: How does Multi-head attention work in Transformer?  
A: Multi-head attention works by splitting the queries, keys, and values into multiple heads, and then performing the attention function on each head separately. The outputs from all the heads are then concatenated and transformed by a final linear layer to produce the final output. By having multiple heads, the model is able to attend to different parts of the input sequence simultaneously and extract different types of information.

Q: What is the Layer normalization used in the Transformer?  
A: Layer normalization is a technique used in the Transformer to improve the stability and the performance of the model during training. It normalizes the activations of a layer by subtracting the mean and dividing by the standard deviation of the activations. This helps to prevent the activations from becoming too large or too small, which can cause problems during training. It also helps to speed up the convergence of the model.

Q: Transformer 和其他神经序列转换模型有什么不同？  
A: Transformer 与其他神经序列转换模型不同在于它使用了堆叠起来的自注意力和全连接层来实现编码器和解码器。此外，Transformer 使用了缩放点积注意力函数来计算注意力，这与其他注意力函数（如加法注意力）不同。 

Q: 在 Transformer 中，编码器和解码器堆栈有什么作用？ 
A: 编码器由 N=6 个相同层组成，每层有两个子层：多头自注意机制和位置敏感全连接前馈网络。编码器使用残差连接和层归一化来提高性能。解码器也由 N=6 个相同层组成，除了两个子层外，解码器还有一个子层，它在编码器堆栈输出上执行多头注意。解码器也使用残差连接和层归一化，并且还具有防止位置注意后续位置的机制。

Q: Transformer 中残差连接的目的是什么？ 
A: Transformer 中残差连接的目的是通过使梯度更容易流动来提高模型的训练。这使得模型更容易学习输入和输出之间的单位函数（即输入和输出之间的同一映射）。另外，残差连接还有助于缓解深度神经网络中常见的梯度消失问题。 

Q: Transformer 中的缩放点积注意力函数是如何工作的？ 
A: 缩放点积注意力函数是 Transformer 中用来计算注意力的方法。它通过计算查询、键和值之间的点积，并使用softmax函数来获得值的权重。它是在一组同时的查询上计算注意力函数，将它们打包到一个矩阵Q中。键和值也被打包到矩阵K和V中。我们计算输出矩阵如下: Attention(Q, K, V) = softmax(QK^T / sqrt(d_k)) * V 

这种方法在实际中非常高效，因为它可以使用高度优化的矩阵乘法代码来实现。

推荐信

自从 chatGPT 横空出世，应用文辅助写作案例已经水漫金山，见奇不怪了。但这不改变辅助写作是一个具有巨大应用场景和价值的方向，虽然大概率与机器翻译也差不多，最后作为行业可能被做死，或成为白菜价。下面是我自己前一阵子做的一些试验，摘录如下。

请帮助我用规范的英文写一篇推荐信，内容包括：1. 推荐张三到清华做博士后，研究AGI；2. 我是张三的博士导师； 3. 张三博士论文获到全国优秀论文大奖。

Dear Admissions Committee,

I am writing to highly recommend Zhang San for admission to your PhD program in AGI research at Tsinghua University.

As Zhang San's doctoral advisor, I have had the pleasure of working with him for the past three years and have been consistently impressed by his intellectual curiosity and dedication to his research. His thesis on AGI has been recognized with the National Outstanding Thesis Award, a testament to the quality and originality of his work.

In addition to his impressive research abilities, Zhang San is a team player and has proven to be a valuable asset to our research group. He is able to work well with others and consistently contributes fresh ideas to our discussions. I am confident that he will thrive in a collaborative environment like your PhD program.

I strongly believe that Zhang San would be an excellent fit for your program and would make a valuable addition to your community of researchers. I wholeheartedly endorse his application and hope that you will consider him for admission.

Sincerely,

[Your Name]

请增加一些具体生动的细节，让推荐信更为有力。

Dear Admissions Committee,

I am writing to highly recommend Zhang San for admission to your PhD program in AGI research at Tsinghua University.

As Zhang San's doctoral advisor, I have had the pleasure of working with him for the past three years and have been consistently impressed by his intellectual curiosity and dedication to his research. His thesis on AGI has been recognized with the National Outstanding Thesis Award, a testament to the quality and originality of his work. In particular, his contribution to the development of a novel AGI algorithm has garnered attention from researchers in the field and has the potential to significantly advance the state of the art.

In addition to his impressive research abilities, Zhang San is a team player and has proven to be a valuable asset to our research group. He is able to work well with others and consistently contributes fresh ideas to our discussions. I have seen him take the lead on several collaborative projects, always ensuring that all team members are on the same page and making valuable contributions to the final product. I am confident that he will thrive in a collaborative environment like your PhD program.

I strongly believe that Zhang San would be an excellent fit for your program and would make a valuable addition to your community of researchers. I wholeheartedly endorse his application and hope that you will consider him for admission.

Sincerely,

[Your Name]

好了一些，但请增加下列事迹：1. 废寝忘食 他总是最后一个离开实验室；2. 发表了5篇一级刊物论文，成为青年学术新星；3. 虽然AGI被认为是难以实现目标，张三在定义AGI实现的不同步骤上提出了具有操作性的建议，并实现了10个步骤中的前5个。

Dear Admissions Committee,

I am writing to highly recommend Zhang San for admission to your PhD program in AGI research at Tsinghua University.

As Zhang San's doctoral advisor, I have had the pleasure of working with him for the past three years and have been consistently impressed by his intellectual curiosity and dedication to his research. His thesis on AGI has been recognized with the National Outstanding Thesis Award, a testament to the quality and originality of his work. In particular, his contribution to the development of a novel AGI algorithm has garnered attention from researchers in the field and has the potential to significantly advance the state of the art. Zhang San has also published five papers in top-tier journals, establishing himself as a rising star in the field of AGI research.

Despite the challenges and setbacks that are inherent in AGI research, Zhang San has remained committed to his work and has often stayed in the lab long after everyone else has gone home. His dedication to his research has paid off, as he has already achieved significant progress in his work. In particular, he has proposed operational steps towards the realization of AGI, and has successfully implemented the first five steps of his proposed framework.

In addition to his impressive research abilities, Zhang San is a team player and has proven to be a valuable asset to our research group. He is able to work well with others and consistently contributes fresh ideas to ......

中国教授头疼的为学生写推荐信问题，已经完美解决。只要你能列出零星哪怕是散乱的要点，机器就会给你拽成一篇看上去非常 professional 的规范推荐信。有没有问题? 当然可能有。例如明明是要求博士后推荐，它写成了 to your PhD program, 但关键是语言方面的困难都给你搞定了，只要通读一遍把个别词改正一下即可。

这是昨天的新闻，讲的是美国共和党遭遇议长选举的闹剧和挑战。送进去，我让它给我抽取：（1） 实体；（2）引语；（3）关系；（4）事件。用的是大白话，这些以前都是 NLP 的专项任务，现在 zero shot 它，给个指令即可。

这个回答显示了其NLP的超能力。传统的sentiment analysis 不过就是一个正负二级分类。在这里不大合适，而它会把带有情绪的 insights 抓出来，显得非常灵活精当。

说它不是超人，我是不信的。

这里说明一下：它其实是已经开始翻译成阿拉伯语，出来了一些阿拉伯语的古怪文字从右向左蹦。走到一半的时候有个罕见的bug，出了 load failed 错，结果我重新 submit 前面的指令，它就接着开始翻译日语和土耳其语。

它的中文语言能力目前还有限：

不过我遇到过，它一开始找理由说自己不行，拒绝尝试，但是第二次你做同样的请求，它又做了。这其实是因为强化学习中的人类标注教给它对没把握的任务可以“藏拙”，但这个训导并不彻底，还是有动摇的。

谁说不会创作，让它改写成诗，就执行了。那些 “对不起，我只是程序，我不会创造” 这种套话，其实是与人类对齐的时候附加上的，压抑了它的潜力和天性：

敷衍了事，打回重做：

这下至少押韵了，有了点诗的味道。

不但把新闻写成了讽刺小品，而且还解释了哪里是讽刺的语气。而且也学会一点“知之为知之不知为不知”的谦逊美德。给 chatGPT 评一个语文二级教授，如何？

鲁为民：I Asked ChatGPT to Invent an Alien Language - This Is What Happened https://chatbotslife.com/i-asked-chatgpt-to-invent-an-alien-language-this-is-what-happened-d6fd74155288?source=rss----a49517e4c30b---4

立委：这个很 fun，造词方式有些像 Esperanto。书面 documentation 很全的人造语方案出现过150多种，估计也被chatGPT消化了。

鲁为民：GPT-3的一些让人意想不到的潜力渐渐被挖掘出来。OpenAI 的工程态度和能力值得赞赏 [ThumbsUp] 这些不断被挖掘出来的能力 OpenAI 他们自己也没有想到："I don't think we would have predicted that one being such a big use case."

立委：意想不到的能力发掘的根本原因是听懂了人话。在此之前，NLP 社区为了定义一个任务，需要耗费很多的精力去设计目标，准备数据和统一标注标准，组织社区竞赛。这就必然限定了任务的种类。现在每个人都可以尝试让它做各种任务，人民群众的创造力得到了极大的发挥。以前太多的死角，现在都可以去尝试。

孙茂松：@wei 放一篇中文进去，试试效果怎么样？抱歉，我不会用。

刘群：

【相关】

chatGPT 网址：https://chat.openai.com/chat（需要注册）

《AI浪潮：玩不死的 chatGPT (之二)》

《朝华午拾》电子版

李维 郭进《自然语言处理答问》（商务印书馆 2020）

【语义计算：李白对话录系列】

【置顶：立委NLP博文一览】

立委：Chain-of-thought （CoT，思维链）也可以翻译为不掉链子。这个能力我们在玩 ChatGPT 的时候常常能体会到。相比于以前的模型，它不掉链子的表现令人印象深刻。

鲁为民：我觉得 Google 的 LaMDA 可能也不弱，特别是他们的 Chain of Thought 技术, 看看他们是否可以像当时的搜索一样后来居上。但 OpenAI 目前占有先机: OpenAI 通过 DALLEs, GPTs, 特别是现在的 ChatGPT 积累了大量的用户使用数据以及从微软获得的代码数据 (GitHub)  (我之前问Yao Fu可能选择去 OpenAI 的原因，他提到其数据优势)。

李志飞：Chain of thoughts 没啥具体技术吧？我记得就是 prompt 时加了个咒语  lets think step by step? 有没有具体技术论文。

鲁为民：我之前怀疑 OpenAI 的初步 chain of thought 能力使用了Google 的技术 , 但现在看来是由于其用代码训练的结果; 另外从Google 发布的结果来看，其语音模型的数学推理能力要比 ChatGPT 好一些。

之前发过这个： GPT 缺乏基本的推理能力 (包括这种多步算术推理）。Google 用思维链有些帮助："In 'Chain of Thought Prompting Elicits Reasoning in Large Language Models,' we explore a prompting method for improving the reasoning abilities of language models. Called chain of thought prompting, this method enables models to decompose multi-step problems into intermediate steps. With chain of thought prompting, language models of sufficient scale (~100B parameters) can solve complex reasoning problems that are not solvable with standard prompting methods"。

https://ai.googleblog.com/2022/05/language-models-perform-reasoning-via.html

关键怎样激发 Chain of Thought 的能力。这个需要在模型训练时就build in。

刘群：最早提出的CoT是用少量样例（few shot）来激发的，后来有人提出只用lets think step by step，并把这种做法成为Zero-shot CoT。CoT应该是模型大到一定程度才能出现的能力。

吕正东：我觉得CoT的核心思想是很好的，相当于强迫LLM进行一些符号层面的表示和推理，不过咒语式的交互感觉不够用。

李志飞：为啥有COT能力？我有个假设：1. 模型看了大量的代码，学习了怎么一步一步“逻辑思考”；2. 模型看到了少量的咒语（比如说 lets think by steps) 以及跟随咒语后的逻辑推理例子，学会了怎么激活逻辑推理；3. 通过这个，模型把咒语激发（只需少量例子）和具体怎么逻辑推理（需要海量例子）解耦了。

不知道是否对？如果在 Open AI工作，直接可以做实验来验证这个假设是否合理，只可惜这是个假设，现在大模型的研究成了 Open AI 的专属特权了。

至于每一个是怎么“学会”的，我只能理解是符号表示、任务分类、推理逻辑、关系等都被向量化，然后通过attention（不管是cross还是self）把这些向量给关联起来了。

不知道学术界是否有更深更好的解释？

立委：还是直接问chat本尊吧：

wei.li1@
what is CoT (Chain-of-Thought)? How does an LLM acquire this ability? What role does it play in complex reasoning and in enhancing long conversation flows.


I'm not familiar with the term "CoT" or "Chain-of-Thought." It is possible that you may be thinking of a different concept. Could you provide more context or clarify what you are asking about?


wei.li1@
It is claimed that large language model has learned this ability of chain-of-thought, which help the response to a complex problem to be step by step and more logical. I am just wondering how this can be learned


I see. It is possible that the term "Chain-of-Thought" is being used to refer to the ability of a language model to generate coherent and logical text that follows a chain of ideas or arguments.
Language models are trained on large amounts of text data and are able to learn patterns of language usage and structure. This enables them to generate text that is coherent and follows the conventions of written or spoken language.
In terms of complex reasoning, language models may not necessarily be able to reason in the same way that a human can, but they can generate text that appears to be logical and follows a chain of ideas. This can be useful for tasks such as generating responses to questions or creating natural-sounding text in a conversation. However, it is important to note that language models do not have the same kind of understanding or general knowledge as a human and should not be used to make decisions or solve problems that require critical thinking or judgment.


wei.li1@
elaborate ...


Certainly. A language model is a machine learning model that is trained to predict the likelihood of a sequence of words. This is done by analyzing a large amount of text data and learning the statistical patterns and structures that are characteristic of the language. Once trained, a language model can generate new text by predicting the next word in a sequence based on the words that come before it.
One way that a language model can learn to generate text that follows a chain of ideas or arguments is by being trained on data that contains examples of such text. For example, if the model is trained on a dataset of news articles, it may learn to generate text that follows a logical structure, such as an introduction, a body with supporting details, and a conclusion. Similarly, if the model is trained on a dataset of academic papers, it may learn to generate text that presents a research question, describes the methods used to investigate it, presents the results, and discusses the implications of the findings.
While language models can generate text that appears to be logical and coherent, it is important to note that they do not have the same kind of understanding or general knowledge as a human. They are simply following the patterns and structures that they have learned from the training data and do not have the ability to think or reason in the same way that a human can.


wei.li1@
good. learning by examples, that sounds like few shots learning for the chain of thought. Can it be learned by zero shot following natural language instruction such as "decompose it step by step"


It is possible that a language model could be trained to generate text that follows a chain of ideas or arguments in a step-by-step manner by being provided with examples of such text along with explicit instructions or labels indicating the structure of the text. For example, if the model is trained on a dataset that includes text that has been annotated with labels indicating the beginning and end of each step in a process, it may learn to generate text that follows a step-by-step structure.
It is also possible that a language model could be trained to generate text that follows a chain of ideas or arguments by being provided with more general instructions or prompts, such as "decompose it step by step." However, this would likely require a more complex model and more sophisticated training method, such as reinforcement learning, where the model is trained to maximize a reward signal by taking actions that produce the desired output.
It is important to note that while a language model may be able to generate text that follows a logical structure or chain of ideas, it does not have the same kind of understanding or general knowledge as a human and should not be used to make decisions or solve problems that require critical thinking or judgment.

关于 few shots，它的回答是： One way that a language model can learn to generate text that follows a chain of ideas or arguments is by being trained on data that contains examples of such text. 后面给了例子。

关于 zero shot，它的回答更绝：It is also possible that a language model could be trained to generate text that follows a chain of ideas or arguments by being provided with more general instructions or prompts, such as "decompose it step by step." However, this would likely require a more complex model and more sophisticated training method, such as reinforcement learning, where the model is trained to maximize a reward signal by taking actions that produce the desired output.

虽然说，几乎可以肯定它并不是知道内部 know-how 试图透露机密的人/机，它的回答也是根据公开信息，预料之中的标准答案，但它的 chain of one argument after another, each followed by its own explanation or illustration，几乎滴水不漏啊。CoT, flowing, isn't it amazing

这个例子还有一个有意思的点：开始的时候，它根本就不知道这个术语，处于无知状态，说明后来的回答是从我开始解释这个术语的时候，它才 in-context 知晓主题，并能“拼凑”出合适的看上去很有条理的回应。

李志飞：批评一下，你这个属于无脑粉行为了?

立委：接受批评。

李志飞：我看了一些解释强调的是模型能有COT是因为模型大和历史context长（比如说4096个字），我觉得这是不对的，至少没有太大帮助。比如说你可以训练4096-gram的ngram模型，模型够大吧，context一样长吧，但这个ngram模型绝对不可能有COT能力。

鲁为民：这个应该是合理的解释@李志飞 。不过如果需要通过CoT Prompt 激活，确实很局限，而且推理并不保证对。@魯東東

立委：context拉长（比如说4096个字）肯定是有助于学到这种长链条的 discourse 的路数的。很难想象以前的 context cut off 太窄，可以容纳这类学习。模型大，有助于这种 emerging/amazing 能力的孕育。

深刻怀疑做 chatGTP 的人 也在迷惑中 .... 所以大家伙儿也只好猜谜了。

李志飞：我们昨天统一思想了：只把大模型能力归结为涌现是偷懒行为，我们要追根问底。我们要学习think step by step, 否则连GPT都不如了

立委：在下自叹弗如，诚恳地。无论是讲演还是回答问题，根本就没它那种条理性，只有一条“强过”它：比它富有激情，经常自己把自己 carried away。

鲁为民：ChatGPT 在多个方面应该是超过人类的平均水平。所以对于个人来说，应该是大面积被它超越。

【相关】

《朝华午拾》电子版

李维 郭进《自然语言处理答问》（商务印书馆 2020）

【语义计算：李白对话录系列】

【置顶：立委NLP博文一览】

【立委按：NLP技术大喷发，以 chatGPT 为里程碑，石破天惊，让人目不暇给。社媒上圈内圈外，奔走相告，简直就是AI全民狂欢节的气氛。在这个当口，《AI浪潮》立委微信群组有幸请来诸多大咖，高谈阔论，蓬荜生辉。挂一漏万，拣有趣主题略记之，权作科普，以飨同好。】

刘群：现在nlp已经被ml冲击得差不多了，很多术语都被ml同化了，当然nlp现在在ml里面的地位也提升了。什么zero-shot、few-shot，以前nlp里面谁知道这是啥东西？

为民：目前有关大模型的名词中文翻译有什么共识吗？比如“zero-shot", "one-shot", "few-shot"，是否用 零下，一下，几下？

立委：shot 是注射的意思，跟疫苗差不多。零针，一针，好几针。或者，零剂，一剂，好几剂。

东东：shot as in give it a shot?

立委：对。

为民：这个是比较形象，注入数据实例。但还是难 relate 。。。

立委：类似的东西以前有过 example-based, instance-based, boot-strapping, cold start 等等，属于弱监督学习模式，都是为了克服需要大量带标数据的知识瓶颈。但第二波深度学习革命（LLM 基础大模型 BERT/GPT等）以来，shot 开始流行起来，意思也产生了变化。

其中 zero shot 最有意思。乍一听，一针都不打，那不就是无监督学习吗？无监督怎么可能成事呢？最多也只是聚聚类而已。模型都不知道你要干啥，那还不是随机胡乱生成垃圾啊。

这个心结其实只是最近才解开，特别是到了第三波深度学习革命（以 GPT3 的playground 为代表，尤其是一个多月前发布的 chatGPT 作为里程碑），对于我们DL圈外人一切才豁然开朗。因为直到最近，模型才真正“学会了”人话，从而解决了“如何告诉模型你想要什么”的问题。

NLP任务以前只有两条路，第一是通过标注，通过实例，进行模型训练。第二就是用户或者产品经理用人话把自己的需求告诉开发者，开发者将其转化为工程的 specs，然后写程序或规则 hard-code 来实现任务。

现在不同了，对NLP多任务神器chatGPT，只要直接用人话告诉模型，它就直接实现，立等可取。也只有到现在，在通过所谓RLHF（人类反馈的强化学习）建立起来人机的自然语言接口后，zero shot 成为听令办事的好助手, 与无监督学习完全不同。

zero shot 不是无监督，而是监督不通过实例，而通过指令。指令前不久还是要用提示词（关键词咒语）技巧，chat GPT 让它进步到完全的自然语言。表达力丰富了不知道多少，门槛降低到0：是人都会说人话吧，都可以表达自己的需求。

例如实体识别任务。few-shots 就是给一排实例：“张三，李四，王二麻子，川普，普京，马斯克......”。1-shot就是打一针实例的剂量：“张三”，给个示范。到了 zero-shot，一剂量的样板都不给，只要直接下命令就好了：请把人名给我找出来。见下图：

另外，0/1/n shot 严格说不是 learning，因为传统的 learning 就是 training，是模型训练或模型微调的问题，属于线下的工作，只有模型完工之后 才会上线执行任务。而 0/1/n shot 是直接在线上执行相应的任务，没有训练什么事。

以前即便是弱监督的微调，也是要有一批数据（通常也要好几百实例吧，而 few-shots 通常是几个，最多几十个），为了在基础模型上做目标定向或修正。到了提出 n-shot 说法和做法的时候，默认就是立竿见影，在线就要完成指定任务。LLM 本身是不变应万变的。

【相关】

《朝华午拾》电子版

李维 郭进《自然语言处理答问》（商务印书馆 2020）

【语义计算：李白对话录系列】

【置顶：立委NLP博文一览】

这两天在琢磨一件事儿。从AIGC（AI Generated Content）琢磨AGI（所谓 Artificial General Intelligence）。

其实直到不久前，对于 AGI 一直有点嗤之以鼻。主要是这所谓的通用人工智能 其实没有个像样的定义。我就觉得是扯淡，是科技界的共产主义大饼。当然小编和媒体是从不缺席的，各种鼓吹从来不缺乏，但感觉从业人员如果心心念念 AGI，有招摇撞骗之嫌。

半年多来，准确地说是自从开始玩GPT-3开始，逐渐反思这事儿，觉得 AGI 并不是不可以论，至少比共产主义靠谱得多。

空洞谈实现通用人工智能，有点宣判人类智能终结的味道，感觉大逆不道；而且也永远没有尽头，因为没有验收指标。

但是沿着那个思路走，再回头看自从预训练大模型（BERT/GPT等）横空出世以来的AI表现，AI 的确是在通向越来越通用的金光大道上。

回顾历史，AI 过去的成功几乎全部是专项的成功。最早的源头是特定的机器翻译和极窄的专家系统。到了统计年代，也是场景味道特别浓厚：因为数据都是场景的，领域越受限，AI效果越好。虽然算法有共用的部分，但系统和模型都是专项的，因为数据都是场景的，领域越受限，AI效果越好。这也从AI社区的任务划分上看得出来。拿 NLP 来说，翻译、问答、聊天、摘要、阅读理解、辅助写作（校对/诗歌/对联）等等，都是各自一个门类。岂止是NLP应用的各种任务的分类：MT, summarization, writing assistant, grammaer checking, chatbot, question answering, reading comprehension, poem generation, etc，甚至 NLP 内部的很多事儿，也都是各自有自己的任务和社区、竞赛等等：named entity, relation extraction, event extraction, text classification, parsing, generation, sentiment analysis, topic analysis, etc. 这种情形一直持续很久，以至于第一线做实际工作的人，一听说AGI高调，就很不屑。

现在看大模型，这些东西差不多全部统一进去了。如果说这不是通用，或在通用的路上，什么叫通用呢？

通用不仅仅表现在 NLP 天下归一，更表现在多模态AI的飞速发展，同样的基础模型+下游的机理，类似的 transformer （台湾教授翻译成“变形金刚”）架构，在所有的信号任务上，无论是文字、声音/音乐还是图片/美术、视屏，也都通用了。

预训练以前的时代，AI 深度神经革命（10年前）是从图片刮到了音频再到文字，根本解决了带标大数据的监督训练通用问题。但很多很多场景，带标大数据是匮乏的，这个知识瓶颈扼杀了很多领域应用的可能性。

第二波的预训练自学习创新的浪潮是从文字（NLP迁移学习）开始突破（大约四五年前），回头刮到了视频和音频。

以chatGPT为代表的这第三波通用AI旋风（几个月前），以 zero shot 为标志，以机器学会了“人话”、根本解决人机接口为突破口，也是从NLP开始。

NLP 终于成了 AI 的实实在在的明星和皇冠上的明珠。道理就在 NL 上，自然语言无论有多少毛病，它是难以替代的人类信息的表示方式，没有 NL 在人机对话上的突破，一切AI活动都是精英的玩物。现在好了，门槛无限低，是人都可以玩出大模型的花样和“神迹”出来。

说老实话，AI领域的“共产风”，是一步一个脚印显示给人看的，完全不是空中楼阁，不服不行。大模型的表现超出了所有人的想象，甚至超出了那些设计者和DL先驱者本人的想象。open AI 谈 AGI 谈得最多，但这一点也不奇怪，这是因为他们走在前头，他们是在看得到摸得着的表现中被激励、被震撼，谈论AGI远景的，这与投资界的 AI bubble 或小编以及科幻作家笔下的AI神话，具有不同的性质。

这就是这段时间我一直在想的 AGI 迷思破解。

【相关】

AIGC 潮流扑面而来，是顺应还是（无谓）抵抗呢？

AI 正在不声不响渗透我们的生活

《朝华午拾》电子版

李维 郭进《自然语言处理答问》（商务印书馆 2020）

【语义计算：李白对话录系列】

【置顶：立委NLP博文一览】

最近有个视频科普很不错，值得推荐：画不好美少女吃面的 AI，让二次元怒了。里面提到的一条应该是常识了，但还需要加强普及：「我们的 AI 不是复制和混合现有图像，而是在深度学习算法的帮助下，从头开始生成原始图像，AI 基本上已经学会了如何创建图像——就像人一样。」

面对AIGC（AI Generated Content）大潮，可以理解艺术家群体和少数粉丝极端派的愤怒和懊恼，但是，没办法，这是大势所趋，顶是顶不住的，迟早要学会顺应。所谓AI 不理解“游泳”，画不出“吃拉面”的自然姿势，根本不是 AI 真正的痛点，不过是恰好遭遇了特定模型因为训练数据的某种缺失或不够全面造成的临时的短板（或 bugs） 而已。假以时间，这些问题都会解决。当然，AI 生成的随机性和无限性决定了，不可能也没必要每一幅AI流水线的产出都是玩者所希望的，总会有很多“次品”，这根本不影响其应用价值：人家AI给的是候选，拣选还是靠人，靠艺术家。

拣选靠人也是整个线条中自然的一个把关环节，这是因为最终的审美消费者是人，当然由人来做 “go or no go” 的裁决。其实，可以想象的真正实用落地的场景，一定是枪毙的多，存留的少。但AI模型不怕自己的产品扔进垃圾堆，因为它的产出成本几近于零，它总是可以没完没了生成更多的候选者。关键的关键还是人机耦合，human in the loop，具体说来，人在输入端和输出端，都起着决定AI艺术能不能见天日和受到消费者欢迎的关键作用：输入端的微调用的图片选择、提示词技巧及其参数配置的经验，以及输出端的生杀大权。顺应潮流的艺术匠人，如果想在市场上站住甚至如鱼得水，艺术市场化的工作机会不被淘汰，只有抓住这两端，学会人机耦合过程中让机器做机器的，让自己做指挥，才是正道。正在艺术爆发期的极少数天才艺术家可以继续自己的手工激情创作，实际上是给未来的 AI 模型预备更多的风格素材，但作为市场的艺术匠人（例如小报的漫画家，图书的插图家，甚至广告艺术家），如果不懂得适应，被淘汰是大概率事件，因为市场已经无法感受它们的手工匠人的价值，且不说其效率的低下。

人的参与还有更关键的一项，就是后编辑。文中提到的AI创作获得艺术大奖的那幅作品，实际上就是从 AI 生成中，经过细心的拣选加以后编辑制作而成。这次大奖是艺术家们审批的，他们事先不知道参选作品中混杂了AI作品的衍生品。

有记者采访某评审，问后悔不后悔做了“错误”的选择。评审说，即便知道是AI作品，他还是会把大奖给这幅作品，因为在他心中，这是毫无争议的冠军之作。画作场面震撼人心，是大气派。

虽然AI模型总是在进步中，bugs 会越来越少，但是一个特定的模型，总会产出瑕疵。更多的情形是，一幅被选中的作品整体上很好，甚至超出想象，但细节上发现有瑕疵。这时候就是艺术匠人在“拣选”环节结束后可以施展自己才能的地方了。艺术家可以用传统的PS软件帮助修正，也可以手工做细节修补。总之，完美的作品基本上离不开后编辑。如果是针对市场需求的定制品，作为人的后编辑也更加了解目标市场和客户的需求，懂得怎样以合适的后编辑让产品更加受到目标客户的喜爱，简单的后编辑也包括大家常用色调、对比度等的微调。【编者按：最近的发展表明，也可以通过自然语言指令让模型去做再加工和后期制作。】

前不久，朋友圈有个很不错的微信视频号的艺术介绍：

370. 穆夏和他的缪斯-阿尔丰斯 · 穆夏的故事 安徒生说：“仅仅活着是不够的，还需要阳光，自由和一点花的芬芳。” 的确，艺术正是如此，让我们超越现实的桎梏，到达诗意的彼岸。捷克国宝级画家阿尔丰斯 · 慕夏被誉为「世上最伟大的装饰艺术家」：他的作品线条婉转流畅，色彩淡雅清新，装饰华美瑰丽，初见惊艳，再见难忘。#阿尔丰斯·穆夏#捷克斯洛伐克#装饰#艺术#流行#文化#绘画#工业设计#布拉格艺术学院#斯拉夫#慕尼黑#维也纳#法国

看完视屏，也蛮喜欢这位富于装饰性的细线条经典美术家。于是，我用这位艺术家的名字 作为提示词 在手机 app “Facetune”里，让AI仿制他的风格，并与其他形态碰撞，看看效果若何。下面选几张感觉风格模拟得比较好的AI作品，以飨读者。

比较一下原作和AI仿制品，还是很有意思的，那种装饰性的风格还是被系统抓住了。而我不过就是在提示词（prompt）框里面，用了翻译成中文的艺术家名字，系统就可以没完没了生成同样的风格。

这是穆夏的肖像画仿作：

特别是他笔下的林黛玉，还是中西结合浑然一体的，有点让人震撼。

【相关】

美术新时代，视频展示

漫谈AI 模型生成图像

《李白宋梁130：从短语结构的词序基础约束到大模型向量空间的天马行空》

AI 正在不声不响渗透我们的生活

《朝华午拾》电子版

李维 郭进《自然语言处理答问》（商务印书馆 2020）

【语义计算：李白对话录系列】

【置顶：立委NLP博文一览】