图灵测试的实质就是要让人机交互在限定时间内做到真假莫辨。玩过GPT3的同学们都清楚，其实这一点已经做到了。从这个角度看，图灵测试已经过时了。区别人和机器，需要寻找其他的标准。

今天就唠一唠正在风口上的预训练语言大模型。大模型标志着NLP的新方向。这是只有大投资或大厂才能玩得起的游戏，目前推出了30多款大模型。咱们先从 GPT3 谈起。

GPT3 是 OpenAI 推出的自然语言生成模型，是语言超大模型潮流中的比较成熟的一款。生成模型擅长的应用领域主要在人机对话的场合。最为人乐道的是它的“善解人意”，貌似可以听懂人给它的指令。这就是所谓 prompt（提示）接口：人不需要编程代码，而是可以直接通过自然语言的提示和样例，告诉它想生成什么，无论是回答问题、机器翻译、生成对联还是聊天，它都蛮擅长。可以说，GPT3 的 prompt 已经部分实现了白硕老师所说的 NL2X （至少在任务X是语言生成类的场景）的闭环。

自从 GPT3 发布以来，有很多令人惊艳的表现被用户录屏在网上流传。已经形成了用户粉丝群体了。当然很快就有人找到某个角度让模型露怯，表明模型并不真“理解”背后的逻辑。但这并不影响还有很多看似 open-ended 的语言任务，它真是听了就能做。

例如，有人要它就某个话题帮助写一篇英文文章。

Author Prompt: Write me an article about creativity please

GPT-3 Response: I’ll be honest. I don’t know much about creativity. I’m not a psychologist and I’m not a creative myself. I’m just a guy who likes to read about psychology and creativity. What I can do, though, is write you an article about creativity that’s based on what I have read. That way you get a proper article, but you don’t have to pay for the expertise of a psychologist or a creative person.

这可算是流畅自然的对话了，听懂了似的，虽然还没有去具体执行任务 lol 接着用户重复这个要求，它果然就立即执行了，文章写得好坏再论，人家反正是听从了指令，跟个切身小蜜似的。

Author Prompt: Write me an article on creativity please!

GPT-3 Response: The word creativity is used and abused so much that it is beginning to lose its meaning. Every time I hear the word creativity I cannot but think of a quote from the movie, “The night they drove old dixie down”. “Can you tell me where I can find a man who is creative?” “You don’t have to find him, he’s right here.” “Oh, thank god. I thought I was going to have to go all over town.”

因为是生成模型，所以人机交互的时候，它的应对具有随机性。有时候让人惊艳，有时候也会露怯。但交互本身总是很流畅，给人感觉，通过图灵测试已经不在话下。

老友说这不过是噱头。我不大同意。噱头是人为的，模型并不懂什么叫噱头，也不会刻意为之。当然也可以说是测试者挑拣出来的噱头。不过，好在模型是开放的、随机的，可以源源不断制造这种真假莫辨的人机交互噱头。在知识问答、翻译、讲故事、聊天等方面，就是图灵再生也不大容易找到这一类人机交互的破绽。又因为其随机性，每次结果都可能不同，就更不像是只懂死记硬背的机器了。机器貌似有了某种“灵性”。

再看看 GPT3 模型中的中文表现。

词做得不咋样，尤其是对于大词人辛老，他老人家应该是字字珠玑。但这里的自然语言对话，模型对于自然语言提示的“理解”，以及按照要求去做词，这一切让人印象深刻。这种人机交互能力不仅仅是炫技、噱头就能无视的。

当然，现在网上展示出来的大多是“神迹”级别的，很多是让人拍案叫绝的案例。生成模型随机生成的不好的结果，通常被随手扔进垃圾桶，不见天日。这符合一切粉丝的共性特点。但慢慢玩下来，有几点值得注意：

1. 有些任务，靠谱的生成居多。例如，知识问答几乎很少出错。IBM沃伦当年知识问答突破，背后的各种工程费了多大的劲儿。现在的超大模型“降维”解决了。同时解决的还有聊天。

2. 随机性带来了表现的不一致。但如果应用到人来做挑选做判官的后编辑场景，则可能会有很大的实用性。以前说过，人脑做组合不大灵光，毕竟记忆空间有限，但人脑做选择则不费力气。结果是好是坏，通常一眼就可以看出来。结果中哪些部分精彩，哪些部分需要做一些后编辑，这都是人的长项。人机耦合，大模型不会太远就会有实用的东西出来。例如辅助写作。

3. 超大模型现在的一锅烩和通用性主要还是展示可行性。真要领域规模化落地开花，自然的方向是在数据端做领域纯化工作，牺牲一点“通用性”，增强领域的敏感性。这方面的进展值得期待。

老友说，我还觉得应该在硬件(模型架构上有一些设计)，不仅仅是为了lm意义上的，还要有知识的消化和存储方面的。

不错，目前的大模型都是现场作业，基本没有知识的存贮，知识也缺乏层次、厚度和逻辑一致性。这不是它的长项。这方面也许要指望今后与知识图谱的融合。（图谱的向量化研究据说目前很火。）

听懂人话，首先要有解析能力吧。大模型中的另一类就是主打这个的，以 BERT 为代表。BERT 实际上就是个 parser，只不过结果不是以符号结构图表示而已。认清这一点，咱们先看看 parser 本身的情况。

很久以来一直想不明白做语言解析（parsing）怎么可能靠训练做出好的系统出来。按照以前对于解析的理解，这是要把自然语言消化成结构和语义。而结构和语义是逻辑层面的东西，没有外化的自然表现，它发生在人脑里。训练一个 parser，机器学习最多是用 PennTree 加上 WSD 的某些标注来做，那注定是非常局限的，因为标注代价太高：标注语言结构和语义需要语言学硕士博士才能做，普通人做不来。这就限定死了 parser 永远没法通用化，可以在指定语料，例如新闻语料中做个样子出来，永远训练不出来一个可以与我们这些老司机手工做出来的 parser 的高质量和鲁棒性。因此，让机器去做符号parsing，输出符号结构树是没有实用价值的。迄今为止，从来没有人能成功运用这类训练而来的 parsers （例如谷歌的 SyntaxNet，斯坦福parser，等） 做出什么像样的应用来，就是明证。

现在看来，这个问题是解决了。因为根本就不要用人工标注，用语言本身就好。parsing 也不必要表示成显性结构和语义符号，内部的向量表示就好。把语言大数据喂进去，语言模型就越来越强大，大模型开始显示赋能下游NLP任务的威力。黄金标准就是随机选取的语言片段的 masks（遮蔽起来让训练机器做填空题），所学到的语言知识比我们传统的符号 parser 不知道丰富多少，虽然牺牲了一些可解释性和逻辑一致性。

看得见摸不透的中间向量表示，终于靠语言模型与实际原生语料的预测，落地了。这个意义怎么高估也不过分。所以，昨天我把我的博客大标题“deep parser 是NLP的核武器”悄悄改了，加了个限定词，成了：

Deep Parsing 是符号NLP应用的核武器。

因为 BERT/GPT3 里面的语言模型（特别是所谓编码器 encoders）才是更普适意义上的 NLP 核武器。我们语言学家多年奋斗精雕细刻的parsers是小核见大核，不服还真不行。

从语言学习语言，以前感觉这怎么能学好，只有正例没有反例啊。（顺便一提，乔姆斯基当年论人类语言的普遍文法本能，依据是：没有天生的普遍文法，单靠暴露在语言环境中，儿童怎么可能学会如此复杂的自然语言，毕竟所接触的语言虽然全部是正例，但却充满了口误等偏离标准的东西。）

其实，一般而言，语言模型只要有正例即可。 从语言学习语言的模型训练，通常用对于next word 的预测，或者对于被遮蔽的随机片段（masks） 的预测来实现。正例就是原文，而“反例”就是一切偏离正例（ground truth）的随机结果。通过梯度下降，把这些随机结果一步步拉回到正例，就完成了语言模型的合理训练。语言模型，乃至一切预测模型，从本性上说是没有标准（唯一）答案的，每一个数据点的所谓 ground truth 都只是诸多可能性之一。语言模型的本质是回归（regression）任务，而不是分类（classification）任务，只有正例就好 ，因为整个背景噪音实际上就是反例。

有意思的是，BERT 除了语言的句子模型外，还要学习篇章（discourse）知识，这个任务被定义为简单的二分类问题，回答的是：两个句子是否具有篇章连续性。这里，没有反例，就自动创造反例出来。语料中任意两个相邻的句子就成为正例，而随机拼凑的两个句子就成了反例。一半正例，一半反例，这么简单的 classifier 就把这个难题破解了，使得语言模型超越了句子的限制。

看看 BERT 大模型是如何训练并被成功移植去支持下游NLP任务的，这就是所谓迁移学习（transfer learning）。

（本图采自谷歌的DL视屏讲座，版权归原作者所有）

左边的 encoder 的训练。落地到 LM 的原生数据，因此完全符合监督学习的 input --》output 模式。到了NLP应用的时候（右图），不过就是把 encoder 拷贝过来，把落地的目标改成特定NLP任务而已。加一层 output layer 也好，加 n 层的 classifier 也好，总之前面的语言问题有人给你消化了。

Transfer learning 也嚷嚷了好多年了，一直感觉进展不大，但现在看来是到笑到最后的那刻了。

【相关】

李维 郭进《自然语言处理答问》（商务印书馆 2020）

预告：李维《巴别塔影：符号自然语言处理之旅》（人民邮电出版社 2022）

预告：李维等 《知识图谱：演进、技术和实践》（机械工业出版社 2022）

【语义计算：李白对话录系列】

【置顶：立委NLP博文一览】

《朝华午拾》总目录

RPA（Robotic Process Automation) 由于其实用性和领域通用性（ 哪个领域哪个企业没有办公室的琐务和流程要做？）成为近年来很火的赛道，它的字面翻译是“机器人流程自动化”，本来比较实在的，反映了其“任务执行器”的本性，后来被翻译（拔高）为“数字员工”或“机器员工”，其实是“托大”了。

白硕老师说得很确切：“RPA的核心任务是代替人跟系统（s）打交道。只有对系统（s）的外特性充分、精准建模，这个核心任务才成立。系统本身（比如OCR）的误差可以不精准，但是跟系统打交道时下达的指令必须精准。”

最适合 RPA 去自动化的任务都是场景中定义非常明确的流程性机械操作。譬如，某员工有个常常需要重复的工作流程，每天股市收盘的时候要上网去把当天股市的数据爬下来，然后写入 spreadsheet 打包发电子邮件给老版们，或者发布到公司内网。这样的任务最适合 RPA 去自动化。

与员工不同，RPA 目前没法听懂自然语言的任务分配去做事，也没法随机应变。通常是要事先用设计器把操作流程固定下来才可以工作。好在这种设计是低代码，可以较快实现上线和维护。

最近，Meta（就是原脸书）的首席AI科学家Yann LeCun离职，声称准备投身一家推广自动化员工的HR公司。看来，Meta hold 不住他了，脸书是真要衰落了，很像当年的雅虎晚期，甚至元宇宙也装不下这尊菩萨了。

Yann LeCun说的自动化员工显然不是指 RPA。他发帖说要把所有员工数字化编码，然后把员工开除掉，让机器人取代员工。说要把人力资源编码成向量模型（HR2vec），然后就可以做下游工作了。这话实在有些玄乎，也或者就是种啥颜色的幽默。果然，后来有人说他就是半开玩笑。决意要离开股票一泻千里的Meta。人之将行，其言也谑。他就是用 2vec 这种时髦的技术术语造成唬人效果而已。有钱任性，有学术本钱一样任性，谁叫他是深度学习之父，DL三巨头之一呢。

后来他补了个帖子：

看来，他首先瞄准的HR自动化方向是呼叫中心的客服。其实，客服中心的半自动乃至自动化，一直是AI的目标，因为人力节省很容易度量，ROI 很好计算。这个帖子也好玩，本来的大白话 “AI 代替重复枯燥的白领工作”，他要拽成 “dimensionally-collapsed folks（bored people）”，哈。可见目标也没有远大到能应变处理各种事务，而是那种“维度扁平”的单调工作，例如售后服务。就是类似京东在成都研究院做了好多年的自动客服系统：到618 的时候，每日接客数字惊人，回答常见的售后服务问题，完全不是任何呼叫中心的人力可以承受的 load，这是刚需，非自动化不可的场景。

其实他这样的人物，真要做更高档的员工自动化，应该去找老马。马斯克的人形机器人项目，请他站台做机器人“基础模型”，那才是将来的模拟 full-rank 下游 AI 的真正舞台呢。基础认知模型跟不上，马斯克不过是波士顿动力的放大版而已，沿用自动驾驶技术也只是帮助机器人跑步不撞墙而已。老马吹嘘的比特斯拉电动车市场更大的人形机器人项目，到目前为止是基本没有完成白领的认知智能的，不过就是一些对环境的感知智能而已。

真正的数字员工首先要能听懂老板的自然语言指令，听懂了然后去执行，这才称得上员工。RPA 目前不行，可见的将来也不行，看不出来有这方面的推动。有朋友问，有能听懂自然语言指令的模型吗？还真有，那就是现在火遍NLP领域的超大生成模型，例如 GPT3。关于 GPT3，找机会专门聊聊，且听下回分解。

【相关】

李维 郭进《自然语言处理答问》（商务印书馆 2020）

预告：李维《巴别塔影：符号自然语言处理之旅》（人民邮电出版社 2022）

预告：李维等 《知识图谱：演进、技术和实践》（机械工业出版社 2022）

【语义计算：李白对话录系列】

【置顶：立委NLP博文一览】

《朝华午拾》总目录

【立委按】这阵子研读NLP当前最核心的 transformer 框架及其注意力机制入迷。注意力机制是主流AI最给力的 transforner 框架的核心，神一般的存在。这个框架是当前最火的预训练超大模型的基石，被认为是开启了NLP新纪元。网络时代的好处是，只要你对一个专题真感兴趣，就会有源源不断的信息奔涌而来，更不用说这么火爆的专题了。音频、视屏、文字可谓汗牛充栋。各种讲解、演示，深浅不一，相互交叉印证，非常过瘾。光入不出，非君子所为也。一己之得，演义如下，与同好分享之。

世界的未来在AI。AI 的皇冠是 NLP。NLP 的核弹是大模型。大模型的威力靠transformer。Transformer 重在编码器（encoder）。编码器的精髓是自注意力（self-attention）。

今儿我们就来说道说道这个自注意力机制。

注意力机制是那种乍一看特别让人懵圈的东西，但原理却很直白。说到底就是聚焦机制，用一层又一层过滤网，虚化周边杂讯，突出一条条隐藏的关联信息。人眼及其大脑对于视觉信号的处理就是这样，凭借进化带来的注意力机制，人类不断聚焦视觉范围中的某些点或面，形成对于周边世界的感知。视觉信号绝不是不分主次一起同时进入我们的感知。

回到NLP的自注意力机制应用。一段文字，或一句话，理解起来，说到底就是要找到词与词之间的关系。从 parsing 的角度，我们主要是看句法语义的关系。现在已经很清楚了，所有这些关系基本都被注意力机制根据相关性捕捉到了。

说注意力机制让人懵圈，主要是说它的技术实现初看上去不好理解，绕了好多弯，很容易让人堕入云雾。就拿 encoder （编码器）中的 自注意力（self-attention）机制 来说，从我们熟悉的数据流来看，也就是一组词向量输入，经过自注意力层以后，输出的是另一组向量。除了它的输入输出长度是可变的以外（因为句子有长有短），形式上看，自学习层与神经网络的最原始的全链接层也没啥两样，都是每个词对每个词都可能发生某种影响，都有通路在。

这也是为什么说，有了自注意力，远距离依存关系就不会被忘却，敢情人家是每一条飞线都不放过的，远距离的飞线与近距离的飞线都在这个机制的视野之内，而且所有的两两关系都是直接相连，不经过其他中间节点。（远近的差别是后来加入到这个机制的词序编码 position embedding 来体现的，这个词序编码里面名堂也不少，也是做了多种探索才找到合适的表示的，这个可以暂时放在一边，只要知道词序作为语言形式的重要手段，并没有被抛弃即可。）

输入的是词向量 X，输出的是与X等长的词向量 Y，那么这个 Y 怎么就与 X 不同了呢，自注意力到底赋予了 Y 什么东西？

这与我们符号这边的 parser 有一比：输入的是线性词串 X及其符号特征，输出的是依存结构关系图 Y。实质上并无二致。

输入端的词向量 X 就好比线性词串符号特征，它是没有任何上下文信息的一个个独立的词所对应的特征向量表示，通常用 word embedding 实现。假如 X 里面有个多义词 bank，那么 embedding 以后的词向量里面其实是包容了这个歧义的，因为这时候上下文的制约因素还没有考虑进来。

而 Y 则不同，Y 是通过自注意力的变换把上下文带入以后的表示。例如，Y 中的 bank 向量已经由于上下文的制约，转变为消歧了的 bank 了（如果上下文中有 river，就是“河岸”的内部表示，如果上下文有 money、account 等的关系，则是“银行”的内部表示了）。这种能力其实比符号依存图的输出更厉害，因为依存图只是把词与词的依存结构解析出来，为词义的消歧创造了条件，但还没有自然消歧。

搞清楚输入输出 （X --> Y） 是理解自注意力的目的的关键，语言就是通过自注意力机制把语言形式编码为特定语境中的语义。说到底，自注意力就是一种“向量空间的 parser（这样的 encoder 可称作 vector-parser）”。

从8000米高空鸟瞰这种神奇的机制，是极度简化了它。真正实现这种 vector-parser 功能的不是一层自注意力，而是n层自注意力。每一层自注意力的叠加合力，造成了 X 渐次达到 Y。这也符合多层网络的本义，与多层自动机叠加的符号parser模型也是同样的原理。

再往里面看究竟，更多的花样就会逐渐呈现。每一层自注意力并不是只是在节点之间拉上飞线就训练出各自的权重（影响力），那样的话，就回到最原始的神经网络了，无法对付语言这样的 monster。

这就引来了注意力机制的魔术般的设计。我们假设X是输入向量序列（x是其中的词向量， x1, x2, ...xn），Y是输出向量序列（y是其中的词向量, y1, y2, ...,yn）。简单说，就是让x先1体生3头，然后再一体变多体，最后才变回为与x对应的y输出。如此叠加累积这才完成 X--> Y 的语义理解。

先看1变3，就是把每个词向量复制三份，人称三头怪兽。发明者给这三个头起了名字： Query，Key，Value，说是受到了数据库查询的启发。这种比喻性的启发既带来了方便，也造成了混乱，因为向量变换与数据库查询最多是一半相似。比喻都是跛脚的，可这次却是坑苦了几多学员。

先从相似的一面谈背后的原理和设计动机。第一个问题是：为什么要一词生出三头呢？

这是因为 vector parser 的目的是寻找词与词之间两两依存关系。而任何两词的依存关系都涉及两个词 x(i), x(j)。为了捕捉这种二元关系，第一个要确定的是谁具有这些关系，这个主体谁就是 Query。这就好比相亲，谁是相亲的发起者，谁追的谁？被追的那个就叫 Key。

因为一句话（或一个段落）中，每个词（x）都是自我中心的，每个词都要通过与上下文中其他词之间的两两关系来重新定位自己为 y，因此每个词都在不同的时间里充当求偶者，也在不同的时间里充当了被（追）求者。这就是为什么每个词节点都要设计 Query 和 Key 的原因。

那三位一体中的 Value 是怎么回事？这就是比喻害人的地方了。本来按照数据库查询的类比，当词 x(i) 作为自我中心的 Query 的时候，它去追求（查询）其他的某个词 x(j) 的 Key，两人相亲就是匹配一下，是不是看对眼了。数据库中的 query 与 key 匹配上以后，就会从数据库中返回 key 所对应的 value，是不是说，把 x(j) 的第三头 Value 返回来，就大功告成呢？

完全不是这回事。

实际的相亲以及建立关系的过程要“绕”得多。乍看简直诡异，慢慢消化了才会拍案叫绝。这种东西本来应该是上帝的不传之码，不知道怎么就流入人间，成为打开任何符号（不仅仅是语言文字符号，一样适用于各种音频、视屏符号）编码的钥匙。福兮祸兮，就好比是伊甸园的禁果，人类掌握了AI密码以后是加速自“作”而亡的节奏，还是提升了人类的福祉，就不好说了。但对于人的求知欲和征服欲，这无疑是核弹一级的刺激。

此处就会涉及一系列数学公式。非理工出身的人立马就堕入迷宫，但其实是纸老虎，它倒腾来倒腾去也就那么几个公式：一个是相亲前换套衣服好让Query与Key可以做匹配交融，一个是向量之间的“相乘” （MatMul，又叫 dot product），就是相亲交融本身，合二为一的内部其实是在计算二者的文本相似度（cosine距离），然后是 scale 和 soft-max，就是把相互关系的强度量化成概率百分数，等于是相亲后把各种满意不满意的感觉汇总打个权重总分，最后就是对所有的对象做加权求和（权重就是softmax刚打的分），然后与本人的 Value（第三个头）相乘。原来，Value 是本体 x 变形为 y 的基础，与其相乘的向量就好比一张过滤杂讯的网，使得变形了的 y 是突出了上下文关系的本体表示。总之，这一通折腾，才计算出真正的输出结果 y。“我”（自我中心的那个 x）已经不再是单纯的、青涩的我，而是成为关系中的我（y）。每个词都这样脱胎换骨一次，于是，奇迹发生了，符号被编码成了结构和意义，上下文的信息被恰到好处的捕捉进来（如果训练数据足够海量）。

上面说的是三位一体的本体 x 如何与环境交互变成了 y，但实际上为了便于注意力聚焦在不同的关系上，编码器都是设计成多头（就是很多个三位一体的组）注意力的叠加。这就给了每一组注意力以足够的空间去专注到某一种关系的抽象，而不是分散到多种关系去。这样的多头设计，在几乎无穷无尽的超大语言数据的无数次的迭代训练（back prop训练算法利用参数的梯度下降拟合实现）来逼近语言本身，所用的技巧就是无穷无尽的语言填空：例如在语言数据中随机抹去 25% 的词，然后训练模型根据语言的上下文信息去尽可能正确填空，从而把所谓自学习转变成经典的监督学习，因为黄金标准就在被遮蔽的语言符号里面。

上面略去了可以训练得到的参数设计的细节，其实也很简单，就是给每一个 Query，Key，Value 旁边配上一个相乘的权重参数矩阵 Query*W1，Key*W2，Value*W3，来记录符合训练数据的权重参数值，这样的训练结果就是所谓语言大模型。

AI/NLP 是实验科学。就是说，上面这通神操作虽然也需要有设计哲学的启发和规划，也需要有各种灵感的激发，但归根到底还是很多人在无数次的试错中通过输入输出的最终验证找出来的道路。而且多数神奇结果都是发明者最初没有预料到的。信息表示在神经网络内部的数据流（tensors）中千转百回层层变形，这样出来的语言模型居然具有赋能各种NLP下游任务的威力，这其实超出了所有人的想象。对于越来越深的多层系统，我们一直固有一种错误放大（error prop）的顾虑，所谓差之毫厘失之千里，怎么保证最终的模型是靠谱的呢？

这种保证源于训练数据的规模。超大数据就好比牵住风筝的那根线，任凭风大云高，风筝翻飞，只要那根线足够强壮，它就不会离谱。监督学习的奥秘就在目标驱动，注意力为基础的所谓自学习被大数据监督学习罩着，超出人类任何个体能力的大模型就不奇怪了。

有研究表明，这种模型内部捕捉到的种种关系可以图示化，显示各种句法关系、指代关系（例如 it 在上下文中与谁绑定，见图示）、远距离逻辑语义关系、常见的事实关系等都在它的表示网络中。

这张大网到底能推动多少NLP落地应用，开花结果，目前处于进行时。好戏刚刚开场，精彩值得期待。

谈到落地应用，就不能不提 transformer 的另一半 decoder（解码器）了。如果说编码器的宗旨是消化理解自然语言这头怪兽，得到一种内部的语义表示，解码器的作用就是把语义落地到下游NLP的各种应用上，包括机器翻译、自动文摘、信息抽取、文本分类、文本生成、知识问答、阅读理解、智能助理、聊天机器人、文字转音（TTS）、文字转图、文字转代码等等。值得强调的是解码器同样要用到注意力机制，事实上注意力机制的发明使用是先从机器翻译的解码器开始的，然后才平移到编码器，改名为“自注意力机制”。编码解码的注意力机制实质相同，区别在于解码器为了语义落地，Query 来自目标应用端的词向量，匹配的却是编码器中的 Key，以此作为语义的连接，从而实现目标应用的软着陆，赋能NLP应用的开花结果。这里的细节可以另文讲述，但原理上与 parser 以结构语义赋能NLP应用相同。

现在回头看自然语言及其NLP的历史，无论有意无意，上帝显然是犯了两个泄露天机的错误。第一个错误是让符号语言学家寻找到了语言结构的奥秘。第二个错误就是把意义的真谛赋予了数据科学家的向量表示。从此不可收拾。

有文为证。我在《科普小品：文法里的父子原则》中写道：

“话说这语言学里面有一门学问叫文法。学文法简单来说就是学画树。各种各样形态各异的树，表达了语言的多姿多彩，却万变不离其宗。奇妙啊。当年上帝怕人类同语同心去造通天之塔，乱了天地纲常，遂下旨搅乱了人类语言。印欧汉藏，枝枝蔓蔓，从此语言的奥秘就深藏不露。于是催生了一批文法学家，试图见人所不能见，用树形图来解剖语言的结构。忘了第一个画树的人是谁，感觉上这不是人力可为。天机不可泄漏，泄漏者非神即仙。历史上有两位功力非凡的文法神仙专门与上帝作对，各自为语言画树，一位叫 Tesnière，另一位就是大名鼎鼎的乔姆斯基。”

我的另一篇科普博文中也有过预警：

“语言是何等神器，它是交流的工具，知识的载体和合作的基础。人类一旦掌握了共同语言，齐心造反就容易了，绝不会安于伊甸园里面吃吃果子。真神于是有些怕了，决定搅乱自然语言，使得人类不能顺畅交流，内讧不断。这才有人类世代努力建造通天塔企望大同而不成。直到如今，世界仍不太平，语言依旧混乱，战争和恐怖时有发生。尽管如此，人类还是迎来了电脑革命的新时代。”

人成为上帝，还要上帝吗？

【后记】

这个话题足够重要，所以花了很多功夫调研消化然后介绍出来。本来太多人写这个题目，不少我一个科普介绍。但既然学也学了，就吐出来，力求与其他人写的东西，角度或风格有所不同，也算是一个老司机对科普的贡献。

【相关】

NLP 新纪元来临了吗？

《我看好超大生成模型的创造前途》

李维 郭进《自然语言处理答问》（商务印书馆 2020）

预告：李维《巴别塔影：符号自然语言处理之旅》（人民邮电出版社 2022）

预告：李维等 《知识图谱：演进、技术和实践》（机械工业出版社 2022）

【语义计算：李白对话录系列】

【置顶：立委NLP博文一览】

《朝华午拾》总目录

谢谢小编整理成文字，我也做了认真校订与补充（尤其是冷启动低代码部分）。 ​​​

https://mp.weixin.qq.com/s/UHcVXvXlRYajcYgG6cV8rw

分享嘉宾：李维博士 NLP scientist
编辑整理：陈昱彤 纽约大学
出品平台：DataFunTalk

导读：NLP (自然语言处理) 技术的深入发展主要有两条路线，第一个是基于符号规则的深度解析模型，第二个是基于神经的深度学习预训练模型。今天分享的内容是从领域落地的角度，对上述两条路线进行介绍和对比。首先，从人工智能的历史和发展现状来谈谈两种不同方法的异同及其互补作用。值得注意的是，两种方法殊途同归，基础模型及其架构也越来越趋向于平行和一致：都是多层架构、数据驱动，赋能下游NLP落地。最后我们会强调当前领域内的低代码趋势，并介绍金融领域深度解析路线落地应用场景的相关实践。

今天的介绍主要围绕下面四点展开：

NLP历史和现状

殊途同归的符号与神经

低代码是趋势，也是王道

NLP“半自动驾驶”实践

01
NLP历史和现状
1. NLP近代史
人工智能是从符号AI（Symbolic）开始发展的，最初的NLP是基于符号规则的系统。过去30来年，机器学习经历了两次主要浪潮，第一次是从30年前开始的以统计为基础的传统机器学习模型的兴起，第二次是约10年前开始的深度学习革命。深度学习的一声炮响送来了监督学习的杀手级武器，横扫了感知智能各个方向，从图像到语音等AI落地领域。目前的研究热点转向以NLP为中心的认知智能模型。深度学习在NLP中的一个典型成功案例就是神经机器翻译，在源源不断的人工翻译语料库的驱动下，神经机器翻译的精度基本达到人类翻译的专家水平了。与主流机器学习一波又一波的热潮相对照，符号规则系统早已退出了学术界主流舞台，但符号AI模型和NLP规则系统却从来没有退出过工业界的实际应用。
2. NLP之痛：领域落地的知识瓶颈
NLP最大的痛点一直是领域落地必须面对的知识瓶颈，这在两个道路上有着不同的具体表现：
① 监督学习（特别是深度学习）需要大量带标数据
无论是什么领域的监督学习落地都需要大量带标签的数据来训练模型，但是领域场景中常常只有大量原生数据，而缺乏带标数据。深度学习迄今无法规模化落地各个领域，其瓶颈就在于需要大量的手工标注数据，而且一旦任务有所变化，那么之前的标注难以复用，标注必须重新来过。当然，这些相对简单重复的数据工作所需要的标注人员门槛较低，属于低级劳动。
② 符号模型需要高质量手工规则代码
符号模型的NLP落地需要根据不同任务，人工地编写相应的代码。虽然手写代码不像数据标注一样需要大量的劳动，而是技术人才的少量高级劳动，但马克思的劳动价值理论告诉我们，少量的高级劳动和大量的低级劳动是等价的。无论把知识体现在海量标注数据中还是直接凝聚转化为知识规则，重要的是，两条路线都面对NLP落地的知识瓶颈。
Image
3. NLP的现状

① 突破的曙光

令人欣慰的是，我们已经看到了突破瓶颈的曙光。在深度学习方面，近几年非常热门的解决方案是预训练的自主学习模型。预训练模型的最大特点是它不依赖标注数据，它是从源源不断的原生数据（raw data）学习来构建超大规模的基础模型。作为上游的预训练模型可以支持下游的各种不同的NLP任务，这就大大减轻了下游NLP任务对标注数据的要求。预训练大模型在学术界上取得了突破性的进展，很多NLP任务赛道的数据质量被刷新，但目前基本上还局限在研究界。工业应用上要将预训练模型落地到各个细分领域并且实现规模化普及，还有不少挑战，估计至少有五到十年的路要走。

另一方面，深度解析赋能NLP落地的符号模型也取得突破性进展，工业应用之路已经完全打通了。架构上，我们第一步用深度解析器（Deep parser）去消化语言，解析器可以将任何一个领域的非结构化文本转化为结构化的数据。第⼆步是在结构化的基础上做下游的自然语言任务，其实就是一种结构映射工作，把语言解析的逻辑结构映射到下游领域落地的任务结构上去。上层的解析器做得很厚，要做几十层模块来应对语言的千变万化，但下游的模型只需要做得很薄，两三层就可以解决问题。预训练模型和深度解析器的功能差不多，虽然表示手段不同，但都是对于自然语言现象的不同层次模式的捕捉。深度解析的下游NLP落地大致相当于深度学习下游的输出层（Output layer）。

Image

② Deep parsing 是符号NLP应用的核武器
为什么说 Deep parsing 是符号 NLP 应用的核武器呢？因为人类语言无论如何千变万化，其中必然隐藏着相同的逻辑结构。深度解析几十年的实践表明我们可以先把语言进行消化，解码（decode）出不同表达背后的逻辑结构（logical form）。比如下图示例中同一事件的各种表述，在解析消化之后表示为相同的逻辑主谓宾（SVO）结构：“Apple（S）, release（V），iphone2.0（O）”。有了逻辑结构后我们就能以低代码开发领域落地映射的规则，以一当百地将这类结构用于不同目标上，而不需要在NLP应用层面去应对千变万化的语言表层变体。因此，NLP 应用场景的落地就能快速实现。
Image

02
殊途同归的符号与神经

1. 架构上的殊途同归

从AI历史发展趋势看，符号和神经是殊途同归的。创新方面也有惊人的平行性和相似性。

符号派走的是理性主义的路线，而神经网络和统计模型是属于经验主义的。本来理性主义的符号是排斥自底而上数据驱动的，但多年实践下来发现，在实际应用当中排斥数据驱动的理性主义方法往往捉襟见肘，可以在实验室做个玩具系统，却很难规模化实施。所以，我们在工业应用道路上深耕多年的符号践行者，实际上拥抱经验主义的做法，特别是数据驱动。符号主义走出实验室，在应用中落地开花的创新，与对数据的拥抱是分不开的。这种借鉴了经验主义方法论的符号路线还是保留了符号固有的一些优异特性，为符号主义的生存发展以及对于主流神经模型的补足提供了价值基础。

具体说来，符号是人类智慧和知识的载体，因为人类的思维以及知识积淀都是以符号及其逻辑的形式承载的（人类语言就是最大的符号）。所谓符号主义AI，实质是把符号表达方式在模型化的过程中贯彻到底，从符号规则系统的内部表示看，就是一种带有符号节点的图表示（graph），结构图中的关系表示也是符号化的，譬如句法树。这样的符号表示，好处是透明化和可解释性，软件的开发维护可以做到定点纠错。符号模型的开发也不需要依赖标注数据。这些优异特性是符号主义真正的价值所在。

神经模型就不⼀样了，它有“符号不耐症”。神经模型的两端（end-to-end）当然是符号，这没有办法，因为任何神经模型都是要给人用的，需要对用户和开发者友好，两端的接口上，它自然绕不开符号。但神经系统内部必须首先使用独热编码（one-hot encoding）、词嵌入（word embedding）等方法把符号转换为向量，才能实现模型内部的计算性。现在的潮流是使用预训练通过模型内部的各种向量来计算表示符号序列中隐含的不同层次的模式。然后下游的NLP落地任务一以贯之，同样是对这些人类看不懂的内部向量表示（所谓 tensor）进行监督计算，最终映射到输出层的符号。

Image

从架构及其内部数据流走向来看，这两种模型其实是非常相似的（见上图）。不同的地方是符号模型里面是结构化的符号，表示信息的数据流是 graphs。而深度模型里面长长的隐藏层全部是向量，数据流是 tensors。值得指出的是，符号模型也是需要用多层的符号模块一层一层匹配，更新内部结构才能取得好的效果。经典教科书中介绍的乔姆斯基风格的上下文无关文法（context free grammar）所对应的模型却是单层解析器（典型的实现算法是chart-parsing），就很难走出实验室。这就好像⼀开始陷在单层陷阱里面的神经网络一样，单层模型是很难捕捉自然语言的多样性的。这样看来，符号模型的多层创新和神经网络的多层革命也是类似的。这不仅仅是巧合，这实际上是面对真实世界，符号和神经在方法论上的殊途同归。
2. 方法论上的殊途同归
就NLP而言，创新的符号模型和主流深度学习都是深层模型，因为二者都要面对错综复杂的语言表层符号的组合爆炸现象，解构符号现象背后的层层语义。单层模型没有足够的空间和弹性来容纳和消化自然语言。在我们的实践中，英文的parser需要50层左右才能搞定，对于更加复杂的中文则需要大约100层解析才比较充裕自如。自底而上由浅入深的多层化解析把种种难缠的语言现象分而治之，使深层解析器的准确度基本达到专家的水平，从而为赋能下游NLP落地创造扎实的逻辑基础和结构条件。深层解析与神经前馈网络类似，也使用了经由pipeline多层模块的数据流，其内部表达方式是线性结构（linear representation）与图结构（graph representation）结合的符号化表示。它本质上与多层神经网络里面的向量空间（vector space）所表达的语义（semantics）是同质的，只不过编码的形式不⼀样。
总之，在我看来，理性主义不拥抱经验主义方法论，由数据驱动层层推进，实践中是行不通的，更谈不上规模化领域落地。符号与神经各自独立发展，却在架构与方法论上殊途同归，表现出惊人的相似性。这绝不是巧合，而是由客观世界的复杂性所决定的。两条路线上的深层模型，最后的目标也是一致的，都是为了克服知识瓶颈。真正理解透这一点，需要观察对比两条路线各自的短板。
Image
3. 神经与符号各自的短板

一般而言，最为成功的端到端神经网络系统的短板是对输出端标注数据的依赖，这是迄今深度学习在横扫感知智能图像与语音等应用后，一直未能在认知智能的各领域场景规模化落地的根本障碍。在数字化信息时代，领域场景并不缺乏原生的文本数据，但大多数场景都存在严重缺乏标注数据的情况，这使得深度神经难以规模化领域落地，巧妇难为无米之炊。

为了克服这个瓶颈，自监督学习（self-supervised learning）的方法及其预训练模型开始兴盛起来。自监督学习的奇妙之处是它本质上其实是监督学习，从而可以利用成熟的监督学习的算法实现，但它学习的对象却是几乎无限的原生数据，不受人工标注数据的资源限制。就NLP而言，自学习的预训练模型，无论BERT还是GPT3风格的模型，都是从语言学习语言，都是海量数据训练出的超大模型，以此减轻下游NLP任务对于海量标注的需求。

这里说一下从语言学习语言的预训练原理。为什么说预训练也是监督学习呢？人说的每一个句子实际上都是在对词语序列进行合法标注。语言之所以为语言，是因为语言单位组合成句背后是有规律的，它是由文法和用法习惯所决定，因此千变万化的句子才可以被人类自己解构和理解。与此对照，随机的词汇组合是“非语言”。预训练学习出来的所谓语言模型，本意是首先在语言与非语言之间划线，然后对于语言现象本身学习其上下文的模式，这一切所利用的，是人类无时不在制造的语言数据。换句话说，自学习中，监督学习搭的是语言数据自然生成的顺风车。

自学习的好处是什么？好处在于数字时代中互联网的语料库是无穷无尽的，把质量稍高一些的文本都喂进模型里，就得到了我们现在拥有的那些超大模型。大厂有强大的算力，不断推出各种超大规模的语言预训练模型，希望引领NLP的应用落地。这些模型跟我们花了很多年做的深层解析器（deep parser）是差不多的，具有相同的消化自然语言及其结构的使命。

符号系统的短板是它的编码门槛高，那么解析器应用的出路是什么？出路是低代码、冷启动、半自动、流程化。编码门槛高分成两部分，⼀部分是核心引擎（即deep parser），这部分难以做到低代码。不过核心引擎是⼀锤子买卖，做好了核心引擎就相当于用符号的方法写出了一个自学习的预训练模型。应用时解析器的部分基本不需要改动，只需要在下游做简单的两三层编码，将解析结果映射成应用所需要的输出即可。我们强调的冷启动主要是指下游NLP落地，典型的任务就是领域信息抽取和文本挖掘。冷启动就是不需要大量的标注数据，只需要⼀点种子就可以推进下游NLP快速领域化落地。半自动流程化，是让机器以及开发环境去提示开发人员怎么做。目前，利用深度解析器进行半自动NLP领域落地的道路已经打通了，实践中一再被验证。当然，符号NLP算法的通用性自然不如深度学习的自学习模型，譬如，NLP符号模型的创新很难拓展到语音和图像上。这⼀点与深度学习不⼀样，深度学习算法及其架构的通用性强，可以把在NLP领域创新突破的同⼀套方法论，基础模型和设计思想用到图像，语音等各种AI问题领域。不过，相对而言，图像与语音基本是已经解决了的AI问题领域，关键还是要在NLP内部快速实现规模化领域落地，保障深度解析对于不同领域的通用性，而这一点正是我们过去几年探索的成绩及其价值所在。

Image

Image

4. 天问：神经可以终结符号吗？

NLP正处于AI历史上最激荡人心的时刻。它没有被攻克（领域上尚未规模化普及），但我们已经看到了曙光，神经与符号都显示出领域化的可行性与赋能潜力。

三十年来主流研究重心⼀边倒在统计和机器学习上，神经革命让钟摆摆得越来越高，一直没有回落到符号的迹象。有人会好奇符号主义是不是将被终结了？

我的第一个感觉是，符号被终结的可能性并不为零。监督学习的神经奇迹曾经在感知智能与机器翻译当中发生过，超出了所有人当年的预料。因此，自学习支持规模化领域落地的奇迹也不是绝无可能发生。当预训练模型在赋能NLP下游任务，普遍达到神经机器翻译颠覆符号翻译的程度时，我个人觉得就可以接受符号被终结的趋向和结论。但现在断言这种可能性，为时尚早，按照目前的技术发展和资源投入的程度，大概5-10年内可以看清。虽然我不相信⼀条路线会把另⼀条路线在各领域应用中全面取代，但如果AI能在神经的大旗下真地⼀统天下，人类一同走入通用智能（AGI）的高点，岂不是一件乐事，这才叫，不废江河万古流。但这是小概率事件。

更大的可能我觉得应该是神经与符号长期并存，逐渐开始更深的相互融合，取长补短，既包括符号子系统与神经子系统的松耦合，更包括符号与神经模块内部的紧耦合（例如内部表示中符号图与向量的相互转换）。我们知道，符号与神经的区别性特征在于其内部表示的不同，一边是结构符号，一边是向量空间。紧耦合方向非常有诱惑力，虽举步维艰，但一直有人在不懈探索。有专家认为符号神经的深度紧耦合可能是下一代人工智能的真正突破点，甚至可能开启通用智能的新时代。

这里附带提个思考题：上帝用的是向量还是符号？外星人呢？

当然没有标准答案。但我心里倾向于这样回答：上帝应该是用向量的，但外星人不能免俗：他们与咱们人类一样，用的是符号（语言）。至于外星语的符号用的是什么编码载体，声音还是图形，则不确定。

03
低代码是趋势，也是王道

1. NLP低代码潮流
最后想强调的是NLP低代码的潮流，它是从AI开源平台的兴起开始的。当今互联网各大厂都在建立推广自己的深度学习平台，谷歌的TENSORFLOW，脸书的PYTORCH，等等。各种平台级工具箱和软件包也在开源社区流行，有KERAS的神经网络框架，还有SCIKIT-LEARN这样非常成熟的包括几乎所有统计模型的软件库。现在做模型就像玩积木一样，你可以用短短几行代码去调用这些库很快实现一个原型系统，刚毕业的大学生研究生也能很快实现一个像样的模型。
符号NLP这方面其实也有不少进展，我们做的多层NLP符号平台也是在半自动、冷启动、低代码和流程化的路上。其目标是把编写NLP代码的人从“码农”转化为判官，以高精度低召回的样例规则代码为起点，通过检验数据质量的变化决定符号规则的泛化路径及其迭代更新。这种低代码的开发流程在一系列不同领域的落地应用实践中验证了其有效性，使得NLP代码开发的效率至少提升了一个量级，从以前的几周时间缩短为几天。
2. 数据科学与工程的兴起
AI低代码趋势的标志之一是数据科学的兴起。这几年来，很多大学顺应市场需求，开设了数据科学（Data Science）专业，批量培养知识工程师。目前，数据科学专业有些杂，大体上一半是计算机的课程，另一半是不同领域的实践教学。它训练你在不同领域方向上将AI低代码能力与领域数据处理结合起来，完成一些领域应用。这标志着NLP和AI从学术的象牙塔里走了出来，逐步汇入各行各业的应用场景。各种开源低代码平台、工具和社区的推广，使得学习的门槛也降低了。在线教育如火如荼，也顺势而起，专精数据科学培训的datacamp上就有上百万人在学习相应技术课程。AI数据科学在行业落地应用的前景在接下来的十年中会越来越普及，低代码人力储备也逐步准备好了。有意思的是，前几年AI热引起的风投热度开始明显降温，但这与其说是AI泡沫破灭了，不如说是对于AI规模化领域落地和普及的预期过高，不了解AI的自身发展的真实趋势。上一波赶上了感知智能大爆发潮流的资本，有耐心和机缘赶上认知智能今后10年中的爆发节点吗？
04
NLP“半自动驾驶”

1. 半自动符号NLP的设计哲学

以上算是务虚，下面回到符号NLP创新的务实话题，讲述一下NLP老司机的半自动“驾驶”，结合本论坛的金融主题，介绍符号NLP在金融领域的落地中的实践。NLP落地金融与我们在法律、电力、航空、客服等应用场景的领域化工作一样，围绕一个相同的开发理念和设计哲学：数据驱动，但不依赖标注数据；无米可以，有稻即成：解析器作为碾稻成米的核武器，无米之炊可成。

具体说来，低代码半自动可以从样例种子开始。只要有“种子”就可以全自动地生成规则，并且在生成规则的基础上实行半自动的规则泛化流程。泛化的方式分为上下文泛化和词节点泛化两大类，其中上下文可以灵活应用图结构上下文与线性上下文（例如窗口限制）。词节点泛化带入本体知识库，包括常识的逻辑推理链条加持。泛化路径由系统内部自动配置确定可选项，由知识工程师（开发者）从可选项中选择进行。这就让纯粹手工的规则编码流程，转变为半自动的代码调整过程，大大减轻了代码开发成本以及知识工程师的培训成本。

NLP落地领域作为一项软件知识工程，整个流程遵循软件开发的best practice，包括建立和维护代码迭代更新的质量管控标准和措施，保证在不依赖标注数据条件下的数据质量。监督学习所依赖的标注数据黄金标准，被知识工程师的数据比对与判定代替，码农从而成为判官，半自动监督指导符号系统上线前的迭代开发以及上线后的维护开发。半自动模式下，只需要使用样例种子来冷启动符号规则的开发过程，系统自动提示调整泛化的路径。知识工程师从代码的细节解放出来，以人机互动的方式实现符号系统的快速领域化。目前我们已经在多语言（10多种欧洲和亚洲主要语言）和多领域（金融、法律、电力、航空、客服等）的不同场景落地，用的都是这套数据驱动的方法论：低代码、冷启动、半自动、流程化。

Image

2. 半自动符号NLP的实践

实践部分咱们以金融NLP落地为例。金融领域的特点是句子比较长、信息点多、关系复杂，一个两句话的例子中可能就有30多种关系需要抽取。但好在句子的模式比较固定，目标关系的抽取步骤是内部先消化成同一个结构，然后再把结构映射（map）到输出端去建立关系及其角色。属于图结构的匹配和映射。

Image
Image

经年打磨的深度解析引擎对各领域保持稳定。但在该核心引擎应用到具体领域的时候，有一个步骤是保障引擎领域化的关键，就是领域词典的加持。事实上，那些开源的深度学习训练出来的解析器（斯坦福parser，谷歌SyntaxNet，等）之所以至今没有规模化的领域应用成果，主要瓶颈就是难以适配领域化数据。这些在通用数据上训练出来的解析器虽然质量接近专家水平，但对于数据非常敏感，一旦数据场景偏离原训练数据，数据质量常常悬崖式下跌，不堪使用，其主要原因就是面临领域新词的挑战。训练模型缺乏外加词汇的加持手段，加上解析器的输出沿用社区标准（类似PennTree）只提供结构图，并不提供词节点的语义特征及其本体知识链条的支持，这就使得下游NLP很难落地。我们的多层符号解析模型克服了上述缺点，下游NLP任务继承核心引擎的所有信息和知识，用的是同样的机制和符号语言，从而打开了快速领域产品化的大门。

领域词典分为两部分，一部分是领域新词发现（或利用领域已有的开源词汇资源）。我们通过领域原生数据的N元组聚类获得候选领域词汇，然后经过噪音过滤等过程与系统内基础词典及其本体知识库对接。在金融领域，新词发现获得了三万N字新词或词组（9>N>2）。领域词汇的另一个来源是用户词典，这个规模小得多，但可以在开发过程中随时增补修改，可以更加灵活地配合引擎的领域化开发工作。

在词节点泛化路径中，内部有现成的本体知识库（HowNet的精简版）及其上下位路径去帮助泛化。在上下文约束条件的调整中，系统预先设置好了通过图关系或窗口限制的两条上下文泛化路径，只要点击就能调用。泛化过程与深度学习系统的梯度下降的原理类似，只不过符号系统的“拟合”按照系统设计者根据内部知识和经验预定的泛化路径来进行，路径节点是离散的有限集合，一条样例规则大约经过10-20次泛化迭代可以定形。无论节点泛化还是上下文泛化都具有可解释性。每一步泛化迭代都在由原生数据组成的开发集中得到验证，以此保障迭代开发的数据质量。金融实体与关系的抽取就相当于深度学习网络的输出层，由一些简单的抽取规则组成（见图），规则模式的条件是词和上下文之间发生的窗口关系（例如Win9，9词窗口）或者语法关系（例如Link1，一层关系，即直接依存关系）约束。系统自动提示约束条件的可选项，最后由在开发集上的回归质量测试决定一个选项在精度与召回上的表现。表现不够格就回滚到前一个状态重新尝试其他泛化路径，如此循环。主要理念是用半自动的系统提示的方法把⼀个很紧的规则松绑到恰到好处，让系统在精度和召回中做出合理平衡。这种方法可以概括正例排除反例，提高精度，同时在泛化中自然加强系统的召回（recall）与鲁棒。

Image

Image

总结一下，半自动流程化NLP落地的主要优点是不再依赖标注数据。基于结构和理解的冷启动低代码路线具有普适性和跨领域的优点。不足则是低代码并不是无代码，依旧需要一些代码纠错技能，但培训门槛则大大降低了。
05
精彩问答

Q1: 您在做parsing的时候使用的标签体系是否有统一的标准，在哪里可以学习呢？
A1：标签体系是有传承的，不是Penn Treebank那套标签体系，因为虽然Penn Treebank是符号领域中的社区黄金标准，但我们知道其中有很多的固有缺陷，落地实践用起来也不够方便。根本的标签是从 Dependency grammar这路继承发扬下来的。在我的NLP频道 (liweinlp.com) 的许多样例的后面，都配有这些标签的简单说明。句法语义的关系标签集合不大，粗线条的parsing标签不到10个，细线条的标签总数也就几十个。但是词概念的标签集合则大得多，我们用到的大约2000左右标签，包含了HowNet的核心本体特征。
Q2: 同一层解析中不同规则的优先级是完全基于语言专家知识来确定的吗，也就是确定性的非概率的吗？
A2: 对，是确定性的、非概率的，但在确定性中对于不确定性有⼀种包容。包容是指在非确定的情况下，不在特别关键点的时候，系统先把它包住。⽐如在某些节点中有词汇歧义，但这个歧义不是你所要做的任务急迫需要解决的问题，这时就可以先包住，等到条件成熟时再对付它。结构歧义也同样有包容的手段。我们虽然在pipeline的数据流里是用确定性方法往下传递数据结构，但里面同时蕴含了包容下来的不确定性或歧义。系统装备中有我们称为“睡眠唤醒”的机制，可以从事局部结构的重建、修正或再造，在宏观条件成熟的时候，例如在后期更大的上下文背景条件下，重新展开局部结构进行重建或覆盖。
Image

今天的分享就到这里，谢谢大家。

深层解析符号模型与深度学习预训练模型

【相关】

NLP 新纪元来临了吗？

推荐Chris Manning 论大模型，并附上相关讨论

《我看好超大生成模型的创造前途》

李维 郭进《自然语言处理答问》（商务印书馆 2020）

预告：李维《巴别塔影：符号自然语言处理之旅》（人民邮电出版社 2022）

预告：李维等 《知识图谱：演进、技术和实践》（机械工业出版社 2022）

【语义计算：李白对话录系列】

【置顶：立委NLP博文一览】

《朝华午拾》总目录

【立委按】强力推荐NLP顶级权威，斯坦福Chris Manning教授论大模型，非常好的 review。曼宁教授深厚的计算语言学学识反映在他的综述和展望中，具有历史厚度和语言本质的理解深度。最后的那个点也很好：当前的一锅煮的超大模型实际上是一个可行性研究，已经初见成效；将来的大规模的领域场景应用，会召唤相对来说小一些但更加领域数据密集和纯化的基础模型，可以展望其革命性前景。至于这算不算 通用人工智能（AGI），曼宁说的也很有分寸：看上去算是在通向 AGI 的路上。短板主要是 semantics 还不够直接面向真实世界，而是源自符号世界、囿于符号世界（所谓 distributional semantics），等于是绕了一个弯儿，语义的深度以及语义结构本身就显得扁平、太浅，难以消化人类深厚的知识积淀。但即便如此，也堪称一个伟大征程的坚实脚步，是激动人心的NLP新时代。从分布角度看意义，如果说人是社会关系的总和（马克思），那么也可以说，语词基本上是语词间篇章关系的总和。很多年来，我们NLP践行者一直挣扎在如何把上下文合适的模型化，因为语言符号的歧义和微妙很大程度上可以在上下文中予以消解。上下文最直接有效的对象就是篇章（discourse），而恰恰在这一点，深度学习注意力机制为基础的大模型展示了其几乎神奇的表示能力。

与曼宁教授合影（2017-07-18）

Chris 的这篇综述对于NLP意义重大，值得反复研读。文章也很好读，写得清晰简练。里面有一个有意思的观点，值得特别介绍。曼宁试图重新做NLP历史划分，从而突出自学习革命的分水岭作用：

In hindsight, the development of large-scale self-supervised learning approaches may well be viewed as the fundamental change, and the third era might be extended until 2017.

我们知道，过去30多年经验主义AI成为主流以来，常规的AI时代划分都是：第三代是传统的机器学习；第四代是深度学习，分水岭在 2013 年（ ImageNet 上那次深度神经网络CNN的爆炸性突破）。

但是从NLP角度，2013-2017 这四五年，深度学习虽然横扫了图像和语音，但在 NLP 本身却遭遇挑战，没有真正的突破，根本原因还是因为NLP监督学习依赖太多的标注数据，这一点与AI第三代没有区别，甚至依赖性更强（数据上不来，神经的表现还不如传统的统计模型）。因此虽然 AI 整体的时代分水岭是 2013，NLP 作为认知智能的拦路虎却应该把里程碑推迟到 2018年。

2018年是自学习预训练大模型（LLM）元年。NLP终于摆脱了标注数据的桎梏，可以直接从语言学习语言，开始利用无穷无尽的自然语言原生数据。从研究角度看，曼宁显然认为这才是NLP范式转变的开始。这个历史观点我认为是站得住脚的，是个有洞见的划分。无论如何，没有自学习谈不上NLP的革命。这是这篇文章的主旨。

但如果细究，自学习 LLM（其实很长时间都是一直叫预训练，好像是 Yann Lecun 开始不断改用 self-supervised learning 才慢慢普及开来，目前的趋向是逐渐过渡到基础模型的说法）其实并没有真正从监督学习走向人们曾经向往的完全无监督学习。因为算法上，预训练大模型本质上还是“监督”学习，只是规模超大的自监督，因为数据超大而已。

这一切尝试本来也可能并不会引发一场可以认为是革命的事件。因为超大规模的模型本性上肯定是简单的，一开始就是做 next word 的预测，或者只是做填空猜字的游戏。谁也没想到这种看上去非常简单的模型居然有能力加强NLP任务的方方面面，甚至影响超越NLP，使得类似框架反过来延伸到多模态符号（图像、语音）上，一样可以循例建立基础模型赋能各自的AI任务。

虽然从小就被马克思辩证法教育，量变引起质变默念在心，其实心底一直没有真地（被）信服：大号的 X 还是 X，怎么就变成 Y 了呢。但是，到了自学习超大模型（BERT，GPT-3等）这里，我们确实见证了这种神奇的多任务效应。

当然，从 2018 年到现在，这场NLP革命也还只是处于初级阶段，等于是完成了可行性研究，NLP大模型在各场景全面开花结果还有很长的路要走。我以前觉得5年可见分晓。曼宁说的是今后10年是NLP革命最激动人心的时代。越来越多的资源和人才开始向这里聚集。

这个其实颇有争议。有不少人不以为然，认为这是高估了自学习大模型的作用，预见在领域普及化的过程中会遭遇困难，甚至滑铁卢。因为自学习模型在知识表示的层次性、一致性和完整性方面显然有严重缺陷，而且缺乏所谓“真正的”理解，虽然可行性研究展示了一些貌似非常理解非常智能的表现。这一观点也不无道理。是不是一场真正的NLP规模化落地的革命，5-10年后回看才能真正裁决。

马少平老师说：“打个比喻，大模型还只是地心说，虽然能解决一些问题，但还远没有到达日心说呢。” 说得有理，可能还要经过几次螺旋式上升，才能更加逼近通用的NLP和AI吧。但另一方面看，如果没有自学习的出现，NLP 就一直是个累赘，可现在转而成为 AI 的急先锋了。

【相关】

斯坦福教授曼宁AAAS特刊发文：大模型已成突破，展望通用人工智能

曼宁教授综述的英文原文

推荐Chris Manning 论大模型，并附上相关讨论

《我看好超大生成模型的创造前途》