月度归档： 2017 年 11 月

【李白77：基本短语是浅层和深层parsing的重要接口】

白:
句法的作用，第一是把远距离相关的成分拉到一个滑动窗口里来，第二才是在同一个滑动窗口里有多选的话，考虑语序因素来进一步缩小范围。

李:
说得好。第一个作用一多半是由 phrase chunking 完成的，这被认为是 shallow parsing，相当靠谱的一种操作。

白:
问题出在，如果在phrase chunking过程中出现多种可能性，混乱到chunk的边界都有分歧，这时候带着不确定性跑会很累。又回到休眠反悔的话题。边界不一致倒也罢了，中心词都不一致，更不好对付。

李:
问题不严重。关键是 chunking 基本上针对 basic XP （baseNP etc），只要具有前后条件查询的机制，搞定 boundary 一般没有问题。对于所谓 right-branching 递归，譬如 PP 的后修饰，等，shallow parsing 一般把这个问题推后，不去牵扯。

白:
形容词副词介词限定词这些都不担心，担心的是从句。从句递归以后，边界和中心词混乱的概率明显增加。

李:
shallow parsing 绝对不要管从句，连稍微复杂一点的多层 phrase 都被排除在外。这样一来，虽然理论上，窗口聚焦的任务不可能完成，但实践中，其实问题也不大，因为特别复杂和嵌套的句子，并不是语言事实的大多数，这是其一。其二，窗口的大小除了 chunking 把前后的修饰成分吃掉以外，系统还可以选择性跳过挡道的东西。事实上，deep parsing 其所以可以在 shallow parsing 的基础上进行，正是这个理由，不过做的时候小心一点罢了。这样来看，chunking 的核心就是搞定 boundary 和 确定 head。这两个都不难。一旦搞定这两点，结构的基础就打牢了。至于结构歧义，它被自然地推后了。

白:
另外就是NN结构，经常是伪歧义，所以N+N这种，最好是白名单管理，条件不满足是断开的，有罪推定。而A+N，就应该是无罪推定。条件不满足就应结合。

李:
N+N 统计上看，就是合成词为主。A+N 就是合成词以后的短语层内部修饰，大体如此。

歧义分两种。短语内部的结构歧义可以休眠唤醒，不影响分析向深度进行。因为短语对于句法已经包裹得严严实实，里面藏一些搞不清的关系，属于人民内部矛盾。

白:
嗯，比如“两个英雄的母亲”你管他几个母亲几个英雄呢，反正对外的全权代表就是“母亲”。剩下的慢慢来。

李:
清官难断家务事，句子层的语法关系，一般没必要进入短语内部去参合（当然可以找到例证，短语内外的关系是有相关性的，别说短语，甚至句法的东西也有需要进入词法内部去协调的，但是统计上可以忽略这种 interaction）。

白:
远距离相关，要拉近的就是“母亲”，“英雄”无所谓。

梁:
人民内部矛盾，家里家外有别。

李:
第二个结构歧义是basic短语之间的，这个问题比较大。典型的譬如 pp-attachment，汉语中的“的”所涵盖的 scope 问题。deep parsing 的主要难点就是与这些短语之间的歧义战斗。但是可以设想一个简单的 deep parser 绕过这些问题，遵循休眠政策，就是一切关联一律就近原则。这样 parse 出来的句法树，不能直接对应逻辑语义和理解，但是作为一个结构基础，还是能起很大作用。

白:
这个是权宜之计，只不过有休眠兜底，不怕。

李:
原因是，理论上，这样一颗全树贯穿了所有节点，从任一个节点到任意的另一个句素节点，都有路径可达，不过是直接还是间接而已，道路是畅通的。譬如 PP-attachment，如果从VG未达想要check的PP，不过就是通过NP间接达到PP，一样可以找到你想要找到的某种PP。如果语用或产品是建立在这样 pseudo-deep-parsing 的基础上，完全可以考虑把 domain 的知识，ontology，heuristics 等等带进来，去求解想要的信息目标，这比关键词不知道要强多少倍。

白:
可以“句法制导”地去做。

李:
而且，到了这个地步，也可以根据情形，重新做局部 re-parsing，这个 re-parser 可以设计成特地为了休眠唤醒而制作的。

白:
休眠的数据结构设计好了，re-parsing可以很有章法。

李:
它有两个以前没有的有利条件：（1）量上，聚焦了。面对的不是大海，而是其中一个子集。面对的甚至不是全句，而是句子的某个部分。（2）语义限制条件可以放开手用，除了 domain 知识可以引入外，其他语义条件也可以用，因为这里求的是精准，而recall已经有娄底的了。

白:
最近也可以换成其他条件，比如统计上最般配之类。

李:
对，这个很有意思，不过实现起来有一定难度。理论上没有问题。最般配是有大数据基础的。怎么用好，看功力了（更多的是工程的功力）。

剑桥有一个老学者，以前很熟，他做过类似 Preference Semantics 的 Subact 语义条件的统计工作。有非常有意义的结果，可惜那个方向的结果，距离工程上应用还有一些实现上的挑战。但是，这些都是具体的细节问题，宏观上，这一路一定会大幅度提高 deep parsing 和 理解的能力。没有疑问。

传统 parser 的一个致命的问题是内外不分，CFG 的 chart parser 是从词到短语到从句到所有的句法结构，一锅端。这个大大地限制了其 parsing 的深度、广度、鲁棒和效率。

白:
基本三条路：全息，带着所有选择跑；回溯，带着一个选择，备着所有其他选择；休眠，带着一个选择或一组一致对外的选择在主战场上分析，其他选择也不闲着，在另一个战场上以一定概率梦游。我看好休眠。

李:
phrase 这一刀很关键。实际上，phrase 是一个极其重要的层面。phrase 可以看成是有三妻五妾的大红灯笼的乔家大院。甭管内部争风吃醋你死我活。大院只有一个院子主人对外，就是老爷。其他的妻妾佣人宠物财物统统不作数。国家大事只在老爷之间进行。小家内部的矛盾可以无视，只在需要的时候用到。

白:
个别老爷之间有些扯不清楚，先用某种规则糊弄鬼子。

李:
休眠和梦游（唤醒）一般不在一个时间区间，所以一般没有瓶瓶罐罐的牵累。

白:
不清不楚的只能通过梦游获得扶正的机会。大院的边界是武断的，而这武断如果有大数据支持，就更胆儿肥了些。

李:
base-phrase 的边界不是挑战，不用大数据。倒是院子之间的关系， PP-attachement，等，大数据可以派上用场。

白:
我说的就是后一种。

李:
那个我验证过，绝对可以用上，也非常有效。就是在线实现非我所能。本质是 offline knowledge，real time use, 还不能 pre-computing，需要工程好手，也许有戏。

首发科学网 《新智元笔记：基本短语是浅层和深层parsing的重要接口》
 

 

【相关】

《泥沙龙笔记：parsing 的休眠反悔机制》 

《泥沙龙笔记：连续、离散，模块化和接口》 

【语义计算：李白对话录系列】

《朝华午拾》总目录

【李白76：跨层次结构歧义的识别表达痛点】

李：
一个困扰我的问题是跨层次结构歧义的表达：“他要整个高大上的节目献给全国人民”：

“整个”分析成定语。但口语中，它还有动词谓语的可能：“整个”=“整出（创制）一个”。上面示意了一下，为表达识别出来的歧义，这里需要打破 base XP 的框框。第二条依存关系路径是：“要”是谓语“整个”的儿子（情态），“节目”也是“整个”的儿子，是其宾语（O）。值得注意的是，这个歧义表达要求短语内部的定语跳出来做句子的谓语。

白:
其实，有了从句，树已经成了DAG。既做得初一，索性做十五，大面积地画DAG好了。

李：
如上图所示，加上这两条路径，基本就算在同一颗树里面表达了两个 parses 的路径。昨天一直在想这事，感觉与白老师初一十五一样，可以做。不就是需要一个表达手段么？也不影响 formalism 本体。

白:
还是有点两张皮，不是个一贯的东东。

李：
层次纠缠的结构歧义的表达，如果不生成多颗全树，而是表达在一颗树里面，的确不是一个一贯的东西，是两张皮。但是好处也是明显的，经济实惠，共享了句中大部分与歧义无关的依存关系。句法识别这样的结构歧义原则上不难。有“整个”这个词去drive的话，总是可以识别的。

白: O前是表示生产、制作、呈现意义的动词，O后是双宾动词的情况，可以激活“整个”的分解语义。

李：
先不说排歧，因为排歧很多时候人也有难处。咱们先讨论清楚结构歧义的表达。识别完了，怎么表达？需要一点斟酌。因为只有表达合适了，后去才可以用（无论是后去的排歧，或者不排歧提供给人去互动或干预）。关键是，这个表达要好用。后去觉得不好用，那就白表达了。因为大多数其他的依存关系是可以共用的，所以结构歧义，是可以在同一颗依存树里面表达的。

结构歧义在不牵涉 base XP 层次纠缠的案例中，我们已经常用。PP-attachment 就可以把PP既连接到前面的NP也连接到前面的VG谓语。因为所谓的base NP， 这个base是把后面的PP定语排除在边界之外。这样一来，表达起来完全没有层次（xbar）的纠缠问题。还有我以前显示的一个NP既接成VG的S，也连接为O，这些都好办。汉语的兼语也可以表达为前面VG的宾语（O）和后面VG的主语（S）。

在多年的实践中，发现在依存表达中，加入 base XP 的短语结构，会带来很多很多便利。结果就人为地在本来应该没有非终结节点的纯粹的以词为基础的依存树里面，强加了这个 XP 的表达。这样一来，就出现了结构歧义的层次纠缠问题。如果当时决定从base XP更进一步，允许XP的短语结构有嵌套，那么PP-attachement中的PP就可能成为一个扩展的NP里面的成分。这时候，PP再拿出来做谓语的状语，就同样面临层次纠缠问题。这表明，这一切都是人为的。是我们为了方便做了权衡的一种表达方法。关于这种baseXP 短语结构与依存关系的 hybrid 的好处，新来的朋友参见：《新智元笔记：基本短语是浅层和深层parsing的重要接口》。在多数时候，它的确是方便的，短语这一刀给我们带来了极大的便利，但在层次纠缠的结构歧义表达时候也给我们带来一些不便。不便之处，花点功夫可以克服。人为的东西都是可以人为克服的。

对于结构歧义在同一颗依存关系树上的表达，后续的应用，需要专门为这种表达写一个歧义检索程序，用起来就没有问题了。这个检索算法，我昨天想了一下，也不难。你从任一个节点出发，一路遍历它的子子孙孙。如果其结果是树上的所有节点都访问到了，那么这个节点就是天王老爷。如果有多个天王老爷，就说明有结构歧义。就这么简单。因为依存关系的结构原则是，有且仅有一个天王老爷。多了，就是歧义。在我们的“整个”的那句案例中，从“要”出发可以遍历。从“整个”出发，也可以遍历。其他的所有节点都不具有这个遍历终结节点的可能。白老师，这样有问题么？

这个方案纯粹是一个所谓 side effect 的工程，不牵扯 formalism 本体。只要想做，找一个不笨的工程师就可以做：歧义结构的依存关系表达，以及歧义结构的依存关系检索。至于检索后的应用，那是下一个系统（IE或其他语用模块）的问题，不是句法的问题了。句法合适地识别了歧义，又提供了检索接口，可以说是仁至义尽了。

这一讲的题目可以叫做NLP中“跨层次结构歧义的识别表达痛点”。

其实，也不算太痛。就是messy一点，做总是可以做的。Note：这里讨论的问题与传统 parser 生成了许多个伪 parses，鱼目混珠、沙多珠少的情形不一样，这里说的是具有相当确定性的结构歧义。不是伪 parses 成堆的传统 parser 里的那些 false alarms。这些歧义的识别大多是细颗粒度或词驱动的句法都可以预示和搞定的任务。如果上述方案实施了，就引导句法开发者多在识别上下功夫，而不要浪费资源做那些搞不定的排歧任务。前者是 tractable 的任务。

前几天提到的“一张嘴”的词启动歧义识别也是如此：

后一个 parsing 由于词驱动的 hidden ambiguity 没有表达，现在是错的。 但是如果照上面的方案解决了歧义识别表达的问题，就可以把另一个可能挖出来。

刘：
我是一只特立独行的猪，这个结果会是咋样呢？

李：

“结果”取了副词的用法，也说得过去，但错过了其名词的用法，虽然总体语义无大碍。

这个也有一个错，“树”应该做定语的，可是分析成“看”的宾语了，大局没错。

这些漏掉的歧义结构，从道理上都可以识别，如果歧义表达和检索按照今天说的方案那样到位的话。不过做起来还是有些繁难，以后再说吧。要点就是，对于一个已经基本对于 false parses 免疫了的细颗粒 parser 而言，与其追求不大切合实际的结构排歧，不如把下一步的重点放在歧义识别、表达和检索上。

首发科学网 《新智元笔记：跨层次结构歧义的识别表达痛点》

【相关】

Chomsky’s Negative Impact

【语义计算：李白对话录系列】

《朝华午拾》总目录

 

【李白洪毛75：乔姆斯基批判】

【原立委按：微信泥沙龙，谈笑鸿儒，高朋满座，信马由缰，言无所忌，摘之与同仁分享。】

李：
今儿个咱要吐槽乔老爷，不吐不快。

开题：乔姆斯基，对领域的误导，或负面影响，与他对语言学的革命性贡献，一样大。

他的hierarchy，是天才绝顶的理论，是不可泄露的天机，从而奠定了形式语言的基础，用来创造、解释，或编译计算机语言，是完美的指导。可是，完美往上走一步，就成谬误。乔姆斯基拿这套理论，硬往自然语言套，导致整个领域，在所谓自然语言是free，还是sensitive，还是 mildly sensitive等不靠谱的争论中，陷入泥潭。太多的人被引入歧途，理所当然地认定，因为自然语言复杂，因此需要 powerful的文法。这个 “powerful”，是世界上用的最误导的词。

工程师发现，有限状态好用，但经不起理论家的批判：你那玩意儿太低级，不够 powerful，只能拿来凑合事儿。实际上，做过大工程的人都明白，对象的复杂，并不是使用复杂机制的理由，有本事使用简单机制对付复杂的对象，才是高手。

乔姆斯基最大的误导就是，用所谓自然语言的center递归性，一杆子打死有限状态，他所举的center递归的英语实例，牵强和罕见到了几乎可笑的地步，绝非自然语言的本性。结果一代人还是信服他了，彻底地被洗脑，理所当然以为必须超越有限状态才可以做自然语言深度分析。

为了所谓语言的递归性，人脑，或电脑，必须有个堆栈的结构才好，这离语言事实太远，也违背了人脑短期记忆的限制。世界上哪里有人说话，只管开门而不关门，只加左括号不加右括号，一直悬着吊着的？最多三重门吧，一般人就受不了了。就算你是超人，你受得了，你的受众也受不了，无法 parse 啊。说话不是为了交流，难道是故意难为人，为了人不懂你而说话？不 make sense 嘛。

既然如此，为什么要把不超过三层的center循环，硬要归结成似乎是无限层的递归？

毛：
递归成了他的宗教。

李：
不错。乔老爷的递归误导语言学，坑了NLP太久。我对他的语言学不感冒，对他对NLP的误导，更感觉痛心。一个如此聪明强大的人，他一旦误导就可以耽误一代人。被耽误的这一代是我的前辈一代（上个世纪70年代80年代），他们在自然语言理解上的工作几乎一律为玩具系统，在实际应用上无所作为，从而直接导致了下一代人的反叛。老一代被打得稀里哗啦，逐渐退出主流舞台。

在过去30年中，统计NLP的所有成就，都是对乔姆斯基的实际批判，因为几乎所有这些模型，都是建立在ngram的有限状态模式的基础之上。

洪：
从乔姆斯基的所作所为，就能分出构造机器智能和解构人类智能难度上的差异。他五十年代略施小计就把形式语言夯成了计算机的Cornerstone，可是穷毕生精力，总是在重构其语言学理论。

毛：
如果没有乔老的那些理论，人们能做出计算机语言编译吗？）

洪：
语法mapping到语义，总是要做的，不必须用形式语言，就像现在做nlp的人也不必须懂语言学。还是 David Marr，David Rumelhart 等立意高远，总想找到人机等不同智能实现上的共通计算机制。

刘：
Marr 也是人神级别的

毛：
跟上面问题类似的是：如果没有图灵和冯诺依曼的理论，人们会造出计算机么？

洪：
Babbage的分析机可行，Ada的程序/算法也早可行。其实，问题不在于出冯诺依曼还是马诺依曼，问题在于，不管他们的理论表面上如何不同，可能都受同样的约束，能力上可都能都等价。而Chomsky 研究的是这些约束能力。

毛：
那图灵不是更加么？

洪：
Turing 从机器一侧，Chomsky从人一侧。）

李：
洪爷说的是事实，过去三十年不懂语言学做NLP的占压倒多数。但那不是健康状态。不过，语言学里面也很混杂，进来的人很容易迷糊。但是，语言学里面确实有一些指导性的东西，了解与不了解大不一样。比如索绪尔，就值得琢磨。索绪尔说的大多是原则性的，有哲学的意味，是传统的非科学性的语言学，特别具有宏观指导意义，可以提醒自己不至于陷入细节的纠缠，而忘记了方向。他谈的是共性与个性的关系，语言和言语，规则与习惯，共时与现时，都很洞察、到位。

白：
我觉得线速、柔性很关键，多层次递归和远距离相关必须搞定。方法不限，八仙过海。

李：
那些已经搞定了，伪歧义也不是问题，都搞定了。有一种叫做cascaded FSA的方法，与软件工程的做法极其类似，就能搞定这些。前提是指挥者架构者不能失去全局，要胸怀索绪尔，而不是乔姆斯基。架构和interfaces设计好，下面就是模块的开发，匠人的干活，可以做到很深，接近逻辑表达，比典型的chomsky CFG文法深透。传统规则系统受乔姆斯基CFG影响太大，很不好用，而且也无线性算法，所陷入的困境与当年神经网络以及一切单层的统计系统类似。正如多层的深度学习被认为是AI的突破一样，有限状态一多层，一 cascade，以前天大的困难，递归啊远距离啊伪歧义啊，就消解于无形。

白：
数学上的函数复合。

李：
就这么一个简单的道理，结果至今批判规则系统的人，还在打稻草人，以为规则系统都是CFG那么愚蠢和单层。

乔姆斯基对nlp的误导，还在于它的短语结构的表达法。那个phrase structure破树，叠床架屋，为了追求所谓语言共性，太多的assumptions，既不经济也不好用，却长期成为 community standards，误导了不知多少人。起码误导了 PennTree，通过它误导了整个领域。，

白：
某种意义上，nlp是应用驱动的。与应用匹配，Ngram也不算误导。与应用不匹配，HPSG也算误导。抽象的误导不误导，让语言学家掐去吧。一个topic问题，扯了这么多年。)

李：
语言学家打烂仗的事儿多了，说起来这与乔老爷也有很大关系。有个 self，相关的所谓 Binding Theory也是论文无数，大多垃圾，这与老乔的负面影响直接相关。为追求 universal grammar，和脱离语义的generalizations，走火入魔，大多是无谓的口水战争，既不能推进科学，也不能推进应用，唯一的好处是帮助了很多语言学博士的选题，培养出一茬接一茬的语言学博士。可是，毕业了还是找不到工作。老乔由于其超凡的智力和名气，帮助提升了语言学的地位，但他没有能力影响市场，结果是全世界语言学家过剩，懂得茴字五种写法的落魄腐儒，如过江之鲫，谁能给他们就业机会？

这里面的要害在，所有的语言分析，不可能为分析而分析，都是为了求解语义的某种需要，可老乔强调的语法纯粹性，要脱离语义才好研究终极的机制，这个argument有历史的革命意义，有某种学术价值，但非常容易形而上学和片面化，结果是语言学家脱离了目的，脱离了需要，在争论一种分析，或一个模型与另一种的优劣。其实这些相争的方案，只要系统内部相谐，都大同小异，根本就没什么本质区别，而且没有客观的可量度的评判标准，那还不打成一锅粥。

刘：
摆脱语义，直接进入语用？

李：
哪里，乔老爷是要直接进入共产主义，要世界大同。他对语义不感兴趣，更甭提语用。语义在他属于逻辑，不属于严格意义的语言学。句法语义是分割开来的两个范畴，句法必须自制。

白：
句法自制是错误的。

李：
对传统语言学完全不分家的那种分析，老乔有革命意义，也确实推进了结构研究，但凡事都是过犹不及。句法自制推向极端，就是本末倒置，失去方向。

我做博士的时候，在一个小组会上，举一些汉语的例子，作为证据反对一刀切的句法自制，说老乔有偏差，看到的语言事实不够，结果被我导师劈头盖脸批了一通，言下之意，不知天高地厚。我当然口服心不服。问题是，我一辈子只思考一个问题，只要醒着，头脑里除了语言，就是文法，除了词汇，就是结构，突然有一天觉得自己通达了，看穿了语言学上帝，乔姆斯基。原来，智商高，不见得离真理近，智者乔老爷，也不例外。有人说老乔外语不大行，看到的现象大多局限于英语，偏见难免。的确，懂汉语的人很难完全信服什么句法自制：句法形式的约束和语义的约束很难截然分开，否则连“我鸡吃了”和“鸡我吃了”都搞不定。

说起外语，到了我们的年代，俄语退居其后了，所以我本科的二外选的是法语，到研究生才选了俄语做三外，不过全还给老师了。虽然语言是还给老师，体悟到的语言学却长存，所以也不冤。到 30 年后的今天主持 multilingual program，带着参考书，我还一样可以指导法语和俄语的 NLP 研发，语言的不同，换汤不换药也。

洪：
老乔不是上帝，他只是让咱看到来自造物主的理性之光。

李：
形式语言理论，非人力可为，绝对属于天机，单凭这，乔就是人神。吐槽乔老爷，一次抱怨完，明儿依旧是偶像。

不管我怎么批判乔姆斯基，我还是服他到不行：他老人家的威望可以把 Universal Grammar 这种乍听很荒唐的观念，转化成一个让人仰视的语言哲学理念。UG 的真理之光由此不被遮蔽。当然最厉害的还是他的 hierarchy 形式语言理论，那几乎不可能是人的理论，那是上帝之光，尽管乔老爷在描述的时候，不免机械主义，hence 造成了极大的误导。

话说回来，没有自然语言的数学化研究和启示，他老人家也提不出形式语言理论来。至少从形式上，他能把人类语言和电脑语言统一起来，达到一种人力难以企及的高度。如果没有乔姆斯基，电脑理呆们打死也不会对词法分析，句法分析，语义求解，parsing 等感兴趣，并如数家珍地谈论这些语言学的概念。这是其一。

其二，正因为乔老爷自己也知道他的形式语言理论的抽象过头了，难以回到自然语言的地面，才有他穷其一生在自然语言的语言学方面的继续革命，革自己的命，花样翻新，试图找到一个终极的普遍文法的自然语言解构。这次他就没有那么幸运了，虽然在学界依然所向披靡，无人能敌，但却与电脑科学渐行渐远，被连接语言学和电脑应用的计算语言学领域所抛弃。也许不该说抛弃，但是自然语言领域大多把他当菩萨供起来，敬神鬼而远之，没多少人愿意跟他走。

首发科学网 【泥沙龙笔记：乔姆斯基批判】

【相关】

Chomsky’s Negative Impact

【语义计算：李白对话录系列】

《朝华午拾》总目录

 

【李白雷宋74：乔老爷的递归陷阱】

李：
咱们可以聊聊为什么叫 center 递归，很多人不做区分。自然语言中，right branching 递归很常见，也常可以超过三层。说的人，听的人，都不感觉是负担。道理就在，虽然“左括号”在不确定的位置，但他们都归于统一的右边界。这样一来就不需要栈（该死的栈！）结构的机制来对付它，有限状态就可以了。乔姆斯基没法拿这个常见的所谓递归来批判有限状态，因此他不得不举 center 递归作为杀手锏。可问题是，自然语言几乎没有什么center 递归。

雷:
The man who the woman who had lost all the keys was calling all day finally came

白:
关于印发关于学习落实关于进一步深化改革的决定的若干意见的通知…… center recursion的中文例子

李：
这些是人话吗？亏老乔是语言学祖师爷！乔老爷反复给我们洗脑：这不仅是人话，而且是人话的本质。

这就是牵强附会，登峰造极地牵强附会。

雷:
right branching 递归是线性的，而center embedding不是线性的

李：
这里面就形成了这么个trap，信服他的人，一个是源于他的权威性, 另一方面是把常见的右递归当成了支持乔老爷的证据。乔形式上没有误导，因为他是严谨的、聪明的，但实际上达到了误导的效果。这就是“递归教”的 fallacy.

雷:
这个是right branching sentence：
The dog slept on the doorstep of the house in which it lived.

李：
右递归太常见了，听上去也不牵强。典型的句式是 vp 的嵌套：
to ask sb to beg sb to order sb to …

雷:
我来理解一下你的意思：center embedding recursive sentences 不存在，或不出三层，所以是finate state的？

李：
不是不存在，是如此罕见与牵强，而且也从来不超过三层，除非你是恶作剧，因此它绝非语言本性。

雷:
不足为道，本来就是线性的。CFG的parsing在理论上是cubic，就是因为这个center embedding

白:
这么多计算手段怎么会被center recursion憋死，自动机加几个计数器就可以线性了，只要计数器不爆表。

李：
拿恶作剧和语言游戏作为语言能力的证据，是乔老爷的最大忽悠。

雷:
我觉得这是数学家和哲学家的通例：形式上的完美。而我们做NLU的，从来就不把这个当真，是不是？

李：
既然最多不过三层, 那么多层有限状态即可轻松应对，三层就是 3x，当然还是线性

雷:
语言学系的人不到计算机系串门

李：
世界上有人把简单的问题复杂化，递归便是一例。

雷:
呵呵，因为我们不是数学家出身？我同意你的说法：就只有几层，有方法可以对付，不必搬出递归来。

李：
他那些理论真地是折磨人，云山雾罩的。有时候感觉，全世界语言学家被他玩得够苦。我还算幸运，我们系比较开通，学句法的时候躲开了乔姆斯基，拿hpsg来充数。hpsg 至少比 gb 接地气，尽管它像个要争宠的小妾，每一个分析都要以乔老爷的主流作为假想对象，反复辩白，妾身清白。

雷:
加州那边不受什么影响吧，走的是另一个路子，如， cognitive grammar, Fillmore

李：
Fillmore 了不起，但过分细琐. Framenet 很好的概念但不实用，以前写【语义三巨人】专门论过。因为它处于语义和语用之间，不尴不尬。

雷:
我专门研究过framenet，觉得还是不够细，同你的琐碎不是一回事。是每个动词的用法还不够全，还有就是Verbnet。感觉是虎头蛇尾，后面都是学生做的，真正要用起来还不够全面。

李：
我看法正相反。我也仔细研究过它。以后找机会展开与你辩论。

白:
伟哥看过来，你的中递归

QJ:
咋了，堆栈溢出了？

雷:
呵呵，一山一寺酒一壶，三层。

李:
还真有这么狗血的不是人话的东西存在。服了我党苏州委员会。

另，再看里面的括号的中递归形式：《 ..<...<...《...》...>...>...》，凭什么这样用括号呢？双单单双......。如果双单都用，应该是交错而行，否则索性一双到底或者一单到底。

wiki 上给的英文中递归（center recursion）的狗血例子是：

A man that a woman loves
A man that a woman that a child knows loves
A man that a woman that a child that a bird saw knows loves
A man that a woman that a child that a bird that I heard saw knows loves

An interesting theoretical point is that sentences with multiple center embedding are grammatical, but unacceptable. Such examples are behind Noam Chomsky's comment that, “Languages are not 'designed for parsability' … we may say that languages, as such, are not usable.” (Chomsky, 1991)

from https://en.wikipedia.org/wiki/Center_embedding

乔老爷的 grammaticality 论，unacceptable 还 grammatical，如此偏执，也只有乔老爷这样的人神才敢了。还有这个 languages are not designed for parsability 的论点，直接与语言的交际通讯本质相抵触。

The linguist Fred Karlsson provided empirical evidence in 2007 that the maximal degree of multiple center-embedding of clauses is exactly 3 in written language. He provided thirteen genuine examples of this type from various Indo-European languages (Danish, English, German, Latin, Swedish). No real examples of degree 4 have been recorded. In spoken language, multiple center-embeddings even of degree 2 are so rare as to be practically non-existing (Karlsson 2007).

也就是说，这种东西统计上是不存在的。是臆想出来的语言学问题，然后把整个 parsing community 给绕进去。雷司令为此搭进去好几年时光，试图去求解它，终于发现只要有中递归就不存在线性算法。

白:
去掉中递归，计算复杂性从接近立方级一下子变成了线性。吃水不忘挖井人啊……

云:
不过计算机语言里这种递归比比皆是啊，尤其是 recursive decedent parser。

白:
人的短时记忆不允许。7加减2，常委数量，也就是三到四对括号，再多了就晕菜。这个可以佐证伟哥的统计结论。

雷:
不怕一万，就怕万一，冷不丁的来

白:
嗯，那就反刍呗。in memory不要搞

李:
还有一个狗血的语言学问题，也是乔老爷造的孽：所谓 binding theory。本来是语言中很小的一个现象，结果被无限夸大，引发了无数论文和论战。由 Binding theory 的三条原则而来的有那么点实践意义的规则，我15年前指导一个实习生，用了不到两个小时就实现并调试完成，后来一直没遇到什么有统计意义的挑战。

可见，一个简单的工程问题，可以怎样地被理论家无限复杂化，烦琐哲学害死人。伟大的理论家害死一代学人。

白:
学人仍然是学人，谁也没被害死，只是又想当学人又想搞工程的被害死而已。这是两种不同的打开方式，老乔根本就当另一种打开方式不存在。

宋:
自然语言规则必须受到人类认知能力的约束，否则就称不上自然语言了。

白:
认知能力有个体差异，也有亚文化差异。

宋:
7加减2应该就是人类共同的认知约束。

白:
内存不够就拿笔作记号呗。

李:
有意思的是，谁创造的标点符号，三层括号：

{ ... [ ...(...)...] ...}

怎么就明白大中小三层就足够了？

白:
摆明了就常委的菜下饭。
多一层也不该憋死人，难受一点而已。艺术一点，难受的程度可以小一点。

李:
已经有人做过大数据调查，多一层也不行，没有超过三层的。

白:
我还是坚持分析要更鲁棒，生成坚决不说。

宋:
自然语言一般来说应该是能听懂的话。如果线形的语音流无法使一般人听明白，非得要落到文字上，左右来回扫描，甚至要用笔做记号，就不自然了。

白:
公文不一定。公文是官场亚文化催生出来的东东。

宋:
非自然语言的确切信息的表达，表格是一例，图形也是一例，再复杂就要用数学公式，必须有足够的数学修养才能看明白。

白:
人能意识到的“回文”，可绝不止7加减2。“上海自来水来自海上”轻轻松松就打到上限。

李:
9-gram，还在 7+2 的极限内。来个 19-gram 的回文，就真服了。人脑就是块豆腐，这方面说过大天去，也无补。人成为万物之灵，绝对不是因为有个记忆能力，或以记忆机制做底的语言递归能力。

 

首发科学网 【泥沙龙笔记：再聊乔老爷的递归陷阱】 & 《泥沙龙笔记：狗血的语言学》 

 

【相关】

乔姆斯基批判

Chomsky's Negative Impact

《立委随笔：自然语言是递归的么？》

【语义三巨人】

【语义计算：李白对话录系列】

《朝华午拾》总目录

 

【李白73：汉语parsing的合成词痛点】

李:
半夜醒来，一看有好例子，白老师给的三个作业，精神头就来了。这些结果是在没有利用量词搭配的情况下的parsing，不久会加上搭配的。

最后这句笑话闹大了。
有意思的是，加了一个新词 “停落” 没做其他任何改变，就成这样了：

白:
这个很powerful

李:
量词搭配没利用，但 “颗”和“树”还是连上了，“候鸟”和“停落”的主谓也连上了。定语从句也对了，但逻辑关系却错了：“大树”不应该是“经常停落”的逻辑宾语。

finally:
那个图是程序自动生成的，还是用手现画的啊？

白:
显然自动的

李:
开玩笑，这是NLP群，要是手画那还了得。
Wait, 再一想 其实也不错: 候鸟停落大树。 “停落”的确是及物的，“大树”是表示地点的逻辑宾语。那就全对了？白老师。 这就是我说的 parser 开发，越到后来越多让创造者惊喜的地方。用句白老师的话说，“我窃喜”。

白:
O的标签是句法的，映射到语义，有若干种逻辑角色，取决于动词的实例。比如“贴”、“盖”、“钉”，都有条件携带一个表示处所的坑，叫啥随便。

李:
那是，O 具体要映射到哪一个更细更合理的逻辑语义，决定于什么动词。只要 O 对了，这个映射在后一步极为简单。就是一个简单的映射词表或词驱动规则：停落：O（物体） --》地点。事实上，抽取（IE）的完成就是类似上面的映射。所以我说，parsing 靠谱了，IE 就是个玩儿。

白:
所以基本满分了

李:
暴露了一个问题：OOV（生词问题）：“停落”不在词典的时候，表现不好。汉语构词法太灵活。本来某个合成词的规则应该把 停+落 合成的，可是这是一个痛点，火候不好掌握。

这一讲可以叫汉语parsing的“合成词痛点”。

这方面我们在系统也做了一些工作，但很不全，而且动力不足: OOV 是长尾，silent majority，花了功夫，可测试集里面见效不会大。如果统计把汉字词素的语义距离都弄出来了（这对统计不难），然后凡是落单的bigram汉字都合成为一个双音节合成词（汉语文法界有很多讨论现代汉语双音化构词趋势的文章）。这个法子可以对付一多半“合成词痛点”，估计。

白:
你看看“证券资金交收处理办法”能有几个收进合成词。

李:
还是OOV问题：“交收”不认识

白: 这个不懂业务是很难做对的。“交收”是一个业务术语，既包括交券也包括交钱，就是说“证券资金”是联合结构。类似这种，在我们的业务文件中不知道有多少，交给句法做没道理，不交给句法，句法在这里的接口又是什么？

李：
加了合成词“交收”以后的parse如下：

记得中学时代入迷冰心的文字。她最善于“生造”合成词。虽然生造，汉字被她用得行云流水一般。不克服合成词痛点，是没法 parse 冰心的。就是语义距离计算为主，“交”与“收”应该在距离阈值之内。

白: 生造的接续感觉，用机器学习似乎可行。规则看样子搞不定。

我:
oov合成词痛点 更多表现在领域化过程中 普通词汇以及普通合成词油水不大。生词习得(lexicon acquisition) 是领域化基石和重要一环。

首发科学网 《新智元笔记：汉语parsing的合成词痛点》

【相关】

【语义计算：李白对话录系列】

《朝华午拾》总目录

《甜甜花絮：我觉得爱因斯坦比牛顿伟大》

【立委按】

一语成谶，10年前就为牛顿爱因斯坦这哥俩抓狂，如今索性全收养了。先是收了哲学家样子的牛顿，还是怕他寂寞，不久又收养了斯坦。哥俩倒算是能和平相处，但个性禀赋迥异。牛顿比较粘人 你把手伸过去 他就拿脸来蹭 明明自己有床 偏要睡在你床上 。斯坦则更加独立 他不回避人的亲热 但也可以长时间自己跟自己玩儿 。斯坦沉默是金。但不说则已 一说天惊 喵声尖利刺耳。好在人家每日在高维空间思维 难得回到牛顿世界来喵。总之 牛顿更接地气 斯坦则有些莫测高深。最近斯坦开始了一个疑似诡异的行为 常常把袋装食品叼走 藏到自己的床后。甜甜为此很生气 说窃书不为偷不适用于米国 偷了就是偷了。我说 拿去人家也打不开 物质不灭 最终既物归原主 end result counts 自然不能算偷。算什么咱不知道 反正不是偷。

《甜甜花絮：我觉得爱因斯坦比牛顿伟大》

《甜甜花絮：我觉得爱因斯坦比牛顿伟大》 (4131 bytes)
Posted by: 立委
Date: January 07, 2007 11:21AM

 

立委按：甜甜在老友客栈向叔叔阿姨请教了一个问题：爱因斯坦比牛顿谁更伟大？饱学五车的长辈对这个问题给了详细的解析，甜甜看得一头雾水。说了半天，到底谁伟大呀？我告诉甜甜，你应该谢谢叔叔们的解答，并写一下你的体会。孩子也有意思，面对没有简单结论的论述，她来个删繁就简，总结如下： 

甜甜：我觉得爱因斯坦比牛顿伟大 
因为爱因斯坦发明一个很难的theory。牛顿发明的theory不难也不是全对。Besides,爱因斯坦更好玩。 

谢谢Uncle Wu and Uncle Happy. 

甜甜：I want to ask you people of Old Buddies (17132) 
Posted by: liwei999 
Date: August 05, 2006 02:06AM 

one of you people tell me who is better EINSTEIN OR NEWTON, this question has been haunting my every waking moment for ages!!!!! It's driving me nuts!!!!!!!! 

甜甜, that's a great question! (17137) 
Posted by: 吴礼 
Date: August 05, 2006 05:20AM 

Both Newton and Einstein are great scientists. Note that I said scientists, not physicists. This is because their work impacts not only physics, which is where they do their researches, but the whole science. From a layman’s point of view, Einstein is cooler, because his relativity theories really stretches our power of imagination, and challenges a lot of common wisdom that we take for granted. But remember he is several hundred years later than Newton. I would imagine that in Newton’s years, it would also be fascinating to think that the same force that makes an apple fall would hold our solar system together, and in fact keep our whole universe turning like clockwork! 

Philosophically, Newton is considered as the father of modern science. He showed people that the whole universe is predictable from a simple set of equations, and all we need from the God is the first push. After that, we don’t need any external management to keep everything working. This predictability and the belief that nature’s rules can be understood are pillars of modern science. In fact, people took it to the extreme and try to model human body as a machine, a much elaborated one. 

Einstein also changed our view of the world. He showed that time and space are not separated. Instead, they are like two sides of a cube. If you turn the cube, time and space mix and change with each other. This is very hard to understand, but it solves some major difficulties that people had with physics at that time. Einstein’s success also shows that great theories like Newton’s laws are not absolutely correct. They are only approximations under certain conditions. This encouraged people to keep searching for new laws of the nature. 

Newton once said that he could make great discoveries because he was standing on the shoulders of giants. This meant that he was building on the work of people before him. This is true for all the scientists, including Einstein, as well. So, although Einstein’s theory is far more advanced than Newton’s, and far closer to the truth, he was building on top of many other great works, including Newton’s. Now you can see that it is hard to say who is greater. But if I have to pick, I’d say Newton. If God took away Einstein, science will suffer a lot. But people would more or less still think the same way. If God took away Newton, we would probably live in a very different world. 

It’s a long answer, and it is probably not easy to understand by a young girl. But I know you are a very smart girl and probably this is helpful. If you are really interested about Newton and Einstein, I recommend the book “A Brief History of Time” by Stephen Hawking. You can skip the parts about physics that you don’t understand. But the way he talks about Newton and Einstein is very interesting, and I think you can understand it. 

Have a great weekend! 

In the history of science, Newton happened to be more (17155) 
Posted by: habpi 
Date: August 05, 2006 10:19AM 

important. As a human being, Einstein was more interesting. After all, one is a citizen before a scientist. Professional achievements are a result of many social and historical factors on top of personal efforts. But one can always have his/her way to make the world a better place. That is how, I think, one is truly measured.

http://blog.sciencenet.cn/blog-362400-349954.html

 

11月25号在深圳12月8号在北京，我分别有个NLP的特邀报告

本月底（11月25号）在深圳给个中文NLP的学术主题演讲

 

 

报告题目：中文自动句法解析的迷思和痛点报告人：   李维（京东硅谷研究院）

报告摘要：深度中文信息处理的核心是自动句法语义解析（deep parsing）。长期以来，由于中文文法缺乏显性形式手段，没有形态，功能小词常常省略，中文深度自动解析显得举步维艰，很容易陷入中文分词和短语抱团的浅层漩涡难以自拔。迄今为止的中文NLP应用大多局限于浅层分析或者端对端的系统，并没有做到语言的深度结构分析和语义理解，而后者才是自然语言万变不离其中的奥秘所在，也是中文NLP快速领域化的一条根本出路。本次演讲从通向中文深度解析之路的迷思入手，梳理中文自动处理的痛点并提出和展示可行的对策。主题涉及：中文分词（含切词、合词）与解析的关系，词类识别（POS）与句法角色的关系，离合词（如“洗澡”）带来的词典与句法的接口问题，针对结构伪歧义的细线条词典化道路，以及针对错误放大的休眠唤醒机制（负负得正）。

个人介绍：李维博士，现任京东硅谷研究院主任研究员，领导Y事业部硅谷NLP团队，研发自然语言深度解析平台及其NLP应用，目前聚焦于中英文大数据情报和舆情挖掘，以及智慧供应链应用。李维NLP工作的应用方向包括大数据舆情挖掘、客户情报、信息抽取、知识图谱、问答系统、智能助理、语义搜索、机器翻译等等。 加入京东前，李维在硅谷社交舆情公司Netbase任首席科学家，Cymfony任研发副总。Cymforny期间荣获第一届问答系统第一名（TREC-8 QA Track），并赢得17个美国国防部的信息抽取创新研究项目（PI for 17 SBIRs）。Netbase期间，设计并指挥团队研发了精准高效的20种自然语言的理解和应用系统（英、汉、日、法、德、俄、西班牙、葡萄牙、意大利、土耳其、阿拉伯、菲律宾、韩、越等），产品服务财富500强。特别是汉语和英语，具有世界一流的分析精度，并且做到鲁棒、线速，scale up to 社会媒体全网大数据。李维是Simon Fraser University计算语言学博士，中国社会科学院研究生院机器翻译硕士，在国际学术刊物和大会上发表论文约30篇。2015年，李维被评为SFU 杰出校友（建校历史上50名之一)。

from

http://conference.cipsc.org.cn/annual2017/

下月初（12月8号）在北京的架构师峰会上也要给个talk

专题演讲嘉宾：李维（博士）

京东硅谷研究院 主任研究员

李维博士，现任京东硅谷研究院主任研究员，领导Y事业部硅谷NLP团队，研发自然语言深度分析平台及其NLP应用，目前聚焦于大数据情报和舆情挖掘，以及智慧供应链应用。NLP深度分析平台具有广阔的应用前景，方向还包括客户情报、信息抽取、知识图谱、问答系统、智能搜索、智能客服、自动文摘等。

加入京东前，李维在硅谷社交舆情公司Netbase任首席科学家，Cymfony任研发副总。Cymforny期间荣获第一届问答系统第一名（TREC-8 QA Track），并赢得17个美国国防部的信息抽取创新研究项目（PI for 17 SBIRs）。Netbase期间，指挥团队研发了精准高效的20种自然语言的理解和应用系统（英、汉、日、法、德、俄、西班牙、葡萄牙、意大利、土耳其、阿拉伯、菲律宾、韩、越等），产品服务财富500强。特别是汉语和英语，具有世界一流的分析精度，并且做到鲁棒、线速，scale up to 大数据，系统质量有第三方评测认定大幅度领先竞争对手（”best of class” by Forrester，Pivot Labs Analytics）。他领导研发或参与的各类NLP应用产品获多项工业界奖项，早期包括INFORMATICS’92 (新加坡) 银奖，近十年包括企业社煤平台行业领先者（A LEADER IN THE FORRESTER WAVE），消费者商品技术（CGT）首选奖等共计17 项工业奖项，多次被主流媒体报道，包括《华尔街日报》《纽约时报》《华盛顿邮报》《财富》MSN，CBS，NBC等等。

李维是Simon Fraser University计算语言学博士，中国社会科学院研究生院机器翻译硕士，发表论文二十余篇，美国专利三项，并多次受特邀就NLP自动分析和大数据挖掘做主题演讲，近年的演讲活动包括哈佛大学医学院，台湾中研院，中国科学院和中文信息学会。2015年，李维被评为SFU 杰出校友（建校历史上50名最杰出校友之一)。

演讲：自动深度语法分析是自然语言应用的核武器

文本自然语言处理（NLP）是人工智能的重要方向，是继图像和语音处理技术（感知技术）突破之后的一个令人期待的关涉认知技术的核心环节。

大数据文本给自然语言处理提供了广阔的场地。本次演讲通过深入介绍自然语言自动分析的历史和现状，勾画出自然语言技术的应用前景。重点在展示和论证深度自然语言自动分析对于自然语言技术应用的革命性作用，这些应用包括智能搜索，情感分析，数据挖掘，问答系统和智能助理等。迄今为止的自然语言应用大多局限于浅层分析或者端对端的系统，并没有做到语言的结构分析和语义理解，而后者才是自然语言表达信息的奥秘所在。自然语言深度分析的技术正在成熟，已经到了显示威力的前夕。

演讲过程中将结合知识图谱和大数据舆情挖掘，来展示深度语法分析（deep parsing）的原理和威力。

演讲提纲：

  1. 人工智能的历史和现状简介：从感知到认知
  2. 自然语言技术的历史和现状：端对端的突破，大数据和深度学习的革命，知识瓶颈的困境，深度分析的对策
  3. 深度分析是什么？非结构的结构化
  4. 什么样的深度法分析是自然语言技术应用的核武器
  5. 应用举例：知识图谱
  6. 应用举例：舆情挖掘
  7. 应用举例：智能搜索和问答系统
  8. 结语

听众受益：

  • 对于人工智能与自然语言的从业人员，以及对自然语言技术感兴趣的人士（学者、学生、投资人、企业家、IT人士）开阔眼界，了解动态以及促进技术的产品化有益。

from http://bj2017.archsummit.com/presentation/123

专访李维：NLP助力电商智能化的台前幕后 - InfoQ

随着深度学习在图像识别、语音识别及其他感知智能领域大放异彩，人们对深度学习在自然语言处理（NLP） 的价值也寄予了厚望。再加上 AlphaGo 的成功，人工智能的自然语言研究和应用变得炙手可热。NLP 作为人工智能领域的认知智能，成为目前大家关注的焦点。

李维博士是 Simon Fraser University 计算语言学博士，中国社会科学院研究生院机器翻译硕士，现任京东硅谷研究院主任研究员，领导 Y 事业部硅谷 NLP 团队，研发自然语言深度解析（deep parsing）平台及其 NLP 应用，目前聚焦于大数据情报和舆情挖掘，以及电商智慧供应链的应用。加入京东前，李维在硅谷社交舆情公司 Netbase 任首席科学家，Cymfony 任研发副总。在 NLP数据挖掘领域有丰富的经验。

我们很荣幸能邀请李维博士到 12 月 8-9 日在北京国际会议中心举办的 ArchSummit 全球架构师峰会上就NLP做主题演讲。在此之前，我们对李维博士进行专访，一起聊聊他在 NLP 上的研究和应用成果。

NLP入门

自然语言很复杂，自然语言处理（NLP）没有捷径。所谓NLP 技能速成训练，除非指的是浅尝辄止，或所面对的是浅层的粗线条任务，否则基本上是自欺欺人。我有一个五万小时成精的定律，是这样说的：

“NLP 这玩意儿要做好（精准达到接近人的分析能力，鲁棒达到可以对付社会媒体这样的 monster，高效达到线性实现，real time 应用），确实不是一蹴而就能成的。这里有个 N 万小时定律。大体是：

  • NLP 入门需要一万小时（大约五年工龄）；
  • 找到感觉需要两万小时；
  • 栽几个有意义的跟头需要三万小时；
  • 得心应手需要四万小时；
  • 等你做到五万小时（入行 25 年）还没被淘汰的话，就可以成精了。”

摘自我的博客《聊聊 NLP 工业研发的掌故》：http://t.cn/RW5nxq4

对于急功近利的人，这仿佛天方夜谭，但我想说的是，这是一条非常漫长的道路，然而并非深不见底。作为“励志”故事，《梦想成真》描述了我的真实经历和心路历程。我曾自嘲说：“不知道多少次电脑输入 NLP，出来的都是‘你老婆’。难怪 NLP 跟了我一辈子，or 我跟了 NLP 一辈子。不离不弃。” 其他关于我自己与 NLP 的故事，我有个专门系列，可以在【立委 NLP 频道】查看《关于我与 NLP》。那里还有 NLP 历史上的一些有趣掌故，有兴趣的同学也可以浏览。

《立委 NLP 频道》

《梦想成真》：http://t.cn/RW5n5bl
《立委 NLP 频道》：https://liweinlp.com/
《关于我与 NLP》：http://t.cn/R5E62tn
《关于 NLP 掌故》：http://t.cn/R5E6USF

NLP 要做深做透，要接近或达到类似人的深度解析和理解是一个艰难但并非不可能的历程，但我并不否定速成培训的功效和可能。毕竟并不是每一位想做点 NLP 的 AI 后学或同好，都有那个时间条件和需要去成为 NLP 的资深专家，很多时候就是要解决一个具体的浅层任务，譬如粗线条的分类（classification）和聚类（clustering）。

这时候，通过开源资源和标准测试集自我培训的方法至少可以训练一个人使用开源工具的能力，如果赶上面对的任务相对简单，而且不乏大量带标数据（labeled data），也可能会很快做出可用的结果。典型的例子有对于影评做舆情分类，这种限定在狭窄领域的任务，利用开源工具也可以做得很好。

事实上，18 年前我的两位实习生，现在也都是业界非常有成就的人物了，他们的暑期实习项目就做到了非常漂亮的影评舆情分类结果，当时用的就是基本的贝叶斯机器学习算法。对于后学，除了拿开源练手外，也不妨浏览一下我开设的 《NLP 网上大学》，或可开阔一点眼界，看到一些潮流以外的 NLP 风景。

《NLP 网上大学》：http://t.cn/R4ys9Jp

NLP 架构

这次大会是全球架构师峰会，咱们可以多从 NLP 架构角度说说。

对于自然语言处理及其应用，系统架构是核心问题，我在《立委科普：NLP 联络图》里面给了四个 NLP 系统的体系结构的框架图，从核心引擎直到应用。

《立委科普：NLP 联络图 》：http://t.cn/zjPxKKp

最底层最核心的是 deep parsing，就是对自然语言的自底而上层层推进的自动解析器，这个工作最繁难，但是它是 NLP 系统的基础赋能技术。解析的关键是把 非结构的语言结构化。面对千变万化的语言表达，只有结构化了，句型（patterns）才容易抓住，信息才好抽取，语义才好求解。这个道理早在乔姆斯基 1957 年语言学革命提出表层结构到深层结构转换的时候，就开始成为（计算）语言学的共识了。

接下来的一层是抽取层（extraction），这一层已经从原先的开放领域的 parser 进入面向领域应用和产品需求的任务了。值得强调的是，抽取层是面向领域语义聚焦的，而前面的解析层则是领域独立的。因此，一个好的架构是把解析做得很深入很逻辑，以便减轻抽取的负担, 为领域转移创造条件。

有两大类抽取，一类是传统的信息抽取（IE），抽取的是事实或客观情报：实体、实体之间的关系、事件等，可以回答 who did what when and where （谁在何时何地做了什么）之类的问题。这个客观情报的抽取就是如今火得不能再火的知识图谱（knowledge graph）的技术基础，IE 完了以后再加上下一层挖掘里面的整合（业内叫 IF: Information Fusion），就可以构建知识图谱了。

另一类抽取是关于主观情报，舆情挖掘就是基于这一种抽取。细线条的舆情抽取不仅仅是褒贬分类，竖大拇指还是中指，还要挖掘舆情背后的理由来为决策提供依据。这是 NLP 中最难的任务之一，比客观情报的抽取要难得多。抽取出来的信息通常是存到某种数据库去。这就为下面的挖掘层提供了碎片情报。

很多人混淆了抽取（information extraction） 和下一层的挖掘（text mining），但实际上这是两个层面的任务。抽取面对的是一颗颗语言的树，从一个个句子里面去找所要的情报。而挖掘面对的是一个 corpus，或数据源的整体，是从语言大数据的森林里面挖掘提炼有统计价值的情报。

挖掘最早针对的是交易记录这样的结构数据，容易挖掘出那些隐含的关联（如，买尿片的人常常也买啤酒，原来是新为人父的人的惯常行为，这类情报挖掘出来可以帮助优化商品摆放和销售）。如今，自然语言也结构化为抽取的碎片情报在数据库了，当然也就可以做隐含关联的挖掘来提升情报的价值，这也是我们京东 NLP 在电商领域着力要做的任务之一。

第四张架构图是 NLP 应用（Apps）层。在这一层，解析、抽取、挖掘出来的种种情报可以支持不同 NLP 产品和服务。从问答系统到知识图谱（包括对于电商领域具有核心价值的产品图谱和用户画像及其之间的关联），从自动民调到客户情报，从智能助理到自动文摘等，这些都是 NLP 可以发力的地方。

摘自《立委科普：自然语言系统架构简说》：http://t.cn/RW53AH0

NLP 团队

具体到目前的工作，我领导的京东硅谷 NLP 团队还是有很多与众不同的特色。

我们的主核是把语言结构化然后支持应用，而不是主流 NLP 的绕过显性结构解析来做的端到端深度学习。为此我们结合了人工智能领域的两大流派，以创新的多层符号逻辑（包括利用本体知识和常识的 ontology）和语言学模块作为精准分析的基础，以统计学习作为 backoff，使得两种方法互补，取长补短。

这样设计的好处不仅照顾了 NLP 的精准（precision）和召回（recall）两方面的需求，而且使得系统调控变得比较透明，容易 debug。相较端对端系统，结构化的最大优势是不依赖海量的带标数据，因为深度解析的 NLP 应用是在知识和结构理解的基础上进行的知识工程项目，而不是从表层的标注好的冗余案例中学出来的模型。

这对于京东的一些场景有特别的意义。京东不乏业务场景和 各种NLP 应用的领域需求，这些场景和领域往往没有现成的带标数据，为这些多方面的场景组织人力进行深度学习所需要的海量标注，常常不是一件现实的事情。我们的目的就是打造具有核武器威力的 NLP 深度解析平台，克服这个带标数据的知识瓶颈，为 NLP 多方面的电商场景的应用落地开辟道路，尤其是京东智慧供应链对市场需求客户情报的洞察挖掘以及产品舆情的意图挖掘，构建对于电商智能化至关重要的商品图谱（product knowledge graph）和用户画像（user profile）的知识引擎。

这条道路初期比较艰辛，需要深厚的计算语言学的功力和大数据驱动的研发，但 NLP 深度核心引擎打造出来以后就是另一番天地，这是一个赋能的核心技术（enabling technology）。你想想，千变万化的语言表达一旦有规模的结构化以后，那会是一种什么情形：各种 NLP 任务在结构的显微镜下变得有迹可循，模式清晰并逻辑化，无论是情报挖掘还是其他应用都可以做到以不变应万变，以有限的句型把握无穷的语言现象。这就是我说的 “深度解析是 NLP 应用的核武器” 的本意。我在演讲中会通过多方面的 NLP 应用场景来展示和论证这一主题。

深度解析

所谓深度解析（deep parsing），就是把非结构的文本语句（unstructured text）自动解析成为深层的结构化数据（学界也称为 logical form），就是在自然语言与数据库之间建立自然语言理解（natural language understanding）的桥梁。

主流的文本情报挖掘（text mining）是绕过结构和理解的，依靠的是端对端的自动抽取挖掘的机器学习和深度神经。在具有海量带标大数据的情况下，由于数据的丰富和冗余，端对端的有监督学习系统也可以达成很好的挖掘效果。然而，一旦领域挖掘任务变了，必须重新标注和重新学习，这里面临一个巨大的知识瓶颈，就是说，领域带标数据往往严重不足，为每一个领域的每一个挖掘任务组织人力标注一个大数据训练集来克服稀疏数据的困难往往是不现实的。这是当前 AI 和 NLP 主流面临的一个巨大挑战。

我们的对策就是融合深度解析（deep parsing）和深度学习（deep learning），结合人工智能的理性主义和经验主义方法论，各取所长，利用深度解析来保证数据挖掘的精准度（precision），利用深度学习来提高数据挖掘召回率（recall）。

以社会媒体舆情挖掘为例，面对以短消息作为压倒多数的开放领域（open domain）社媒大数据，缺乏结构分析的主流舆情分类方法面临一个精准度瓶颈（业界公认 65% 是难以逾越的天花板），而利用深度解析的结构化舆情挖掘，我们可以达到 85% 以上的精准度，整整 20 个百分点的差距，这样的精度才真正能为舆情挖掘基础上的决策和智能化应用提供可靠的保障。

在智慧供应链的选品环节，从全网数据挖掘出可靠的用户需求及其对于产品的舆情反馈（点赞抱怨及其背后的理由）是非常重要的决策情报。这是我们目前的深度分析平台落地的主要目标之一。

NLP 作用

语言的奥秘在于，语句的呈现是线性的，我们人类说话或写文章，都是一个词接着一个词表达出一个一个的语句；但语言学的研究揭示，语句背后是有语法结构的。我们之所以能够理解语句的意思，是因为我们的大脑语言处理中枢能够把线性语句下意识解构（decode）成二维的结构：语法学家常常用上下颠倒的树形图来表达解构的结果，这个过程就是深度解析（deep parsing）。

深度解析被公认为是自然语言处理和理解的核心任务，但长期以来大多是科学家实验室的玩具系统（toy systems），其速度（speed）、精准度（precision）、覆盖面（recall）和鲁棒性（robustness）都不足以在真实语料的大数据场景应用。而这一切已经不再是梦想，高精准度和高召回率（作为指标，精准召回的综合指标 F-score 要达到 90% 以上，接近语言学专家的分析水平）、符合线速要求的鲁棒的深度自动解析已经得到验证和实现，这是大数据时代的 NLP 技术福音。

再强调一遍，语言为什么要结构化？盖因语言是无限的，但结构是有限的，只有结构化，有限的模式才能捕捉变化多端的语言。话句话说，结构化是语言理解应用之本，现代的 deep parser 就是结构化的核武器。

总体而言，我们面对的是不断变化的 NLP 任务，变化中的不同业务场景和情报需求。靠谱的深度解析结果反映在语法语义的结构图上，它离领域的信息抽取和情报挖掘只有一步之遥，离情感分析或舆情挖掘可以说是两步之遥（深度舆情的确需要一些苦功夫，舆情语言的复杂多变和模糊不确定，使得舆情挖掘比起传统的以事实作为抽取对象的情报挖掘要困难）。

结构化信息抽取的作用是巨大的，有多少产品的想法，就可以定义多少种不同的抽取任务。但万变不离其宗，只要抽取面对的是自然语言，它就必然总体上服从这个语言的文法，因此深度解析成为核心引擎的系统就顺风顺水。知识瓶颈因此被很大程度地克服了，不再需要那么多的带标数据。有了 parser，只要一些示意性的带标数据就够了，开发者可以根据示意举一反三。大多数信息抽取的开发任务，在有靠谱 parser 的支持下，可以在 2-4 周内开发完成，满足应用的基本需要，后面就是维护和根据反馈的 bugs 报告，做增量修补而已。

所以说 deep parser 打开了通向应用的大门和无限可能性。对于京东的智慧供应链和电商平台的业务场景，我们的愿景是让深度解析落地开花在多个 NLP 方向上，包括提升自动客服的语言理解水平，构建商品的知识图谱和用户画像，这当然也包括客户需求和商品舆情的挖掘和应用。

中文与 NLP

比起英语和其他欧洲语言，中文的语法具有相当程度的灵活性，成为自动分析的难题。与业界同仁的交流中，我们把中文叫做“裸奔”的语言，就是说中文的表达缺乏显性的形式标志，因为中文没有形态（词尾），常常省略功能词（譬如介词），而且词序其实也相当灵活。

这些语言学的特点，加上不同地区的人的不同语言习惯，再加上社会媒体中反映出来的大量别字以及语言不规范，使得很多人对中文自动分析有很深的怀疑。这是好事儿，正因为它看上去如此复杂多变，才更需要对语言学的深刻认识和对语言工程的架构和方法有独特的创新。中文自动处理和理解提高了技术竞争的门槛。

这对我们而言，就意味着要突破乔姆斯基理论为基础的传统流行的上下文自由文法（CFG）的单层 chart-parsing，代之以自底而上的多层管式语言处理系统，从而穿越乔姆斯基层级体系（Chomsky hierarchy）的围墙，在机制上有所创新（formalism innovation）。这一切需要深厚的计算语言学的素养和积累，才有希望。这方面的理论和实践，可参见白硕老师的《白硕 – 穿越乔家大院寻找“毛毛虫”》以及我的《乔姆斯基批判》和《语言创造简史》。

《白硕 – 穿越乔家大院寻找“毛毛虫”》：http://t.cn/RW5BfvW
《乔姆斯基批判》：http://t.cn/R2HCmtg
《语言创造简史》：http://t.cn/RAVTyiu

举例就举老友转来挑战我的所谓“2016 年最佳语文组词能力”，他给我发微信说：“钱是没有问题”，就这六个字的组词成句，可以变成不同意思的句子！哈哈，伟大的语文能力！parsing 请：

钱是没有问题；问题是没有钱；有钱是没问题；没有钱是问题；问题是钱没有；钱没有是问题；钱有没有问题；是有钱没问题；是没钱有问题；是钱没有问题；有问题是没钱；没问题是有钱；没钱是有问题。

老友说的是中文词的不同的组合产生不同的意义，给人感觉是如此微妙，机器如何识别？其实仔细研究可以发现，这样的语言事实（现象）并非想象的那样玄妙不可捉摸。先看一下机器全自动分析出的样子吧！

这里面的 know-how 的细节就不赘述了，总之结果虽然仍有少数不尽如意尚有改进空间的结构分析，但几乎每个 parse 都可以站得住，说得出道理。作为设计者，我自己都有点吓倒了。（摘自《一日一 parsing：”钱是没有问题”》，更多参见【立委科普：自动分析《伟大的中文》】，关于中文自动分析的很多有意思的案例和深入的讨论，也可参看白硕老师与我就中文NLP的华山论剑似的《李白对话录系列》）。

《一日一 parsing：”钱是没有问题”》：http://t.cn/RW5rADs
立委科普：自动分析《伟大的中文》：http://t.cn/RW5rJhE
《李白对话录》：http://t.cn/RW5rNLM

NLP 场景与未来

有问是技术驱动业务，还是业务来驱动技术？我们坚持业务驱动，毕竟 NLP 是一个应用学科，再深的分析研究最终还是要落实到业务场景，解决业务痛点才能显示其价值。

在这个基础上，我们尝试从业务场景的点开始，逐渐借助深度解析的 NLP 平台技术，扩展到多项业务场景，发挥结构化技术的跨领域核武器的作用，帮助克服领域数据的不足，以期快速领域化。

我这个小组的成员在业界有多年的 NLP 和机器学习专业经验，但成立迄今才刚半年，一切还是刚刚开始。随着深度解析平台的建立和打磨，在京东电商的各个场景只要找准 NLP 的切入点和大数据的场景，就会有实际的效益，对这一点我们充满信心。

大数据时代的信息过载，使得人类个体消化和利用信息的能力受到严重限制，只有借助电脑的自动分析和挖掘，情报才能从噪音的海洋中被有效挖掘和利用。

那么 10 年后 NLP 会怎样呢？

回顾 NLP 的历史，语言技术真正落地开花结果还局限于少数几个方向，如机器翻译、语音系统和文本分类。今后的 10 年才真正是 NLP 的黄金时代，全面开花结果可以期待，尤其在情报挖掘、知识图谱、人机交互和智能搜索方面。NLP 是人工智能从感知全面进入认知的桥梁。

我这么说不是廉价迎合多少已经带有泡沫的 AI 现状，而是作为第一线 AI 从业人员的真实的有感而发。为什么这么说？我的根据主要有四点：

  • 深度解析技术业已成熟，接近或达到人的水平；
  • 深度解析与深度学习的融合和合力可以取长补短；
  • 大数据可以弥补 NLP 技术的不够完善之处。
  • 信息过载的大数据时代，不缺乏NLP的用武之地。

我的观点是，NLP 面对大数据时代，想不乐观都不成。深度解析是 NLP 应用的核武器。

from
专访李维：NLP助力电商智能化的台前幕后 - InfoQ