月度归档： 2017 年 6 月

【生涯花絮：1989年的老照片】


1989 年荷兰 董老师、立委访问 BSO  机器翻译组，组长 Witkam 请客并合影

董振东老师翻出来一张老照片，让我想起往事。说话快30年了。1989，我不过是刚入行两年的初生牛犊， 而董老师已经完成了中国第一个实用MT【译星】产品的研发，风华正茂。

“出道之初的上世纪80年代，我为一家荷兰的多语机器翻译BSO项目，参照英文依存文法，设计过一个【中文依存文法】（Li, W. 1989. “A Dependency Syntax of Contemporary Chinese”, BSO/DLT Research Report, the Netherlands），概括了几乎所有的重要句型，纸上谈兵地画过无数的中文依存关系句法树。那应该是中文依存关系形式化研究的真正开拓期，如此说来 yours truly 也可以算是中文处理研究的化石级元老了。现在回看当年的图画，对照最近在机器上实现的依存句法分析器（dependency parser），一脉相承，感慨万千。年轻时就有绿色的梦，那么喜欢树，欣赏树，着迷画树，好像在画天堂美景一样体验着绿之美，梦想某一天亲手栽培这颗语言学之树，为信息技术创造奇迹。如今终于看到了实现的曙光，天时地利人和，研发的辛苦与享受已然合一，这是何等美妙的体验。”  摘自《中文之心，如在吾庐》

“1989年夏天，我和导师刘倬去德国慕尼黑应参加第二次国际机器翻译最高级会议。此前，我跟荷兰BSO（Buro voor Systeemontwikkeling BV）公司的机器翻译研究组一直有联络，应约为他们的以世界语作为媒介语的多语机器翻译系统 DLT，编写了一部现代汉语依从关系的形式句法。他们听说我们要来欧洲，就邀请我和我的导师，还有中国机器翻译界知名人物董老师，会后顺道访问他们的实验室一周，做学术交流，共同讨论汉语句法里的一些疑难问题。这次活动，他们称作 Chinese Week.

“我们是应慕尼黑机器翻译峰会的召集人，西门子公司的S先生特邀，提交论文，介绍我们的JFY英汉系统。这是我第一次出国，一切陌生而新鲜。大会在大酒店的拱圆形讲演大厅举行，气派豪华。我的导师是俄语出身，所以派我上台宣讲论文。初生牛犊不怯场，我报告完后，回答了两个问题下场，正赶上中场休息时间。大概东方面孔的报告人很少，慕尼黑电台的记者现场采访了我，询问我的观感，还好没有涉及64的问题（当时64刚过，风声很紧，我们办到一半的出国手续，又重新审查一遍，险些泡汤）。

“游览阿姆斯特丹后，我们按计划去Utrecht的BSO公司访问一周。DLT 项目研究组十几个人，一半是语言学家，一半是工程师，看得出来，这是个气氛融洽的团队。德国世界语者 Klaus Schubert 博士是系统枢纽“依存关系句法”（dependency grammar）的设计人，在项目第二阶段继 Witkam 成为项目组长。71届大会后招进来的美国世界语者 Dan Maxwell 博士，负责东方语言的句法项目的承包、质询和验收，是我的直接领导（十年河东，十年河西，后来我成为他的 boss，这是后话，见《朝华午拾：水牛风云》）。Dan一看就是老实人，照顾我们客人殷勤有加。我看到他早上骑自行车来上班，笑着跟他说：“我在北京上班跟你一样”。

“研究组的骨干还有国际世界语协会的财务总监，知名英国籍世界语者 Victor Sadler 博士，我在71届国际世界语大会上跟他认识。作为高级研究员，他刚刚完成一项研究，利用 parsed （自动语法分析）过的双语对照的语料库(BKB, or Bilingual Knowledge Base)的统计信息，匹配大小各异的翻译单位（translation unit）进行自动翻译，这一项原创性研究比后来流行的同类研究早了5－10年。显然，大家都看好这一新的进展，作为重点向我们推介。整个访问的中心主题，仍然是解答他们关于汉语句法方面一些疑难问题。他们当时正在接洽欧洲和日本的可能的投资人，预备下一步大规模的商业开发，汉语作为不同语系的重要语言，其可行性研究对于寻找投资意义重大。

“期间，Victor以世界语朋友身份，请我到他家吃晚饭。他住在离公司不远的一栋公寓里，太太来开门，先跟丈夫轻吻，然后招呼我进来。太太也是世界语者，忘了哪国人了，总之是个典型的世界语之家，家庭用语是世界语。Victor告诉我，太太实际上会一些英语，但是用英语对她不公平啊。太太很和善，跟我说，他们俩非常平等，她做饭，Victor洗碗。我说，这跟我家的分工一样，我最爱洗碗这种简单劳动。她笑着说，“Victor, vi havas helpanton hodiau (你今天有帮手了)”。饭后Victor洗碗，并没有让我插手，我站在旁边陪他聊天，一边看他倒进大把的洗涤液，满是泡沫把餐具拿出来，用干布擦干。我告诉他们，这跟我的做法不同，我们总是怀疑化学制品有毒或副作用，最后必须用清水涮净才好。太太不解地问：“洗涤液如果有毒，厂家怎么能生产呢？” 这倒把我问住了。Victor夫妇和蔼可亲，我感觉在老朋友家一样，饭后一边吃甜点和水果，一边闲聊，尽兴而归。”  摘自 《朝华午拾：欧洲之行》

30多年前，我在社科院硕士报考专业上填写了“机器翻译”四个大字，内心充满了敬畏和神秘感。刚入行的时候做的是外汉机器翻译，一直不大敢碰汉外，原因是汉语语法不好形式化，感觉太难了。
把酒话桑麻，再泡一壶茶，白头老机译，闲坐说研发，说一点儿机器翻译的掌故吧。曾几何时，机器翻译处于手工业研发时期，每个语言对（language pair）要手工开发两套系统，A 到 B 一套，B 到 A 一套，语言对一多就有一个类似系统数组合爆炸的问题。于是，怎样实现多套语言之间的相互翻译成为机器翻译领域的经典话题之一。各种探索和方案都有提出，主要有两类：一类是所谓基于媒介语的设计思想；另一类是合一文法（unification grammar，又叫 constraint－based grammar）支持的方案。第一种方案很动听，因为如果有一种比较中性可以表达意义的媒介语，那么每个语言只要编制两套针对媒介语的互译系统，就可以实现通过媒介语而成的任意语言对的翻译。这幅图画是如此美妙，为老一辈机器翻译宣传家门所津津乐道。由此而来又引发了媒介语设计和选择的种种争论和探索，有主张全新设计一套基于逻辑的形式语言（日本曾经联合亚洲其他国家实施过这个方案），有主张利用或者改造世界语（Esperanto，立委出道当年也曾著文鼓吹过世界语作为媒介语，荷兰一家公司BSO也曾尝试过），还有研究者坚持认为只有采用自然语言（譬如英语，或者简化版英语）做媒介语才现实可行。第二类合一文法的研究在理论上也很诱人，它的兴起伴随着新型计算机语言 Prolog 问世：合一运算是 Prolog 语言的内置特性。所谓合一文法，就是排除蕴含在传统计算文法（computational grammar）里面的语言分析和生成的过程性，在合一文法的旗下出现过一系列以后缀G（gammar）命名的形式化系统方案（formalisms），如 GPSG，HPSG（立委的博士课题就是在HPSG这个框架下做的机器翻译实验）等。因为语言规则不再具有单向性，那么分析文法和生成文法就可以是同一套语法，由这套文法支持的系统是做分析还是做生成，是在文法资源被调用的时候才得以确定。理论上，A 语言翻译为 B 语言，与 B 语言翻译为 A 语言，在语言资源上归一以后，开发系统的工程就节省了一半，对于多语互译的效率虽然不如媒介语方案高，省工一半也还是非常诱人的。长话短说，这两类方案都是传统的基于规则的系统，虽然都做过相当程度的研究探索，但最终由于局限于手工规则系统难以 scale up 而没成大气候，最终修成正果的还是后起的统计型机器翻译（statistical MT）。多语翻译的问题因此转化为海量双语对照语库的资源问题。同一个架构和算法，原则上只需要同一个双语对照语库对互译的两个方向训练两次即可生成两套机译系统，近几年也有对于缺乏对照翻译数据的语言对，通过语料更丰富的语言作为媒介语绕个弯的做法。
 
机器翻译（MT）是自然语言处理（NLP）领域历史最悠久的应用方向，从上个世纪50年代初发轫，承载了中外几代不知道多少人的青春和梦想，也包括青年时代的立委。如今，梦想化为现实，嵌入式机器翻译在互联网无孔不入，已经成为普罗大众手中招之即来挥之即去的便捷工具，每时每刻在默默服务着千百万互联网用户。女儿学汉语用它，学西班牙语用它，去日本动漫网页也用它，用到对它熟视无睹，把机器翻译视为理所当然。只在翻译错得离谱的时候才意识到它的存在，不时报以嘲讽：真笨。可机器翻译呢，谦谦君子，玉树临风，虚怀若谷，任劳任怨。对于已经天然成为女儿这代人生活一部分的机器翻译，我满腹机器翻译的历史和掌故，却不知如何给她诉说。耳濡目染，她从我断续的话语中似乎隐隐觉得机器翻译对于她父亲的一生具有特别的意义，可是我还是无法象对同辈人那样娓娓道来，如数家珍，传达出我内心深处的机器翻译所蕴含的那份厚重和神圣。不仅仅是一般意义上的代沟，是技术的跨越式发展造成了两代人迥然不同的视角，让人欣慰更感慨。摘自 《机器翻译万岁》

“学自然语言的人如果入行做的就是规则机器翻译，那是上天的赐福。新一辈这种人没有了，所以很多入行多年的人，看到的语言世界，还是一线天。如果你在没有平台支持下被逼着去做规则机器翻译，你有福了。你必须从头开始做词典、做 tokenization，做 POS，做短语，做 SVO 句法，你还要做双语结构转换、WSD 词义消歧，最后还有目标语的生成，包括形态生成、调序，修辞上的一些 final touches。总之，从语言分析到语言生成，方方面面你必须全部做到。如果没有平台 没有专用语言 像我们做硕士论文那样用 general purpose language （COBOL，ALGOL，BASIC，甚至汇编）做，那就是在太上老君八卦炉里炼，没得不炼成火眼金睛。现在的 CL 硕士博士呢，动不动就下载一个软件包，瞅准一个子任务 譬如切词，譬如 sentiment，譬如WSD，哪怕是做 MT， 也不用涉及那么多的层次和模块。

“索性把怀旧进行到底 《朝华午拾：一夜成为万元户》： 这是我为这个DLT项目所做的 Chinese Dependency Grammar 的故事。这篇汉语形式文法的原始版本有链接可以下载：Li, W. 1989. “A Dependency Syntax of Contemporary Chinese”, BSO/DLT Research Report, the Netherlands.  我的工作应该是中国做依存关系最早最完整的作品了。所谓 【美梦成真】 就是这么个来历，跨越近 30 年，纸上谈兵的 syntax 终于化为现实的 deep parser。刚才一边吃晚饭，一边琢磨这段MT外传，觉得还是有几点可以总结的，笔记如下。
（1） 荷兰这个多语 MT 计划本来是规则系统起家，用世界语作为媒介语，用的是依存关系文法的框架，实现的机制是 ATN （Augmented Transition Network），技术领头是德国语言学家舒伯特。
（2） 可是做着做着，剑桥出身的 Victor 博士想出了统计的路线，定义了一个在句法分析基础上、根据统计和记忆决定的可大可小的 Translation Unit （有点像我们用的“句素”的概念），做了实验验证了这条路线的创新，把整个项目在收尾阶段翻了个个儿。而这时候（1989年），其他的MT研究虽然也有 IBM 等开始的统计 MT，但没有一个达到这样的深度。
（3）事实上，直到今天，回顾这个科研创新可以看出，根据 parsed 以后的双语数据库的平行对比，从统计去找 Translation Units，比起后来多数缺乏结构、本质上是 ngram 记忆的 SMT，还是远高出一筹。（当然现如今的深度学习对MT的革命性推进，虽然仍然没有利用显式的语言结构，但真正海量数据的深度学习似乎有效弥补了结构的不足，不像此前的 SMT 那样捉襟见肘。）
（4）在 SMT 中加入 parsing 并不是每个人都有这个条件，DLT 赶巧是先做 parser 做了四五年，有了这个基础。现在和今后的方向从宏观上来看是，SMT和NMT 可以重温类似 BKB 双语parsed平行语料库的尝试，走带入结构的道路。深度神经是一种训练的算法，与语言的结构深度没有必然联系。事实上 迄今为止 对于 text NLP 的深度神经的尝试，除了专门做中间件 parsing 的 research 如 SyntaxtNet 外，对于 NLP 应用方面的任务，基本上还是在语言浅层端对端进行。”  摘自 《河东河西》

 

【相关】

【立委科普：机器翻译】
【立委随笔：机器翻译万岁】

【谷歌NMT，见证奇迹的时刻】

《朝华午拾：欧洲之行》
《朝华午拾：一夜成为万元户》
【美梦成真】

Li, W. 1989. “A Dependency Syntax of Contemporary Chinese”, BSO/DLT Research Report, the Netherlands.

DLT项目背景介绍

【置顶：立委NLP博文一览】

《朝华午拾》总目录

 

【李白雷梅59：自动句法分析中的伪歧义泥潭】

李：
“难得他认可啊。” 歧义句。有点类似于 、但也不同于“难过” 的歧义：

（1）他认可，难得啊（已然）；（2）得他认可，难啊（未然）。

前者可以骄傲，是正面信息；后者是负面的畏难情绪，不自信，或的确客观上难以达到。

parse 的是 （1），如果想要（2），还是循“难过”的先例，去在语用层做休眠唤醒吧:  “难过”（“小河很难过”）见 【立委科普：歧义parsing的休眠唤醒机制再探】

董:
我以前讲过，在实际语言交流中，人与人之间几乎没有歧义。如果真像nlp一步一个歧义，那还得了。类似范冰冰奶奶、咬死猎人的狗之类的句子是语言学家消遣自己的。上帝是为人准备的语言，不是为机器的。

白:
nlp大多数歧义是伪歧义。问题是，这些伪歧义，对人来说，是在哪个环节被干掉的。只要分析器在按照语言学家的思路做，语言学家消遣自己的把戏，就总有一天会消遣到机器的头上来。

雪:
common sense环节？人自身对于整个世界的建模

李：
CFG based parser，哪怕是 lexicalist 的语法 如HPSH，也有很多伪歧义 parses，可是多层的 parsers 就很少受到这个困扰。这个事实显而易见。可见 common sense 不该是 key，因为 多层系统里面 common sense 即便利用，也是零星带入的 不是主力。

我做博士的时候，导师的实验室里面有一个英语的 HPSG parser，parses 输出如此之多，如此地不能辨别真假，以至于最后在使用这个parser做MT实验的时候，我们不得不只选取第一个 parse，等价于随机选择。

层层递进的多层 parsing 虽然会偶然出现漏掉有效parses 的路径（过早删除），但比起其他 parser 的伪歧义成堆，还是境况好得多。此外，漏掉的有效 parses 在开发过程中，可以被重新补足，或被唤醒。

所以，白老师说 NLP大多数歧义是伪歧义，基本是针对单层搜索的 parsing 算法而言，而不是多层 cascaded parser 的真正缺陷。

梅:
可以说是“common sense”吧。人不是机器。

李：
一般来说，语言学的细线条知识 不划归 common sense 范畴。当然，细线条到一定程度，常识也就溜进来了，没有绝对界限。人类交流没有感觉到歧义，有几个原因：

（1）歧义休眠了，正常的场景不被唤醒，因此无感；
（2）有些歧义不影响大面的理解和主旨的交流，说的人也许本来自己就含混，听得人也没有理由去追究细节。保持某种语义模糊是人类交流相当常见的状态，但是一旦形式化，歧义就站在那里了，除非是做系统的人特地去把歧义中性化或模糊化。一个典型的 PP-attachment 的歧义是 for-PP，以前说过，在很多场合，这个 for-PP 做定语还是做状语，根本没啥大差别。

梅:
人要是想多了，说不定也有“歧义“，但人的“short term memory”是有limit的

李：
（3） 当然还有一部分所谓歧义是系统 “人造”的，本来无歧义，系统自扰之。譬如，在 HPSG 的数据结构 feature structure 的设计中，经常会出现这种歧义。由于过分强调 feature structure 的层次性、逻辑性和合一性，以至于当这个 structure 投入使用的时候，带来了大量的对于人没有区别意义，但对于结构具有区别的所谓歧义。这是与具体的系统formalism 的设计有关，是 system internal 的，与其他 formalism 无关，与人的理解无关，是模型化形式化过程中的产物。unification 是双刃剑，推向极端，系统就失之太过精巧，没有容错性。

刚才例行散步时仔细想了想了这个伪歧义的问题。为什么这么多 parsers，包括传统的 CFG-based 规则系统和统计训练出来的 parsers，陷入伪歧义的泥潭？

白:
没用盘外招呗

李：
得了 得了。我一肚子话还没说呢。白老师，I 服了 U！

白:
羊头+盘外招=狗肉

李：
白老师讽刺我是卖狗肉的

梅:
Spoken 和 written 应该有很多不同吧？@wei

李：
很多不同是对那些从 PennTree 训练出来的系统。对我们的系统，没有什么不同。spoken  的语言不太规范，transcribe 成 text 我一样 parse，质量会有降低，但那是与 spoken text 的随意性成比例的，绝对不会是直线下降。反过来，我以 degraded text 做我的数据制导，出来的系统一样对付正规文体。parse 新闻不会比专门从新闻训练出来的系统差。这是语言学家做系统的好处之一吧，我们是人，不是机器，不会被数据牵着鼻子亦步亦趋。

白:
光分层，不可能把伪歧义去的那么好。这里面太多只可意会 不可言传。有剪必有捡

李：
关于伪歧义，这么说吧：伪歧义太多是枝枝蔓蔓没有及时修剪的必然结果。理论上讲，修枝剪叶是危险的，实践中却不尽然。自然语言中的现象中有很多是相互依赖的，但也有很多现象是相互独立的。如果你设计的系统是以相互依赖作为基本的 assumption，祝贺你，你就跳进泥潭吧。跳吧，跳吧，不要往两边看。

如果你相信语言现象的 dependency 是有限的，可以调控的，即便剪错了也不是世界末日，你就可以在数据制导的开发环境里，逐渐把系统调适得恰到好处：该休眠的休眠，该保留的保留，该杀头的立即枪毙。你就不会为伪歧义所困扰。

白:
一个硬币的两面。靠剪对付标配，靠捡对付长尾。两手都要硬

李：
是的，可是怎么硬呢？硬必须要有语言学的sense，必须知道根据不同情况做不同的对待。缺乏语言学的人 把各种路径放在一个锅里炒，无论你有多大的数据，你也还是陷入泥潭。

雷:
@wei 不是秋后问斩，是斩立决

李：
白老师字字珠玑： 靠剪对付标配，靠捡对付长尾。

雷:
@wei 其实，即使没有歧义，语言理解也是如若有歧义，理解有多个

白:
把人际沟通中的各种暗示、言外之意都算进来，歧义不得了，但是核心的精神，剪与捡，是不变的。

雷:
每个人接受的模式决定了理解的样式

白：
比如站在严格逻辑的角度，从“该来的没来”，本不该推出“来的都是不该来的”；从“不该走的走了”，也不应推出“没走的是该走的”。但是人就是要听话听声。

李：
@雷，一码一码吧。语义落地到人或产品，那是 parsing 的后过程。

雷:
句法是语言学家的

李：
@白老师 盘外招 只可意会不可言传的 tricks 这些在学习系统中怎么去 model 呢？我怀疑学习算法不敌领域专家（对于 parsing 就是语言学家），根据的就是这个。我作为专家如果在迷宫里千辛万苦绕出来了，学习怎么恰好也能绕出来？

白:
@wei 同样的话，围棋高手们也问过。

李：
说的也是，围棋手也这么问过。不过，白老师其实只说了半句话。

白:
另半句，取决于学习模型长什么样。

李：
这个模型的定义至少不该排除领域专家的参与 无论以什么方式 除非设计者是个全才。

白:
标配是必然的，也不排除有个居高临下的模型，俯瞰N个领域，语言只是其中之一，但是人家从其他领域登顶了。就像控制论，把人、动物、机器里的反馈控制一网打尽了。生理学家、动物学家都买账的。尽管创始人是从机器出发登顶的

首发：【科学网：自动句法分析中的伪歧义泥潭】

 

 

【相关】

【语义计算：李白对话录系列】

《李白之零：NLP 骨灰级砖家一席谈，关于伪歧义》

【立委科普：语言学算法是 deep NLP 绕不过去的坎儿】

《对于 tractable tasks, 机器学习很难胜过专家》

《NLP 系统的分层挑战》 

《泥沙龙笔记：连续、离散，模块化和接口》 

《泥沙龙笔记：parsing 的休眠反悔机制》

【立委科普：歧义parsing的休眠唤醒机制初探】 

【泥沙龙笔记：NLP hard 的歧义突破】

【立委科普：结构歧义的休眠唤醒演义】

《跨层次结构歧义的识别表达痛点》

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

【李白之58：爬楼NLU】

爬楼NLU（Natural Language Understanding）: 二楼句法结构三楼语义落地

李:
问各位一个 lexical feature 的转移问题及其解决途径，譬如 “所吃”。在小词 “所” 与 vt 结合成合成词以后，该词的语义等价于vt 标配宾语的语义。换句话说 “吃” 的动作性 语义本体标注　[consume] ，应该被置换成名词性标注 [food]。这个 feature 更新如何实现比较合适？到 HowNet 里面去挖出来？ 如果 feature 不更新，那些细线条的指望语义 features 查询条件的规则就会失效。“所” 是一例，“的字结构” 是类似的例子。无论小词负载结构 还是小词参与合成词模式 都躲不过这个 feature 大转移的语义坎儿。当然可以为每一种主要关系（譬如 动宾）从 HowNet 抽取出一个语义词表，等到需要更新的时候，就让系统根据关系的规定来查表解决。不知道有人在 parsing 中做了这个工作没有？ 估计很少，多数系统还没有细线条到这个地步。

白:
所，是N/S。的，是N+/X。所吃，是 N/S 与S/*N*，结合以后变成N/**，这是句法层面。subcat层面，它继承S的逻辑宾语坑的subcat。的，就没这么精准了。X里面谁空着就提取谁的subcat。“这本书我送的是他。”间接宾语也能提取。*N*是分母的一般形式，吃还是S/2N，所吃，是N/N，被谁所吃不知道。我所吃，N与N/N正好得出N。

李:
这里的继承有文章。“所吃” 继承的subcat 有：（1）“吃”的本体标配宾语,（2）subcat 剩余坑，也就是主语坑 /N == [animate]。这两项继承 一个是本体自己的 type 一个是坑的 type，都不是简单的事儿。因为承载本体的语词“吃” 由于小词“所”的作用 ，已经与本体概念 来了个乾坤大转移。

白：
[animate]，[food]; 继承后者，即food。“这碗饭的所吃”不可以，

李:
N/**，这个句法符号里面有很多本体名堂。当然，这些本体关系信息都是现成的 ，Hownet 里面就有类似的知识表达：吃： s=[animate] o=[food]。

白:
“考”有点特殊。我们不知道“考”句法上应该是几个标配坑，但“所考”的subcat可以是人、学校、科目、某种证书。也就是说，不排除标配坑与subcat的对应有多元化的可能性。简单说逻辑宾语是不足以刻画这里面的复杂性的。不过，“所考”不可以继承分数【score】， 似乎所有事前不能有所控制的，都不能用“所”。“所梦”VS“所梦想”

李:
甲： 吃了吗
乙： 吃了
甲： 所食何物？
乙： 所食非物。
甲： 莫非秀色？
乙： 非也。 所食不过食堂耳。
甲：我的所吃更惨 非食堂 非馆子 更非秀色。所吃乃瘪、苦头、抑或 一鼻子灰。

白:
嗯，句法层能说“吃食堂”，“所吃”就可以是“食堂”。就是说，“吃”的逻辑宾语，是一堆而不是一个subcat。

李:
我要说的是 本体标配受事，还有一个上位概念，这个上位概念倚靠的是句法，表达的是逻辑谓宾的语义相谐。它不是本体那样纯粹 那样独立于具体语言，但又离不开本体的大框架。我一直把这种上位逻辑语义叫做逻辑宾语、逻辑主语，有意借用句法术语，加上前缀“逻辑”。所以逻辑宾语 可以是 【受事】、【对象】。【地点】等，以及其他种种说不清的搭配，逻辑主语 可以是 【施事】、【工具】、【地点】等。

白:
语义相谐不局限于受事，而是“可宾”的subcat。所砍，不能是工具。所去，可以是处所。所卖，可以是买主。所送，可以是对手方。

李:
这个 logical S 和 logical O 其实是很关键的概念。

白:
但是标逻辑主宾语给谁看给谁用？
语义落地，还是本体的坑好用，除非像“所X”这种含混的。

李:
主要是为了概括句型：svoc，就三个args。arg0 逻辑主语，arg1 逻辑宾语，arg2 逻辑补足语，更加杂乱一些，包括谓词结构嵌套也在内。但不管这三个 args 的内部逻辑语义细节多丰富，这三个坑从语言句型结构上定下了框架，万变不离其宗。

白:
好像不需要这一层，大面上也都可以语义落地。从“跟谁有关系”到“是什么关系”。
当“是什么关系”有多选时，就对应subcat集合，当然可以有个概率分布之类。按老乔的理论，你这是移位前的“logical form”，本质上还是句法。

李:
对 是句法。句法才是纯粹的语言学，到了语义就开始变味了。

白:
但是这标签贴了又不是最终落地用的，感觉不爽。要贴标签的话，还是只贴一次为好。句法不贴又何妨。

李:
在我这儿 语义落地靠的就是 svoc 句型，有了svoc 的框架，落地的句型 就一目了然了。 具体工作不过是给句型做细节条件的微调，然后就落地为具体场景的角色了。譬如 o 落地为 【发布的产品】，s 落地为 【发布产品的公司】：Apple launched iPhone 7 yesterday

白:
在我这儿，“可宾”包括的subcat范围，一是可以学出来的，二是仅仅跟少量词语的语义落地有关，没有大动干戈的必要。大多数落地（role assignment）的场景都不需要这个中介。

李:
把 s 标签 map 到 【发布产品的公司】这类工作，简直就是玩儿。 是典型的以不变应万变。不管产品和客户需求有多少变化 本质上 语义落地玩的就是换名的游戏。比起 parsing 这一层工作的繁难，信息抽取层面的这些工作太简明了。 虽然需要落地的谓词 都是少量的，但所有的谓词都逃不过句法的逻辑句型。 因此针对所有谓词建立句型模式 就形成了一种以不变应万变的结构准备，接下去爱怎么落地 都是一览众山小了 跑不过如来佛的手掌 。所以 这一层本身虽然不是客户的需求 而只是内部的桥梁，但我还是很推崇它作为语义落地骨架或桥梁的地位。

白:
如来佛手掌可以有多种造型

李:
那是。跳过它落地 完全可以想象。也许是偏好 总之玩一个主人三个仆从的游戏觉得很好把握，组合一下 也是非常有限的边界。不会做着做着 觉得进入迷宫 或搞不清漏掉多少。说着说着 觉得自己一方面批判乔老爷（参见【乔姆斯基批判- 李维】）， 一方面可能中了他老人家句法中心论、句法自足论的流毒太深 而不自知。

白:
从“有关系”到“是受事”，中间再经历一个环节好，还是直达好？我的选择是“直达”。至于“受事”是“发布的产品”，这只是一个alias。没有什么技术含量的

李:
对呀。正因为没有含量 所以就更像是游戏。真正有技术含量都在前期的 deep parsing 里面了，那才是自然语言理解的核武器。换句话说 svoc deep parsing 已经把句法做到通用领域的极致了，以至于落地到领域几乎就是一个换名的游戏，换一个领域容易接受、客户听起来舒适的情报标签。

白:
回到前面“吃食堂”，“食堂”可直接匹配“处所”，我说它是O不是O，有何意义？

李:
关键的 argument 还是：落地是千变万化的领域 和 各种不同客户的需求，但 svoc 永存 永远不变。只要领域用的是语言数据 这就是恒定的，就如二元关系的永恒一样。

白:
这里焦点不是有没有，是可不可以不用，不用是否一定差。语言学有很强的构造性，你构造他就有。角色本地名称是第一性的，通用名称是第二性的。对机器来说本地名称可以是不要名称，只有编号：第一个语义坑、第二个语义坑……，给个本地别名，就是公司、产品，给个通用名，就是施事受事。

李:
关于直达还是通过语义中间表达的桥梁，我也问过类似的问题。我诘问的对象是费尔默理论。在信息抽取的落地框架前， 有没有必要先经过一下他老人家的 FrameNet 的框架？我的答案是否定的：多此一举 没有必要。这就基本否定了 FrameNet 的实用意义。没有必要的理由是 FrameNet 理论上缩短了语义落地的距离，实践中增加了落地的麻烦。一个 svoc 的简单通用句型 分化到成百上千的 frames 去 还没有最终到达目标地。

白:
svoc也没有达到目的地，“有填坑关系”不是更干脆么，中间的过程，无论借助subcat锁定还是借助语序，都是自动化的。

李:
svoc 可控、intuitive，而且语言学家如数家珍。其实，说了半天，从落地对策的大类上，我和白老师是一伙的。标不标 svo 只是细节的差异，虽然从我的架构看，这个差异还是蛮重要的。

白：
语言学家如果是我培养出来的，用我这一套也可以如数家珍。

李:
但如果落地从领域落地泛化到通用的应用，譬如搜索，搜索没有预先定义的事件。svo 的搜索比较容易训练给大众，这与多数人的基本语感相吻合 who did what.  这类重要应用增加了 svo 的独立价值。你要搜索产品发布事件？好 那你就搜索：“发布” 其宾语是 【产品】。至于这个宾语在语言中有多少变体的句式 那都不是大众需要关心的，deep parsing 早就 normalize 了。

白:
这只是一个动词被“实例化”的wizard

李:
如果不标svo, 搜索的时候可以这么说，搜索 “发布” 其二元关系词是 【产品】，也可以达到类似的结构搜索的效果，返回精准的产品发布事件的清单来。比纯关键词词搜索精细高明多了。可是如果客户想 搜索所有受雇的人 ，在 svo 系统中 就搜索：“雇佣” 检索出其【宾语】出来。在不标 so 的二元关系系统中，雇主和雇员就混在一起了。

白:
1、你无法排除取消发布、拒绝发布、打算发布、能够发布……这些用模态词沾染过的发布；2、发布的如果不是产品而是新闻怎么办。svoc自身无法区分哪些是产品哪些是新闻。

李:
这些都不是问题。或者说不是因为增加 svoc 而新出的问题。svoc 反而为在何处解决那个问题提供了蓝图和便利。这都是另外层面的问题，譬如节点的条件、数据的来源、李ta data 等。与评价 svo 本身的利弊没有关系。

白:
我的问题是，如果这些区分导致svoc这一层反正信息不足，反正还需要借助另一层的信息，那么直达那一层有何不妥

李:
但信息不足是有不同层面的。任何图谱（graph），是 arcs 信息不足，还是 nodes 信息不足？还是超越句内结构的discourse不足，还是 meta data 不足？不能混谈，虽然这些不同层面的信息有相互弥补的作用：戏（arcs）不够可以词（nodes）来凑。

白：
标签不足。

李:
arcs 不标标签 是一个极端。arcs 标了 soc 是多了一些句法结构的关键信息，soc 再细化为董老师的90多种逻辑语义，就又更多了信息。nodes 呢， 啥也不标 是一个极端， 标了 pos 有了一些信息分类，再标 subcats，进而做NE实体标注（包括产品），直到引进 常识本体乃至领域本体（ontologies）， 信息就越来越丰富。自然也越来越难维护和掌控。

白:
反正要上三楼，就是二楼的高矮问题。

李:
对。

白:
如果为了上一个高的二楼，导致付出的代价接近上三楼，二楼就取消算了。三楼的细活儿做得越好，二楼矮点儿就越没关系。

李:
为搭建二楼 svoc 所需要的信息及其技术手段，基本全部可以继承下来为三楼服务。所以 为什么说 parsing 不仅仅是所看到的树结构，也不要指望一个 offshelf parser 就很容易语义落地为产品了。parser 要成为语义落地直通车， 需要借用 parsing 本身所带来的资源积累。结构图只是这些资源的一个最容易彰显的部分 但绝不是全部。

白:
自带插销插座，到三楼装配起来就easy多了。

李:
完全同意 同感。但 “二楼就取消算了”，不愿苟同。问题是三楼是 moving 的，业务场景变化 客户需求变化 产品角度变化 ......  都使得三楼细活显得琐碎而不容易概括。

白:
不会
那都是贴牌问题，瓤不是moving的。

李:
二楼是清晰定义的目标。在我看来，二楼的 svoc 正是不变之瓤。

白:
我的二楼是让有关系的都勾搭上。是什么关系你们到三楼谈。但是自带了三楼才会用到的插销插座的，不妨提前锁定。到了三楼，就只剩贴牌了。但是也有需要必须在三楼才能锁定的，二楼无须代劳和强制。

李:
理论上 必须在三楼做的 只是领域知识。这些知识在二楼是避开的。

白:
另外贴牌是很外在的东东，没必要单独一层，只相当于在三楼化个妆。只需要示例就可以让领域的人干，都不用跟语言学家打照面。

李:
然，贴牌很多时候不过是 config，可以让用户或产品经理根据喜好而定，随时更换。

白:
跨领域的实体数据库，这个环节可以众包。领域知识说起来是无底洞，但是做法不同收效相差很远。根本分歧是，知识的使用是“推演”的套路还是“联想”的套路。“推演”的套路精准但笨重，只能借助人工而无法借助大数据。“联想”的套路模糊而轻盈，不过多依赖人工而寻求借助大数据讨巧。只要模糊给出的效果是应用可容忍的，“联想”的套路就会胜出。所以，哈工大做的“事理图谱”如果沿着联想的路往前走，我很看好。有理由相信，语言处理需要的知识，不是“精准”而是“轻盈”。对话场合大不了还可以追问。文本场合虽然不能受理追问，但受众有相对充分的时间调动“精准”的手段。二楼的高和矮，如果涉及到二楼的业绩，确实另当别论。如果二楼三楼的发明人都是公司的大老板，或许另样格局。这两碗水怎么端都是平的。

 

 

【相关】

【语义计算：李白对话录系列】

【乔姆斯基批判- 李维】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

【李白毛55：漫谈 NLP】

立委按：谈笑有鸿儒，泥沙龙写照也。毛白立三剑客，隔洋神交，日颠夜倒，天马行空，人生快事也。语言理解，人工智慧，软体硬件，万言不离其宗也。铿锵三人行，行迹可存，笔记于此，以飨同仁也。

白: 转：《夏洛特烦恼》我以为主角叫夏洛特 。原来男一号叫夏洛 ；接下来会不会有《郭敬明天见》《周立波很大》《吴奇隆胸记》《王宝强奸案》《郭富城会玩》《井柏然并卵》《黄秋生无可恋》《贾乃亮了》《奥巴马上来》《周润发财了》《权志龙虾壳》《金正恩仇录》。

李: 边界之争。夏洛特是词典一方 特+烦恼 是句法一方 作为一般原则 句法认输。所有的边界之争 你总可以找到一种语境 来支持任何一方，但是实际系统中 还是按原则办事 除非某特定语境出现频率大 而且可以形式化被捕捉为原则的例外。“郭敬明” 是词典，“明天”或“明天见”也是词典，词典与词典相争。 谁赢呢？要分不同情形。情形对应的是 heuristics。对于此情形，“明天见” 赢。因为有这么一条 heuristic：最少词数胜出。郭敬/明天见, 算两词。郭敬明/天/见 是三词。更深的理由是 音节数量的匀称的 heuristic：3 1 1 不如 2 3 匀称。

白: 无后坐力炮，经常被读成2 3节奏，按构词法，应该是1 3 1。可否不那么早定输赢，都打到上一层。

立：可，keep ambiguity untouched 的办法 也是一招，不过加大了后去 parsing 的搜索空间 也可能不妙。

白: 上层用Ngram也无所谓。看一个滑动窗口激活一个还是两个词袋。

李: 这就是拼积木，难的积木留在最后拼。拼积木ngram比cfg容易，没有爆炸的问题。

白: 正是。

李: 汉语的节奏对称还是很厉害的，举反例总会有，但是实际中发现，音节数的条件，比起其他的条件（词类、子类、语义分类）往往也很好用、可靠。另外一个相关的体会是排比句式，汉语（包括古汉语）排比句式的使用往往可以把本来占有统计劣势的 parse 变得有效起来。不过，至今没想到利用排比句式帮助消歧的好的实现办法。感觉排比的发现和使用是处于另一层，而且排比的 scope 不好事先确定。

毛: 对于汉语NLP， 二位觉得有什么好书可以推荐？不用很深，科普就行。

李: 我很多年不看书了，还是白老师推荐吧。最好的是白老师正在写的，这个无疑问，但你需要等。汉语 NLP 论文献，80% 谈的是切词，全领域走火入魔了，陷入细枝末节和烦琐哲学，很大程度上非常可惜的一种智力浪费。

毛: 等倒没关系，反正暂时也没时间看。其实我不太会有机会用到这方面的知识了，我这是“朝闻道夕死可也”。尼克，Unix的那些Utility，每个都是基于一个while主循环，这就是lambda的语义。Java8让你有一种简洁的方法来表达这种语义，然后它替你生成这样的循环。

白: 自然语言的语义，也有lambda的份儿。

毛: 是，所以我觉得数据流在 NLP 方面可以发挥一些作用。

白: 表函数、表关系、表部件的词（中点、姐夫、抽屉）都是。需要一个带坑的语义结构去定义。坑，就是约束变元。

李: semantic subcat?  Syntactic subcat specifies the form of roles in a frame，correspondingly, semantic subcat specifies the preferred semantic classes for the expected roles of a frame. 语义 subcat 都是必填的，虽然句法上还是可省略。

白: 坑有必填的和可选的两种

立：如果加上可选的，那就超出了subcat，而进入 cat 了。因为可选的角色一般针对大类，而必填的才针对子类。

白: 这点商榷一下，时间地点等，往往不是必填的。

李: exactly，时间地点等边缘角色针对的是大类。所有的动作、行为都适用。它们都在时间与空间中存在。而一元谓词，还是二元谓词、三元谓词，甚至零元谓词，这些都是子类的区别。天气动词语义上是零元的，虽然句法上可以加一个：It is raining 、老天下雨了。世界语最接近逻辑，语义的零元，句法也是零元，就不用加这种无意义的主语：Pluvas。

毛: 我觉得最有前景的可能是并行多路的parsing。就如你们刚才说的“无后座力炮”，如果系统能立马分出两个数据流分支，按不同规则加以解析，然后由高一层的规则判断何者为优，那效率就高了。这在NLP方面不是什么新概念，问题在于能否搭出这么灵活而高效的系统。

毛: 但是NLP所处理的原料不太可能是世界语的文本呀。

李: 只是说明语义和句法之间既对应，又不完全对应的情形。比较不同语言，这些不对应的部分反映了不同语言的应对策略，这是很有意思的对比。

白: 标签化的表达比函数式的表达，应对非必选的东东就灵活多了。

李: 英语用 it，谁知道这 it 是什么东西？汉语比较具体，用的是老天。

白: 相反吧，汉语不说。

李: 汉语也可以不说，“下雨了”。如果不说，那就与世界语一样逻辑了，躶体出境。

白: 不说不是省略，是比省略高明的模糊。

李:  这里不是省略，因为逻辑语义上没有这一元的地位。

白: 语义上就有0元谓词，但是句法上没有地位，于是搞了个貌似省略的充数。

立：”老天“ 直译过去就很可笑：The sky is raining, Mother Nature is raining, or， God is raining？

白: 比it还富有想象力.

高: 像黑格尔说的,Was ist Das.

毛: 可以用函数式的方式来处理标签，把二者结合起来。我相信在NLP这一边已经有了许多很好的概念和方法，问题在于怎样搭出好的系统来高效加以实现。所以数据流应该有用武之地。

李: 语言很有意思，可以从三层来看这种“坑”。Filmore 把这个叫做【格语法】，他写过 “Case for case”，许国璋教授翻的，叫《格辩》，得其神韵，很妙。《格辩》是与乔姆斯基唱对台戏，是反乔派中最有分量的历史文献了，高举的是语义大旗。对NLP有深远的影响。所以，“坑”（case）可以分三层来看。第一级是 morphology case，这是“格”的本来用法，主格、宾格、工具格等等的词尾形式所表达的。第二级是 syntactic case，刻画的是 subcat 对语言形式的条件要求，包括具体语言中每个 Role 的词序、介词等的要求。第三级是 semantic case，刻画的是输出框，这是各语言共同的，又叫深层格，是 Filmore 提出的概念，与乔姆斯基的逻辑形式（logical form）对应。要几个元（格）是由谓词的概念子类决定的，它反映的是自然的关系（可以包括常识）。可是每个语言在实现这些深层格的时候，会利用不同的句法或词法的形式，于是穿上了句法或词法的外衣。

毛: 好吧，你们先掐。

白: 毛老，函数式和标签式表达，只有一墙之隔。标签其实就是最高抽象类的里面的“准”全局变量，谁都可以继承来塞点私货。不塞也无妨。

毛: 所以，我认为应该重启五代机的研究。有人说现在神经元网络是六代机了，我认为不对，因为说到底总还是“人工智能机”。

李: AI机只是六代机的一个引擎？

毛: 至少是现在，通过图灵测试是计算机的上限，所以不应该有高于AI机的计算机了。

白: 把RNN、多层FSA、多层词袋这些东东做成硬件就是了。

毛: 神经元系统只是一种计算模型，它也要通过编程在计算机上实现。神经元网络的运转说到底还是程序的执行。

白: FPGA实现就很好，能做成NLP协处理器就更棒了，NPU。

毛: 对是对的，但是如果变化太多，硬件实现就太不经济了。另一方面，如果有很多这样的部件，那么如何灵活高效地加以调度，根据具体情况动态搭出合适的系统，这本身就是个问题，这就又要涉及数据流了。我们平时在碰到困难时说要 “换一个思路”， 实际上就是要换一种数据流。

白: 希望NLP能早日成熟到毛老可以对接上的水平。

毛: 我觉得很可能是反过来的， 搞系统的人何时能搭出适合于NLP的系统，NLP Oriented Systems。 问题是搞系统的人一般都不懂NLP。

白: 是NLP这边说不清楚。回头说格。 “把”在汉语里号称是宾格介词，但是遇到“把我累死了”这种例子，又找不到哪个谓词提供宾格的坑。实际上，“累”是“使累”，是一个使动用法。所以顺序很重要，先使动 ，后宾格，一切OK。先宾格，后使动，北都找不着。

毛: “我累” 怎么解析？

白: 主谓啊。但“我累死你”不是。

毛: 哦。那就是“我使你累死”

白: 虚线框内形成一个虚拟谓词（复合然后缩合而成），对于这个虚线框，“你”貌似它的宾语，所以也获得了使用“把”表示宾格的能力。在句法层面，“使”不见了，“把”却在横行。

毛: 那么这种“使动”的属性就作为标签加在“累”这个词上？

李: 累和死 先合成，然后针对宾格的坑就出来了。“累死”这样的算是合成词，不过这种合成词是 productive 的。

白: 气糊涂，饿疯, 都一样, "忙晕", "乐坏".

毛: 累死 应该是 累到死 累到要死的程度 的意思，这个死是补语吧？

白: 是补语，语义上对应一个程度标签，非必选的，所以不算框的正式坑。加标签是随手做，填坑是大动静。所以正规军和游击队，待遇就是不一样。

李: 累死我了 --》 把我累死了。符合正常的位移转换（movement/transformation）方式。累（V的某种子类）+死 就是一个造词小规则，是产生式合成词的规则。符合这个规则的合成词就带有如下特征：及物，具体说，是使动的及物，并有表示程度的结果（“死”，不是真死）在内。带“把”提前是及物的共性，不用管。只要这个规则成功的时候，subcat 标签加对了，后去就顺理成章，无需特别操作。

毛: 所以呀，面向NLP的系统应该很方便很灵活地让你动态挖个坑，而且是同时挖上好几个坑，可以并行去试试不同的坑。这样才好。

白: “这些馒头把我吃胖了”。这个复杂些，有主有宾，只是虚线框里面拧着，了的时态含义省略了。胖，有一个坑。使和吃，各有两个坑。复合后缩合的虚线框部分，只有两个坑，一主一宾。与“吃”相比，正好颠倒了。所以，这类补语不仅是表程度，而是具体表致使后果的程度。

毛: 期待白老师的科普书早日出来。你的书里会画这些图吗？

白: 会。一个框，本质上就是一个函数定义式，也就是lambda表达式。入矢代表输入（自变量），出矢代表输出（因变量）。复合的时候，正是玩lambda表达式的时候，而且都是带类型的。

毛: 对呀，我在想这些图应该能转化成DAG式的数据流。

白: 每个坑都有类型，譬如，吃，输入类型两个坑分别是有生命、食物，输出类型是事件。

立：对，坑有两个信息：一个是坑本身的类型（what role），一个是坑里面的东西的“格”条件。role 是坑的主人决定的（词典里面的 谓词 subcat 或者规则产出的 谓词 subcat），“格”其实也是  subcat 题中应有之意，规定好的。格是输入匹配条件，roles 是输出事件语义。

毛: 数据流，结合立委的多层 FSA 模型，如果能做成通用的系统，我觉得是个很好的进展。有没有统计过像这样的图大概有多少？（以复盖常用句型为度）

李: 常用句型几十个吧，10-100 的区间。

毛: 哦

李: 看定义的粗细，谓词 subcat 最多只有三元 （所谓 S【V】OC），元里面还可以细分，大体 < 100 可以搞定

毛: 这个就可以用上分层嵌套的方法。

李: 这段对话，毛老、白老师，要我整理出来么？你们定，如果要，我就整理成博文。这次是你们俩主唱，我只是敲边鼓的，纯粹语言学的边鼓。

毛: 那当然好啰，要从尼克提到lambda开始。

白: 没问题啊。

李: 我其实不懂数据流，函数式略懂皮毛。lambda 在学语义学的时候学过一点，但是一直没完全整明白过。

毛: 那是工具性的，NLP本身才是关键。

李: 不过 subcat 在产生式合成词中会有变换，是我在 Morphology 课上学过的，而且学过的案例相当多。复杂案例的变换也不少。白老师的后一个例子是复杂案例之一。语言学家很善于总结这些格框变换的模式。

毛: 尼克最喜欢搞锵锵三人行， 咱就来一下三人行。

立：毛老、白老师，想起一件可能与数据流相关的事来，先写在这里，省得忘了。信息抽取（IE）这个领域刚开创的时候（20年前，由 DARPA 主持推动的 MUC 启动了这个领域，是NLP的实用化努力，非常了不起的一个推动，把NLP从象牙塔拉了出来），主流统计派还没回过味来，因此IE领域中的规则系统并不少，因为规则简单直接好用。其中，规则系统中，比较有影响的是斯坦福研究中心（SRI）推出的所谓 Cascaded FSTs，现在想来就是毛老说的数据流了。虽然后来我领导的小组也一直做多层FSAs，有时也贴上 Cascade 的标签，二者区别是显著的，虽然本质相同。斯坦福做的 Cascaded FSTs（finite state transducers）是把每一层编译的 network 直接用“数据流”串起来的一体化流程，cascade 是编译（或运行？）内部的机制。而我们做的所谓 cascade 就是从外部叠加调用，这是传统软件项目中管式系统（pipeline）的模块化开发，然后在运行的时候，从外部来接口，是大路货的路线。
洪: 看看有没有modern Hadoop实现

李:  总之，昨天我还发懵，搞不清为什么谈多层NLP的时候，毛老非要强调数据流，今天醒过来，原来如此。不过，我个人的感觉是，那种内部数据流的 Cascaded FSTs 后来逐渐淡出视野，一定有它内在的局限或问题。而我走的外部pipeline系统的方法，却得心应手，开花结果了。尽管理论上，数据流的路线应该更容易高效，更容易固化，但是肯定是遇到了什么坎儿过不去。

白：关于数据流，一直感觉NLP涉及的比较细粒度，就算自动机的堆叠或者分层的词袋，仍然粒度过细，一个句子里就可能多次流动，更不要说RNN这种自己转着圈玩的了……把这么细粒度的流动用大数据处理的利器来玩，是不是有点高射炮打蚊子？请毛老指教。

但是，自动机堆叠一个实现上重要的架构就是pipelining。底层边吃进输入，边产生阶段性的输出，又变成上一层的输入。这个pipelining的框架如何在系统层面优化实现，很有油水。

还有，当数千个自动机协同工作时，它们当中一定有共享的数据结构和计算，如何进行优化，乃至硬件层面的优化，这里面大有文章可做。

毛: 白老师说的对，数据流运用于NLP有许多细节的问题，特别是粒度的问题，还要好好推敲，现在还只是个朦胧的方向。粒度的问题一方面取决于具体的业务逻辑，一方面也跟硬件有密切关系，例如有没有GPU这一点，就对数据流的粒度和形状都会有很大影响。
李: 毛老，这是 SRI 的 work，叫 FASTUS。我在找他们描述 implementation of casaced FSTs 的部分，好像言之不详。以前不求甚解，反正自己已经找到了一条顺风顺水的路子，管人家怎么实现的，用的啥数据流。
毛: 好，谢谢立委。Cascade肯定就是pipelining，这就是一维数据流。
立：这个数据流的概念上没有问题。我是想知道，他们是不是把一个模块的 network 与pipeline 线上的其他 networks 整合成一个 integrated 的 network？我想知道，是不是整个编译全系统，还是像我们一样，每个模块是单单编译，单单调用的？
白: 如果有同步的语义操作，我相信会的。
李: 我的印象是，他们是编译全系统的，所以我们一直承认自己是 external 的 cascade，我们只是外部连接。重点的重点是，里面有一个共同的数据结构，无论 Pipieline 怎么流，不外是对这个数据结构的更新而已。
毛: 所以立委和白老师得要多掐，我就在旁听着，边听边想数据流的事。
李: 唉，还是没看到实现细节，保不定他们所谓的 cascade 与我们的做法一致，不过是利用共同的数据结构作为粘合剂，一个模块一个模块的调用。

早年的文献中，最原始最愚蠢的数据结构是 string 进 string 出，然后他们描述怎么在这个一维的string上加各种括号和标签。下一个模块必须在模式匹配的时候要跳过这些人为的括号与标签，才能更新信息，那个愚蠢透顶，不可思议。我还真照文献说的实现过一个prototype，一边做一边骂这帮傻老帽。那个玩意儿根本做不下去，超过两层的处理就焦头烂额了。

后来有人（譬如英国著名的NLP平台 GATE）用 XML 作为模块间连接的标准接口，本质上也还是 string，不过是多了一些现成的工具，可以用来 parsing 这样的数据成内部结构。当然，在不同系统对接的时候，开发者和使用者是不同的组织，XML 作为标准接口往往是最少扯皮的一种方案，因为内部的数据结构不具有这种传递性。然而对于一个系统内部的各模块，用 XML 做数据传输几乎是胡闹。做个 prototype 也许可行，做应用肯定不行。

毛: 立委讲的外部连接和全编译的问题，我理解就是节点间动态局部连接的问题。全编译就是一次性把整个数据流搭好，以后就不变了。所谓外部连接，就是按需要把若干计算节点局部地临时连在一起，灵活可变。当然是后者更好，不过应该是全局框架中的局部变化。我说的要研究怎样根据NLP的特点灵活构筑合适的数据流，就是这个意思。

全局框架的保证就是一个共同的丰富的可扩展的数据结构。只要保证这个数据结构的设计是合理的，一切就好办了。

毛: 昨天群主一声吆喝，立委说话的风格还真的就变了，马雅可夫斯基的调调不见了。

李: 从善如流嘛。

设计一个NLP专项平台，就包括数据结构的设计，NLP语言的设计，该语言的编译和执行，以及数据流流程的配置和优化。这几个环节都是相互联系的，没有丰富的经验根本玩不转。

毛: 在数据流、即函数式程序设计中，不会由多个节点对同一份数据结构进行修改，这就是输入是否immutable和有没有共享变量的问题。不过对于NLP来说这属于实现细节。

李: 为什么不会由多个节点对同一份数据结构进行修改？每个节点都是单向递进的，数据结构因此变得越来越丰富，分析越来越深入，是为 deep parsing。简单的设计允许数据结构信息的增量更新，不允许或者制约了对数据结构的破坏性操作。譬如，推翻一个内部结构，进行重构（因为 patching 的需要）。但是聪明的工程师在实现的时候，不认为破坏一个局部的内部结构有太严重的问题，不过就是实现费劲一点罢了，屁股总是可以擦干净的。所以我说，只有想不到的，没有做不到的，我才不管他内部怎么实现的，只要用起来顺手就好。只有在实现影响了速度的时候，我可以做让步，允许工程师对我的操作做一些限制。

毛: 如果允许，那就有同步等等的问题，不同节点之间就会互相牵制，而且这样的系统是最容易有bug的。而函数式程序设计，其基本的要求就是：每一个计算节点都是数学意义上的函数，都没有副作用，这就要求：1）没有共享变量，2）所有输入都是immutable。把数据流系统设想成一个供水系统，如果水管在一个点上分支，那么在其中的一个分支上投毒，是不会影响另一个分支的。

李: 照这么说，只允许增量式更新是管式系统开发的安全原则？一开始是增量式的，后来是我坚持要多给我一个做 patching 的手段，打破了这个限制。如果不做 patching，我就只剩下一个手段，那就是先扫除例外，后做一般规则。如果允许 patching，我就多了一条路子，先做大路货，然后遇到问题或例外，再做修补。表面上，这两个办法不过就是数据流中个性与共性操作的位置不同而已，但是实践中总是多一条路子，用起来顺手。其实，做破坏性操作，我开始是有担心的，总怕屁股擦不干净。但是，好像还是在可控范围内。

毛: 对，你所说的对工程师们的能力要求，问题就在于那种结构模式本来就是很不可靠的，得要非常高明的人才能对付，所以一般都尽量把同步、互斥这些事情移到操作系统和语言编译器中解决，因为那些都是真正的高手才玩得。但是即使如此，对于复杂的系统，如果不采用函数式即数据流的结构和方法，难度还是很大。

李: 原因可能是，破坏的结构不过是中间的局部结构，还没到要用它的时候，只要最后系统出来的结构是合理的，就似乎没有问题了。

毛: 你挺幸运，手下有几个高明的工程师，要不然恐怕还做不出那么些成果。

李: 因为我是他们的唯一顾客，顾客是上帝。我一直是这么说的。

毛: 端着人的饭碗，就得听人管。

李: 好在我不懂系统，否则可能不敢这么大手大脚。

毛: 但是，这是有限度的，问题再复杂一点，他们可能就会对付不了。这时候就得考虑模式的改变。不走邪路，也不走回头路，咱走正路。

李: 同意这里面有个度。另一方面，系统太漂亮了不顶用。上得厅堂，下得厨房，这个标准对做系统也一样。正路就是厅堂，厨房就是我这样的实用主义，以邓小平思想为指针。

原载　泥沙龙笔记: 铿锵三人行　（2015-10-8 ）

 

【相关】

【相关】

【立委科普：漫谈语言形式】

【语义计算：李白对话录系列】

 

【李白雷54：句法语义纠缠论】

白: @wei 微博上的讨论很有代表性。

李: 看到了，这个错误放大（error propagation）的问题，我以前也讨论过。很多人是杞人之忧，包括雷司令。@雷 你上次说到，parsing 需要准确才好做知识图谱。还说差之毫厘失之千里，其实完全不是这样子的。估计你是深陷在你的 parser 里面，还没有真正放开手做知识图谱的工作。

说句实话，所有的抽取工作，对于 twitter 和微博这样的短消息的细线条的舆情抽取是最难的，知识图谱这样的工作比起前者简直就是 piece of cake.　我们跟舆情奋斗了这么几年，比较了一下里面的复杂度和tricky的地方，也比较了里面实现的规则，可以说，最难的果子已经吃过了，剩下的大量的知识图谱类的抽取挖掘关系，在 parsing 的基础上，就是一个单纯的工作量的问题，没有门槛，没有难度。

信息抽取中的两大类，一类是客观事实类抽取（关系和事件），针对的是客观语言（objective language），这就是知识图谱的主要内容。另一类是舆情抽取，针对的是主观语言 (subjective language)，情绪和评价类。后者的难度高出前者太多。

客观事实类抽取包括：专名 NE, 这是做基础的工作。下面就是在这些NE之间找关系（relationships），找事件（events）。为了抽取出来的东西可以整合（fusion），为挖掘服务，里面还有一些 CO （coreference）的工作。

雷:  知道Watson是怎么抽取相当于100万书籍的知识吗？

李:  上次我就说，如果主语宾语弄错了，那么按照错误放大的说法，抽取是不是就一定做不了呢？答案是否定的。parsing 错了，也可以支持抽取。只要错误是可以预见的，错误不是全方位的。

推向极端就是 @白 老师的“意合”系统。你看，根据词和词的　semantic coherence 的某种模板，甚至没有 parsing 都可以做。何况有了 parsing，不过是 parsing 偶然断链，或错置呢？有很多弥补 parsing 错误的手段可以在接近产品的层面施展，包括 domain knowledge 和 ontology。

雷:  我做过英文文献的药物副作用的抽取。严格的svo，结果不错。但我的感觉是，如果parsing再准确一些，结果会更好，而且事后的处理要少很多。这个仅仅是我的感觉。

李:　再准确也不能完美，主要还是思路要转变。

提高准确性是一个 incremental 的过程，而且一定会遇到 diminishing return 的两难。关键是在做抽取的时候，要知道，利用 node 的信息，可以弥补 arc 信息的不足。node 就是词，arc 就是句法。句法不够，词来补，因为词本身就是语义的最基本的载体，里面可以玩出很多名堂来，包括 ontology。

雷: NLP像地基，如果结实，可以起高楼。后续的修补要少，后面的工作就是建立FACTS，问题是战线要拉多长。

白: 意合法从来不拒绝partial parse tree，句法有什么拿什么，没有也憋不死。

李: Parsing 当然是地基，地基好了一定省力，这都没错。这么多年鼓吹 deep parsing 就是基于同样的理念，因为业界的 parsing 太 shallow， 没有地基。中文NLP 玩了那么多年的业界，谈起 NLP，默认就是切词，或者在切词上做一点啥，譬如 base  NP。

雷: 事后修补也是对的，这个在认知心理学中也有证明。但是，这种事后修补在认知中不是大量的。工程的探索和应用是一个方向，认知上探索也是一个方向。

李: 白老师，严格的说，不是句法与语义配合到怎样的比例才做好系统。我们实际上是说，显性形式和隐性形式怎样搭配（参见【立委科普：漫谈语言形式】），才能出一个高效的NLP系统来。可以简单地用句法手段来代表显性形式，语义手段来代表隐性形式，但是说句法语义容易歧义，不容易讨论清楚问题。所以上次，白老师提到 POS 有时候有害，不如语义分类好用。其实白老师说的不过是粗线条的隐性形式POS（一共就给词做10多个POS分类）和细线条的隐性形式（成百上千的语义分类），后者对于汉语分析的重要性。这个没有任何疑问，因为说的都是一家：隐性形式，都是语言里面看不见的形式，都是人必须在词典了给出的 tags，或者需要专门模块去给的 tags。所以我说，再纯粹的语义系统，只要是为工程用，就绝不可能放着显性形式不用，而去舍近求远地依靠隐性形式的语义。只有理论研究，可以放弃显性形式，因为放弃了显性形式，可以从理论上做出一个 universal parser，它可以 parse 人类任何的语言。显性形式（词序，小词，词尾和其他语缀）是 language dependent 的，只有剔除它，才可以做"纯粹语义" 的系统。

雷: 同意，不能放着有用的信息不要。我觉得模拟人的认知可能最是捷径。

白: 前提是，句法不能挡路，不能说你分析不出来了还不让语义按自己的逻辑往前走。

李: 还有，纯粹语义系统肯定不如显性形式可靠。在显性形式可以决定的时候，没有语义（隐性形式）出场的必要，它只会添乱。乔姆斯基的 Green ideas 的伟大实验就是要证明，显性形式能够做决策的地方，语义和常识都失效了。汉语中，“铅笔吃了我”，“铅笔把我吃了”，就是又一例证。绝对不会因为有了隐性的语义格框：动物-吃-食物，就可以用来解决 “铅笔吃了我” 这样句子的语义，这时候是（显性）形式的句法所决定。这样的句子就是显性形式词序或小词“把”在主导，没有语义（隐性形式）出场的空间。再举一个有力的例子，在有显性形式的格标记的语言，宾格基本对应的就是宾语。没有一个 parser 会不利用显性形式格标记，来做分析的。因为它明明告诉了“我已经标注好了，注定要做宾语”，你有什么道理要按照[动物-吃-食物] 这样的语义框格去找宾语呢？

白: 注定的话也不要说绝了。在幽默或修辞的场合，会来翻旧账的。

李: 意思你明白的。

雷: 语意是一个没有学过语言学的人可以说上一些东西的，但他很难说语法的东西

白: 你说的那不叫语义学，叫学语义。

小词本身也携带语义信息、结构信息，比如“的”。为什么我说从语义角色指派的逻辑上看“这本书的出版”和“这本书的封面”有很多共同之处甚至本质上相同，就是因为它的回环结构。

雷:  “这本书的出版”和“这本书的封面”的相似度又有什么计算方法吗？

白: “出版”有两个坑，“封面”有一个坑。“的”是提取坑，不管一个两个，不管动词名词形容词。

雷: 出版与封面在wordnet上有什么近似度吗？

李: 你那个“的”是提取坑，我搞不明白。出版是逻辑动词，封面是逻辑名词，迥异。

雷: 封面是没有坑的，有属性，封面是一个class，坑是method提供的。

白: 有坑，part-of，是什么的封面

李: 这是一个 single-arg 的坑，partof 和 wholeof 互为坑。语义面上的，不是传统句法subcat上的坑。

白: 对，一价和二价的差别，如果规定从右边的变元提取，就没差别。右边饱和了，就往左挪。及物动词填掉一个宾语，就成了不及物动词。与此类似。

李: 具体谈一下这两例。结论是？

“的”作为显性形式的小词，其提取作用，与英语小词 of 和 's 类似：

translate A into B --> translation OF A into B
A's translation into B
a book's translation into B
a book's title

白: “的”的定义，就是f(x1，x2，……，xn)的xn，你给我一个f，我就给你一个xn

雷: 以面向对象的模型类比，class，method，和attribute，书是class，封面也是class，但封面又是书的一个attribute。

李:  一般的关系分析并不深入到“partof”这个级别。一般遇到 “的” 或者英语的 's/of ，就是粗线条分析到 Possessive 这一个包罗万象的关系为止。这本书的封面，粗线条就是，“封面”属于“这本书”。而“这本书的出版”则不用，所有的分析都指向动词的 subcat。

白: 粗线条对于汉语不行。汉语有显式的句式与part-of有关。

李: “这本书的出版”，只是利用了小词“的”，把动词名词化，与动词直接加宾语，分析同：出版加宾语，通常在右边，这是一条。变式就是：可以名词化，用“的”，宾语前置。

白: 比如 “老李把脚冻肿了”，缺省是老李的脚，不是别人的脚。

李: 那是，不过这个分析真地太细。

雷: 老李的脚是一个NP

白: 老李的脚，老李的讲演，老李的意见

李: 缺省是老李的脚是常识，否则就会显性的把别人的脚表达出来。英语 “撞了我的头” 常常是：hit me on the head，这个 the 缺省的就是 me。翻译成汉语就用显示的 possessive。

雷: 老李的人的概念，提供属性与构成结构

白: the有anaphor的功能。

李: the 不过是显性地标注了 anaphor ，汉语没有 the，默认的还是 the，而不是 a。凡是一个名词表示非限定的含义的时候，其汉语的用法和条件相对来说，比较可以找得出来。而默认的 the 的含义，不太容易找出条件来，所以默认是个好东西，不需要去定义外延，外延靠别的东西去定义。

雷: 昨天不是有一个language universal的帖子吗？相近原理。

白: 看看汉语讲故事怎么讲：从前有座（a）山，（the）山里有个（a）庙，（the）庙里有个和尚讲故事。

李: 对，我们其实有 a，但常常没有 the，于是 the 是默认。量词是 a，"某" 也是 a, 我们甚至直接用“有”来表示 a （“有人”昨天来讲课了； “有部件”坏了--》一个部件坏了）, 当然还有”一“，也可以用做 a，所以汉语表示 a 的形式手段还蛮丰富，因此就不需要 the。the 是默认，实在还是不清晰，就用 ”这“、”那“ 等指示小词来强调一下限定的语义。

白: 都是不带形式标记的anaphor

雷: 细致的坑是ontologies的。parsing中动词和形容词有坑就可以了

李: 传统的 subcat 的坑是粗线条的，里面映射的可以是细线条的语义约束的坑。语义模板与 subcat 的关系。

白: anaphor 的 trigger 必须带坑。本身共指，或者 part-of 共指。记得 Winograd 讲过一个例子，一个小孩得到了一个礼物。当他打开（the）盒子，发现……。盒子就是装礼物的盒子，用the勾连起来。

李: 恩

白: 咱汉语里都是隐形的，于是“盒子”作为 “坑的 provider”，必须写到词典里。封面，也一样。

李: 恩，封面的优先主人是谁的信息在词典里，针对的是出版物。

白: 出版的受事坑，恰好也是。所以用的，一提取一个准儿。

县长派来的，比这复杂，因为"派"和"来"各自提供的坑，被一个“的”给提取了。或者说，"派"和"来"，经过了一次内部整合，统一一个坑对外，被“的”给提取了。派是兼语动词（三个坑），来是不及物动词（一个坑）。但是“派”最左的坑被“县长”填充，饱和了。“派”的另一个“事件”类型的坑，只能接受“来”。于是剩下的那个类型为human的坑，与“来”提供的类型为animate的坑，统一对外了。

李: 很有道理。填坑最好的是只有唯一的候选人，没其他可选。最麻烦的是要动用语义优先。语义优先可以作为知识，预先学出来或标出来，或半自动，先学后标（postediting）。可是在使用现场需要层层松绑，想想就头大。遇到结构歧义（不是伪歧义），还不是松绑的问题，而是对比的问题，要看三角恋的三方，哪一对最有 chemistry。松绑只是对条件按照 taxonomy 去有步骤放宽，而对比不是，对比需要动态的看随机配对的力量对比。不是不可做，是 overhead 太大。如果不考虑 overhead 和实用，力量对比的评判比层层松绑更容易，因为前者是二值的，总有一个吸引力更强，后者是趋于离散的。

原载　《铿锵三人行：句法语义纠缠论》

【相关】

【立委科普：漫谈语言形式】

【语义计算：李白对话录系列】

【李白之50：符号战壕的两条道路之辩（续）】

白:
我的思路是：句法维护纯二元关系，模式编码进subcat，直接对接语义。纯二元关系对模式既兼容又有更大的robustness，不用白不用。

李:
pos 支持句法做粗线条分析　ｓｕｂｃａｔ支持逻辑语义做细线条分析？

白:
必须的

李:
那倒未必。可以结合做的。显式的句法语义关系可以一起做, 没有句法关系的隐式逻辑语义可以推后。subcat 结合句法语义。

白:
模式方法中，小词的缺省和成分的倒置，只能认为是不同的模式，不穷尽则不work。二元关系方法中，缺了小词也好，倒置也好，在subcat那里都可以重构出来。输出是现成的，既可以跟着cat一起输出，也可以等语义落地了再输出。这是个简单的配置问题。

李:
缺省不怕：就是 optionality，不是模式必需的。倒置的确需要增加模式，没办法，模式也是线性。

白:
“我紧张，一见到那个人。”
省略了“就”，而且倒置。但是在二元关系方法下，这都不是问题。

李:
但ｎ元模式，在多层系统中，并非全排列模式。模式负担完全可控。也可以类似于二元的样子，一层层做：起码动宾与主谓通常被认为是不同层次的组合，无需SVO全排列。推得极端一点，ｎ＝２，多层ｎ元就成了２元，也是可行的策略之一。

白:
对“一”的subcat标注，已经隐含了对“就”的“脑补”。
语义frame任何语言中都不必然是二元关系，这层落地映射，本来就是缺不了的，并不是因为模式而特设的。

李:
exactly

白:
句法专注二元关系，好处多多。

李:
１　【一ＶＰ（S）就ＶＰ】
２　【一VP】
也就是两条模式捕捉的事儿。都很直观 intuitive。捕捉了，还不是要怎么玩语义怎么玩。

白:
这实际是语义直观，跟那些多元关系是同等对待的。

李:
第１个模式涉及５元，第2个模式是ｂｉｇｒａｍ，我说过，模式也就是以三元为峰值的正态分布。并不是想象的那样组合爆炸，完全在可掌握之中。最大特点还是其接地气，直观，容易 debug 和维护。不就是给语言结构拍照吗？所谓句型练习（pattern drills），人学语言也就是这么个事儿，我们当过外语老师的，都知道 drills 的重要。

白:
那个完全是UI的问题

李:
如果你做二元配对，我心里想的是五元模式，【一ＶＰ（S）就ＶＰ】　这样的模式，你如何把二元的过程ＵＩ到我感觉舒服的五元模式呢？

白:
双宾语结构也是一样啊
二元的过程是在机器里发生的，五元模式是结果，不在一个频道上。边加够了，五元模式就出来了，就这么简单。

李:
机器发生的过程　不是基于词典的标注吗？这个标注不需要人去做　去维护　去 debug？

白:
但过程总是一个一个边加的

李:
那是因为你的 parsing 是 PSG的 parsing 过程，虽然表达的是DG。这个 PSG 的过程，是遇到任何物件都不能跳过去，要一个一个的叠加组合。

白:
能跳，否则就无法处理交叉了

李:
从你画的图看，还是一个不跳地在叠加，只不过叠加的顺序可以不同，然后导致一些远距离二元关系的最终建立。（当然你的Ｘ见人见鬼，先加上再说，也算是一种模糊应对或“跳过”。）　换句话说，parsing 的总过程与经典的 chart parsing 没有看出大的区别。

白:
这理解是错的

李:
可能。也许我看得不够仔细。

白:
从数学上看，模式引发的步骤不是分析树的“构造”而是分析树的“映射（变换）”。这个映射环节引入PSG还是引入DG的差别是细节的差别，核心的精神都是一致的。如果你说的“跳跃”意味着“映射”的引入，我目前确实没有，但 1、这并不影响在较上层的节点上，映射的结果和非映射的结果会得到相同的语义落地。2、如果一定要引入映射，与我现在的体系也毫无违和感，可以兼容处理好的。

另外，不包含映射的技术方案并非都是一丘之貉，彼此之间可以有天壤之别。这实质上是模式驱动的“一揽子”填坑动作，可以加速分析进程（就是你说的“跳跃”），又不破坏填坑的基础架构。但是我要说的是，既然看到了这个实质，映射的触发就不必拘泥于从左到右的模式匹配，一定程度上的词袋模型一样可以触发！实际上我在subcat里面做的事情就是这种不完全信息的模式触发，只不过做在了语义层。语义层都能做，回头做句法层纯粹就是锦上添花，照顾语言学家的UI感受而已。我不看好从左到右依次匹配，但我认同通过映射实现跳跃。语言学家不应该成为排列组合匠, 更不应该为某项排列组合的缺失而背黑锅。除非该项排列组合有明显不同的语言学意义。此其一

另外一个因素就是模式在激活之前的状态一定要有一个载体，而且这个载体必须跟着分析进程动态维护。伟哥有分层的fsa做这个事情，我是用词负载的subcat（实际上就是词袋）做这个事情。词袋的好处就是对排列无感，只认组合而且允许组合缺斤短两。在某些场合，词袋的部分填充会造成激活歧义。所以要用“状态”记录这些有歧义的部分填充（套用时髦的量子话术，这就是几个候选词袋的“叠加态”）。随着分析进程的展开，叠加态会“坍缩”到确定的词袋上，完成激活。

李:
大赞。...... 先赞后辩。
没全看懂 但似乎又懂了 貌似透过做法看实质 有不少共同的观念。消化消化。

白:
“人肉”本意是名词。在“人肉搜索”这个短语中是副词（N降格为S+），意思是用活人去深挖特定对象的隐秘信息。再简化一点去掉“搜索”二字，“人肉”就成了动词了（S+升格为S）。升格降格操作的活标本啊

李:
人肉搜索 不是宾语提前？把衣服扒光 不是人肉？

白:
“这个公司的所有人都是好样的。”居然有歧义。

李:
“所有-人” 歧义（hidden ambiguity）：　单数 vs 复数，　复合词 vs NP，黑箱 vs 白箱，[possessor/N]　vs　[All people]

白:
“发言的是我们公司的。”

李:
１[human-action　的] --> NP[human]
2. [human|organization 的]　--> AP[possessive]

1 + be + 2 --> 1 belong-to 2

“发言的是我们公司的。” --> [发言的 human] belong-to [我们公司　的 possessive】

所谓句子解析及其语义落地，不过就是模式的拼接。

白:
“作业你是不是不打算做了？”

李:
1 [plan V] --> plan-V (verb compounding like)
2. [ NP VP] --> S Pred
3. [NP S Pred] --> Topic S Pred
4. Topic S Pred(/O) --> O S Pred　（所谓先耍流氓后结合：有“做－作业”的可分离动词的搭配关系更是坐实了远距离勾搭）
5. Vt NP --> VP
6. Vt --> VP(/O)
7. "是不是不"　can be treated as one compound 小词 whether (or whether-or-not)

白:
是你打算，还是作业打算？是你打算做作业，还是作业打算做你？由什么决定？就本例而言，语序已经完全乱套了，只有subcat能决定。好在我们知道，计划类动词具有穿透性。打算的两个坑，是human、event；做的两个坑，是human、thing。这两个human就是穿透确定的共享萝卜的坑。往前面看，能填的只有“你”。“做-作业”离合词的远距离锁定，从另一个侧面做了神助攻。所以，不管前面“作业”和“你”的顺序怎么折腾，它们的subcat如同狐狸尾巴，总会泄露真正的结合方向。我们不需要S/O/Topic这些名目，直接根据萝卜和坑的subcat相谐性，就可以选择行的，排除不行的。也不需要针对不同语序设置不同模式。跟着词条走的cat/subcat就足够确定目标了。

“你懂的。”其中的“的”就是句末助词，标记为+S。“我是不懂。”其中的“是”是表强调义的副词，标记为S+。“你是不懂的。”其中的“是”和“的”借助这两个修饰语标记完成了绿叶的使命，把红花凸显出来。但是这种做法的好处更在于，“是”或者“的”之一缺位时，句法上照样work。红花之间的关系照样不变。不需要针对几片绿叶的有或无的排列组合一个个遍历。

李:
这话说的，好像世界上就有人有直道不走，偏要走弯道似的　哈。白老师雄辩。
排列组合遍历很多时候是免不了的，除非可以证明这些绿叶红花的排列没有意义, 所有绿叶都是可有可无的。语言的最大形式特点之一就是排列，或曰线性次序。概念通过语词，关系通过小词以及词序，线性地流进我们的耳朵。小词和词序，作为显性语言形式(参见【立委科普：漫谈语言形式】)，其功能本质是一样的。由于信息和形式的冗余，厚此薄彼可以作为一个可行的策略，作为一个精算师的算法之一，但拔到理论高度说，让小词负载结构，赋予重任，同时忽视词序来取得鲁棒，总是很难让人信服的。

汉语的省略小词，是如此普遍，就跟汉语的词序灵活一样，都给鲁棒提出挑战也留下空间。你可以厚此薄彼作为一个 parsing 策略，别人也可以厚彼薄此作为一个策略。更有人二者都不厚不薄，利用模式，用？(optionality) 传达鲁棒，用显性排列形式的 obligatory 出现（何时、何地）来表达精准及其语义落地。有何不可？有何不好呢？能想到的不好都是实践层面，而不是理论层面，譬如：（１）可行吗？组合爆炸，排列得过来吗？（２）即便不组合爆炸，有本事伺候排列吗？（可维护性）

可行性的问题已经有答案也有实践，就是多层。Note that 这个多层也不是单单为了可行而采纳的。多层反映的是自然语言的 configuration（参见乔老爷杆杆理论，X-bar，科学网—乔氏X 杠杠理论以及各式树形图表达法），也是语言本质之一，譬如动宾（VP）与主谓对于多数语言就天然不在一层。

多层排列的可行性，其理论基础在于人脑记忆的有限，自然语言的可学习性。如果语言本质就是排列的组合爆炸，人也无法学习语言了。我们所做的不过是瞄着人 parse 语言的样子，去模拟实现它。符号逻辑的模型透明性和可维护性在多层模式里面得到了彰显。

第（２）个问题是本事问题。的确多层排列算法不是每一个人都玩得转的，就如小词负载结构兼以隐藏知识的大数据中间件除了白老师迄今无人能玩一样（甚至无人想到了这条路，参见【李白之15：白老师的秘密武器探秘】）。两条路线都严重偏离主流，主流人才的多数或者无视或者没有历练/本事来玩转这任何一条路线。

正如尺有所长，寸亦有所长。如今是各自玩各自的。区别在于，这个战壕自认为可以对ｎｌｕ挖掘更深（这一点在下确信无疑：毕竟坐井观天一辈子了，天可能还是没看清，但井的深浅是清楚的，如数家珍；而且不需要做天外比较，就可以得出结论，因为自然语言在这口井里面基本是已经见底了），主流的战壕在我们不过是摘除低枝果实（这一点无法确认，保不定哪一天主流就突然从导弹演化为核弹，也未可知，彼此祝好运吧）。

白：
小词“可”负载结构，不是“仅”小词负载结构。语言的层次性在技术上“可”通过分层fsa消化，不是“仅”通过分层fsa消化。模式也不是“仅”通过负载结构的小词消化。同样负载结构的实词、算符优先序，都在推波助澜。一个句法体系和技术体系，一些特色或许突出，但贡献是多个特色联合作出的。

我不希望受众被误导。

李:
哈　我也不希望误导，或被误导。
其实，因素比重的差别，还是构成了技术路线的不同。也许用“小词负载结构”（的因素）来概括或代表白老师的路线，就好比以“多层专家词典排列模式”来代表的立委路线（听上去好耳熟，对了，历史上有过被毛委员往死里批判的立三路线）一样，都是不准确的。但仔细看过讨论系列的会了解其中的路线之别。

二元句法在前，逻辑语义在后的策略之所以可以成功，我觉得是因为有了“大数据中间件”的助力，否则很难想象那么简单的句法操作可以应对那么复杂的语言现象。所以，让我 wonder 的主要是大数据中间件，如何训练如何使用的。而对于二元本身，特别是小词负载结构，相对于多层专家词典的模式匹配，我没看出多少优势。如果硬要评价 pros and cons，从我的角度，前者长于简洁（也许也增强了效率）和鲁棒，后者更符合语言学家的语言认知和描述习惯，可以更加从容地对语言做精细而不失鲁棒的描述。

重要的是，二者同属符号主义，同一战壕，也似乎都可以包容对方。

 

【相关】

【李白梁49：同一个战壕的两条道路之辨】

【李白之16：小词负载结构与小词只参与模式条件之辩】

【李白之15：白老师的秘密武器探秘】

【立委科普：漫谈语言形式】

科学网—乔氏X 杠杠理论以及各式树形图表达法

【语义计算：李白对话录系列】

《朝华午拾》总目录

【李白梁49：同一个战壕的两条道路之辨】

小词负载结构　vs. 　模式专家词典

白：
我举的例子“这个字他是不会写错的”意思是“他不会写错这个字”。

李：
【是 …的】 小词筐式结构 里面包了一个谓语 表示肯定的语气。如果没有 “的” 那么通常 “是” 就转为强调小词（emphasis particle） 依然是肯定语气（affirmative mode）。如果没有 “是” 只有 “的” 那还是肯定语气 但似乎弱了一点。

我吃素:
我是吃素的
我吃素的
我是吃素

我不吃素:
我不是吃素的
我是不吃素
我不吃素的

“不是吃素的”　是熟语 半路杀出一个程咬金　有黑箱义与通常的白箱义两种。“不吃素” 不是成语 只有白箱子语义。这算是个小插曲，是个案。

白:
“应付这种局面他有准备的”

李：
应付这种局面他有准备:
应付这种局面他是有准备的
应付这种局面他是有准备　＝＝　“应付这种局面他的确有准备”

三种变式 都是肯定语气 不同程度而已　给基式增加一点语气色彩 不改变逻辑语义。

白:
好办，这种“是”，直接标成S+，“的”直接标成+S。bingo

李:
Bingo ?
“是”、“的” 还有很多其他用法。 都靠 wsd 去选？假如只有一种 pos 自然没问题。

白:
“是”还能做N+

李：
假如 pos/wsd 模块可以准确输出一种 pos 也自然没问题。第一个假如 只有到理想世界寻，譬如 世界语 或 计算机语言。第二个假如 是 传统系统架构的误区。铁路警察各管一段 听起来干净利落 模块清晰 实际不知道误导了多少良家上进男女青年学子。

前置状语性材料 S+ ，后置状语性材料 +S，哪个语言都有，标注这个不难。但这种标注难以匹敌模式：

１【Subj 是 Pred 的】
２【Subj Pred 的】
３【Subj 是 Pred】

这些变式才是这类现象的真正的distribution 才能一一对应到细微的语义计算 表达语气的差别（nuances）。都是从基式 【Subj Pred】（or 【NP VP】） 加小词 derive 出来的。

基式： Subj Pred
变式：
1 Subj 是 Pred 的
2 Subj Pred 的
3 Subj 是 Pred

1 最常见 是一种缓和的肯定语气。2 更加口语化 语气与 1 接近。3 就是强调语气。捕捉这些细微差别 对于对话机器人 有意义 。

梁:
记得，我们做过规则： 是 VP 的 --> VP, 我是爱你的 --> 我爱你

李:
Thanks. I did not know that
Moi 奥see

@梁 kidding ....

梁:
@wei  :=)

对，语气略有不同。老外若问我，我会告诉他。其实，外国人学汉语，这种小词的细微差异最难。

2 Subj Pred 的， 她卖菜的。 “卖菜的”是不是职业的意思，就是说”她的职业是卖菜“？

李:
这 2 本来是通用的肯定语气，但恰好又与表达职业的独立的 “的字结构” 搅和在一起。

梁：
我拥护你的。加强了肯定语气。

李:
1 我拥护你 --》我拥护你的
2 拥护你的不占多数

1 遵循的变式 需要主谓齐全，而且不局限于 human action；2 里面的 的字结构 不需要主语的条件 “的字结构”做的也不是谓语，而是np，并且 必须是 human action，常表达职业。这是两条道上跑的车 但可能撞车。

白:
“这信写的连个落款都没有。”
“等我有空的看怎么收拾你。”
“这雨下的都没脚脖子了。”
“那几天雨下的什么心情都没有。”

李:
一个一个来，先细看：“这信写的连个落款都没有。”

我的设想是 将来应该可以学出很多词典化模式（lexicalized patterns or word-driven rules），不必做太多的 generalization。全句分析就是对这些词典化模式的拼接 譬如上句。

模式1：【这 O Vt de-buyu】
模式2：【连个 O 都没有】　或者　【连个 O 都 Vt-negative】

语言中这类模式成千上万。所谓一个人学会一个语言 学得地道，就是这个人记住了这些模式，下意识的 还是明意识的。总之是词典化模式烂熟于心，才可以像 native speakers那样自如。 非词典化的语法实际上很少：主要就是规定 这些细小模式如何拼接
譬如上两个模式拼接：one form of de-buyu is de + S, so we can connect the 2 patterns:

【这 O Vt de-buyu】＋ S【连个 O 都没有】＝＝》“这信写的连个落款都没有。”

梁:
连个被子都叠不好！
连个衣服都不会穿。

白:
还是没说，如果没有词典化模式救驾，主谓宾又不齐全，“的”就一定不是+S？

李:
那是另一回事。词典化模式是累积的。不是一开始就是 logically complete。

梁:
"不是一开始就是 logically complete" 同意！

李：
“的” 的其他用法 最后或者融化（或被表达）在与其搭配的词的词典化模式中，或者表达在 它 自身的模式中。最后 由于其万能词的特性 也可以作为直接量 表达在少数的抽象规则模式中，即非词典化的语法模式规则中。

白:
那还不如先都当同一个“的”用。后面再分。至少不会错。

李:
这一点 我一直持与白老师相反的意见：对于用法繁多的小词 包括介词，我一直以为 不要只围着小词本身做，而是应该各个击破 负担分开来。小词本身只负担最后的标配用法。其他的搭配词 承载小词也是举手之劳 题中应有之义，而且小词也常是这些模式的必要（obligatory）或可预测（optional）的因素。

白:
“瞧把你得瑟的”

梁:
“瞧把NP AP的” 瞧把她美的！

李:
@梁 对 就是这个思路。这里的 “把” 不再引导宾语 而是引导主谓结构。放在模式里 就一目了然 这才是语义计算的真谛。

梁:
我们人脑善于做 puzzle （拼板游戏）。

白:
这不是问题，唯一一个坑，怎么引导也是它。小词就是模式的状态转换开关，这也不是问题。

李:
词典模式不怕冗余 越多越好。要说冗余和死记 谁能比得上机器以及机器学习的ngrams，人会抽象，自然可以稍微聪明一点，但切记过度，聪明反被聪明误。

梁:
好几个词一起做了一个坑，把 NP AP 套进去。

白:
没有模式能做而小词不能做的，没有模式能识别而小词的特殊pos不能识别的。

李:
需要各自保留意见了。
即便能力等价 ，也还有其他层面的考量：直观性、可维护性 、与语言直觉的距离，等等。

白:
那是UI的问题。谁说定义在小词，界面也必须显示小词的词条？

李:
是语言资源的可读性。模式 我认为是最可读的。小词 在 pos 层面做抽象 影响了可读性和可维护性。

白:
语言资源就是给机器读的，遇到要呈现给人的时候有一万种办法让人可读，这个根本无需操心。

李:
小词没必要分类。

白:
记得当年做XBRL标准，有人就拿可读性说事儿，我们就搞了屏幕取词转换，搞了把机读格式隐藏在用户友好界面中的工具，攻击的人从此闭嘴。

所谓分类是字面意义的误导。我们要做的实际是告诉这个词的周边，有多少插座，有多少插头，什么制式的。哪怕这种标记是这个词独有的，也要这样标，并不因为独特性而偷工减料。分类这个说法似乎是给语言学家自己看的，其实不然。标记是给这个词的周边看的。有些插座和插头就是为模式准备的。在给人看的时候，自会转换成人最方便接受的样子。但是插头插座虽然不是人最方便接受的样子，却是词们彼此勾搭最方便的样子。

梁:
我懂白老师想把“词负载语义”进行到底。

李:
“哪怕这种标记是这个词独有的，也要这样标”？

白:
不这样标就会影响它与周边词的关系。

李:
标记的必要性 是别处要用，是用直接量不能表达或不能概括的部分。如果独有 就没有必要 因为直接量就是标注，这是其一。其二 如果所标记的 pos 或 subcat，是为了自己的模式 而不是别人用，也无必要，因为可以词典化。

白:
标小词就是在做模式词典化，只不过模式不显性出现。举个例子，“连N都V”，连就是N+，都就是S+，顺顺当当吃掉，但是里面实际上在做状态转换。

李:
形式都在模式里面了，还标注个啥。直接量多直观。

白:
不是特意为模式标的。

李:
我在词典主义和专家词典里面浸润太久，感觉上受益太多，不忍心抽象化。

白:
直接量想要就有啊，表示是等价的。这是个UI问题。我这才是词典主义，除了词典不剩啥。

李:
不太一样。
你的词典主义 貌似是词典标注主义，我的词典主义 主体是规则词典化。专家词典（expert lexicon）里面全是模式，不怕冗余。与句法变换有接口，所以也不是完全没有抽象性。

白:
不对，在插销和插座结合的时候，有个东西叫状态转换，它比模式更容易被机器接受，计算上更简洁。给人看是totally another story，跟实时计算没有一毛钱关系，根本是在编辑态下工作的。

“连”这个N+和N结合的时候，N这个位置上的状态是要发生变化的，某个开关打开。“都”这个S+和S结合的时候，S这个位置上的状态也是要发生变化的，某个开关关闭。其实准确地说“连”应该是X+，混混。

李:
具体说说，哪个变化 什么开关？

我套用白老师：没有小词负载的结构不可以用模式去识别的。最多不过是冗余。冗余换来的是接地气。一眼看模式 就可以知道背后的语言现象。模式的最原始形式就是 ngram，那就是直接给语言拍照。当然我们比ngram高明太多，但继承了其接地气的特性。

白：
subcat有静态和动态两种。静态的词典说啥是啥，动态的随着分析动作而变。动态subcat实际上就是状态。它们跟着词，但是不属于cat。也就是说，词负载结构不等于仅cat负载结构。subcat也在分担负载结构。但这部分subcat已经跟怎么画依存关系脱钩了，直接对接语义，所以不画出来。

李:
从词义到逻辑语义的 subcat，最完美的体现是董老师的知网。

白:
其实，模式与纯粹的二元关系本来就捏不到一起。模式往往代表多元关系，而多元关系是二元关系的组合。用动态subcat，可以借二元关系的壳，把多元关系重组起来。

李:
从词到句法的subcat最粗糙的体现在牛津 朗曼词典里面。纽约大学的两部词典（COMPLEX and NOMLEX）稍微好一些，那是一帮爱打瞌睡 动机不专的语言学博士生在名导督促下编制。显然没有nlp历练 纯粹为交差。句法subcat最完美的体现自然是：立委牌2017新版语言学专家词典。

白:
我觉得判别标准不能混淆。计算上怎么精准方便是一回事，人看了是否感觉优雅是另一回事。两者之间不能两全的时候，计算语言学要优先考虑“计算”，人看到什么，是可以用UI来转换弥补的。二元关系在计算上的优势，不用足了天理不容。

李：
模式也是有限状态 怕啥。专家词典不仅仅是有限状态，而且专家词典还可以建立索引来提效。其实 在绕过了中心嵌套的陷阱（我把它叫作乔老爷圈套）以后 计算优势在其他几个指标中 已经退居后位。除非是用在大数据实时处理的现场 计算的考量不是紧要的。所谓二元关系vs模式匹配的关系 说到底就是 bigram 与 ngram 的对比。 有点像排列和组合的对比。只要这个n 是相当有限的 通常不过五元，最常用的模式在三元左右。由于mult-level的模块化效应，三元左右的模式就可以涵盖几乎所有的远程（long-distance）句法。因此计算通常不会成为系统应用的瓶颈。

【相关】

【语义计算：李白对话录系列】

《朝华午拾》总目录