转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-1028040.html

上一篇：【李白之17：“我的人回来了, 可心还在路上”】
下一篇：Trap of Information Overdose

【立委按】专业探讨的时候，第一要义是互相搞懂各自的术语。老司机的毛病是经年积淀，自成体系，自创术语，不拘一格。白老师有一套自己的术语，立委也有一套术语。好在过去一年来，在白老师的语义计算群唠嗑唠久了，互相开始明白了各自术语的所指。但对于后学，很可能就麻烦了。为深入虎穴，三探奥秘，我把相关术语编辑在篇末，供各位查阅，不准确处可请白老师指正。

白：
我们先解决“谁和谁发生关系”而不必具体明确“是何种关系”，只笼统地分成：“a是b的直接成分”、“a是b的修饰成分”以及“a是b的合并成分”三种情况。

洪:
@wei 八九十年代 Steven Small 有套Word Expert distribute parsing理论，当时ucsd的Garrison Cottrell和 umass的 wendy lehnert也有类似研究。

白:
word expert理论当年也跟踪过，因为跟汉语实际相差太远，后来不了了之了。

我:
Small 的工作以前常引用，因为我导师刘老师给自己的 MT 机制也取名叫专家词典。术语撞车了，不得不引。句法词典化作为大的方向，在parsing的人以及整个的NLP共同体，长期以来是有相当大共识的，虽然各有做法不同（GPSG以后盛行的词典主义的LFG和HPSG就是这种共识的一个反映）。白老师的分步走，想来是一条结合大数据和词典化的大道。第一步只做 dependency，而且允许以后反悔。只依赖词典，先塔个句法的架子，靠中间件的语义化操作来减除伪歧义的困扰。Parsing 的语义化不外两个层面，一路是 nodes 的语义，即wsd；另一路是 arcs 的语义，就是 matcher 的结构消歧工作，为了求解靠谱的 parses（白老师所谓二元关系）。其后的细线条逻辑语义解析，包括部分二元关系的休眠唤醒以及揭示隐藏的逻辑语义关系，算是深度语义计算。这两路靠的都是大数据与初始结构的“恋爱”结果来克服知识瓶颈，而不是靠带标的treebank。其中最有意思的工作应该是这个无监督大数据与初结构的恋爱学习过程，貌似水性杨花 漫天撒网 愿者上钩，最后根据统计性落实各自秉性与最佳搭配。等着听白老师这个无监督的核爆炸吧，大数据引爆这种针对 deep parsing 的语义知识习得，据说可借力深度学习的 RNN 机制。

白:
不务虚了，讨论点昨天出的具体的例子吧。总会有突如其来的不带介词的NP，让没有坑的VP措手不及。躲得过初一躲不过十五。大数据会告诉我们什么呢？比如，“那堆砖让我垒了鸡窝了”，垒，没有预备坑给“那堆砖”，怎么办？

我:
不务虚 那请教白老师几个问题：第一层词典化二元parsing 是 nondeterministic 吗
还是绝对 deterministic？那么粗糙的 parsing - 如果是后者的话，对后去的学习和反悔 感觉会不够给力。

白:
大数据变了，结果会不同。这算nondeterministic？

我:
不算。那是两套系统，依据的是不同的数据和训练，在不同的时间框架。
不是说不需要大数据吗？连二元关系的性质都模糊，就是先勾搭上而已。

白:
不需要带标大数据。性质可以模糊，但约束必须明确。比如萝卜什么时候占名额什么时候不占名额。Matcher不是语义中间件，他要用到语义中间件。wsd也要用到。一个确定节点标签，一个确定留下的二元关系。

我:
约束不就是词典里面的挖坑，实际中的填坑 ➕ 挖坑么？用的是 cat，因为一个词可以有多个 cats（or subcats），所以调用了 WSD 模块来决定。根据这个决定来填坑构成二元结构。好像就是这么个过程。

白:
“这碗猪”还记得吧。

我:
不搭没关系吧 - 开始的时候。

白:
【碗，猪】这个二元关系有还是没有，问中间件。没有，就不建立arc。虽然cat相配，也不建。

我:
那是大数据训练以后的事儿了，训练之前呢？语义中间件就是一个大数据训练出来的类似 hownet 的资源。在训练之前 大数据怎么结构化的？

白:
训练是独立的，跟matcher无关，跟ontology有关，ontology是结构化的

我:
无监督训练，总要有个啥吧。训练是独立的 offline 进行，利用大数据得出的语义相谐的统计性历史总结，作为 parsing 的资源。Matcher 是 online runner，来对新的 input 做 parsing 的。这跟我们专家去写 patterns 道理一样。训练的结果包含 ontology，
训练的支持难道不是结构化的大数据？这个结构怎么来的？谁给的第一推动？

白:
这是一个冷启动窗口长短的问题。matcher可以只看3个，大数据看13个。大数据的13个中包含被matcher拉近到3个的概率不低。

我:
拉近不是结构化的作为吗？

白:
大数据中非结构化的词串，十三个词里面“碗”和“猪”的共现，以及背后subcat的共现，同“碗”和“汤”的共现相比，这数据有统计意义不？我说的是“包含”。

我:
有意思。非结构化词串就是 ngram，13 词区间大体就是一个子句的长度，再长也没啥统计价值的关联了。

白:
碗，背后的subcat是“容器”“餐具”；汤，背后的subcat是“液体”“食物”。统计subcat共现，可以脱离具体的词例，获得大样本。在大窗口里进行，跑都跑不掉。所以，有无结构的说法是含混的。从parse角度讲，冷启动时无结构；从ontology角度讲，冷启动时结构很丰富。

我:
嗯，为了统计性，脱离具体词，先用 hownet 或 wordnet 支持一下。

白:
冷和热的唯一区别，就是有了冷的基础，热应该更好做。因为大窗口的关联都挖出来了，小窗口更不在话下。

只有一种情况，就是热的情况下，小窗口里面的关联，是把大窗口都覆盖不到的远距离关联拉近了的结果，这种会失手。

我:
好，在 onyology 支持下，在13词窗口内，系统学到了“碗”与“汤”的搭配，so what？

白:
在遇到这碗猪的时候，会选择不match，把“这碗”留着，让“猪”去找自己的坑

我:
这口气得憋多久啊

白:
就是所谓的“过程性因素”，用中间件的查询结果来控制，而不是用手编的语言学知识或规则来控制。

我:
停下的意思类似于入栈。稍有闪失就沉底出不来了。

白:
对啊，RNN+栈。入栈，等着填坑

我:
不知道栈有多深

白:
出不来的情况，参见刚才的例子 “那堆砖让我垒了鸡窝了”。在“垒”只有两个坑的情况，“那堆砖”就是进去了出不来的，如果不想其他办法的话。

荀:
如果这种二元决策是确定性的过程，如果出错，填入的坑的萝卜就得靠唤醒了。

白:
不妨仔细推演下这个例子。

我:
赶巧这个【工具】的坑，处于可有可无的边缘。“垒” 其实也可以带三个坑的。

白:
如果大数据中，存在着大量“砖”带着明确的介词和“垒”共处一个窗口的情况呢？或者投射到subcat上，“建筑材料”带着介词和“建筑行为”共现？

荀:
如何辨认“工具”和“施事”就很重要了

我:
【工具主语】 与 【人主语】 几乎有类似的统计性。

荀:
需要用启发式信息，引导RNN训练，这个引导过程是至关重要的。

白:
这里有“我”，已经明确会填坑。我说的是，没有坑可填不可怕，翻翻大数据，历史上别人用它带什么介词，就把那个介词补上好了。然后就堂而皇之地做状语了。这些东东，有了ontology和大数据的结合，就不要人来操心了。

荀：
把subcat嵌入到RNN中，用启发式信息结合LM训练方式引导RNN编织权重。

我:
如果加上显性形式“用”，工具作为萝卜有很多数据。

白:
我昨天出了那么多例子，伟哥居然没觉出用心良苦：

“这些纸能写很多字”
“这些铁可以打很多钉子”

荀：
[用]这些铁可以打很多钉子
[在]这些纸能写很多字

白:
从形式上，为严谨起见，我们不会去给这个句子凭空添加任何一个莫须有的介词，但总可以用一个不占位置的虚介词吧……
【phi】这些铁可以打很多钉子。

荀:
利用大数据可以做“小词“还原，这对缺少标记的汉语很重要了。

白 :
哈
至少有了这个phi，栈里的不会出不来了。

荀:
借助大数据，RNN做“还原”这类事情很在行。把小词“虚化”，也是一种subcat处理。抓住了小词就抓住了汉语结构命门，白老师在这上花足了心思。对句子做“结构归一化”处理。

白:
推而广之，就是利用大资源+大数据把看起来不那么规范的句子有理有据地整理成更规范的，这样parser负担就轻了，无需独自面对复杂情况。“这场火多亏消防队来得及时”，这里的“这场火”同样面临“没给留坑”的尴尬。但是，把句子中的“火”“消防队”两个实词送入中间件，可以发现与他们共现频次相当高的“救”。有“救”垫底，就可以引入及物的虚动词phi，这样萝卜和坑就相安无事了。

荀:
白老师提到的parser需要确定的三种关系，权重信息编织在网中了，在应用时，词典发出请求，RNN做认定。Parsing就是做<W1,W2,Relation>认定的过程， W1或者W2 可以是小词。 功夫在于Relation定义，在承载结构的小词处理以及<W1,W2,Relation>训练过程，白老师对这些都有一套不同以往的做法。

我:
如果没有坑可跳，就自己挖个坑去跳，这也是 mods 的常规了。在形态语言中，mods 有显性小词或词尾帮助确定该怎么挖坑自裁。在裸奔的汉语，形式没了，只好靠搭配。

白:
救火这个例子，已经不是subcat嵌入了，根本就是词嵌入。

我:
wait：“这场火多亏消防队来得及时”，这里的“这场火”同样面临“没给留坑”的尴尬。

咱们走一走这场火。哪里出来的“救火”，“消防队”本体里面的吗？Hownet 里面肯定有。

常规的做法是，遇到句首 np 没法填坑，就给个 topic 标签。有点像英语的 as for，with regards to，topic 很像pp做的状语。往后找一个谓语挂靠：“这场火” 挂靠到 “来”。

白:
人家只有一个坑，还是给human预留的。

我:
不需要啊。状语是随机的。状语可以看成是不填坑，而是挖坑，挖个坑让谓语填进去
或者让自己跳进去 再去找主儿。

白:
比如“为了”？

我:
想不出来为什么要绕那么大弯，让“救火”出来救驾。Topic 式状语，无需那么清晰的标签，就是把np 降级为 pp。至于什么 p 什么格，另说着。

世界语有个万能介词 je，柴门霍夫这样解说：介词就是格，都是确定性语义的。
几十个介词 就是几十个格。但是如果有一个状语，你不知道哪个介词合适
或者你懒得费劲琢磨什么格合适，你就用 je。与前面提的phi，异曲同工啊。

白:
那样活儿太糙。补介词合适还是补动词合适，大数据说了算。

我:
用了 je 就确定了其地位。不是没有道理。人如果要清晰，他可以有清晰的形式，譬如介词或词尾。如果他不用，那就模糊。虽然模糊，句法地位和关系还是大体确定了。这类模糊要确定语义关系，可以在后面的语义模块（我以前也叫它语义中间件）决定，而不是白老师的中间件在parsing 过程中调用。我选择把二者分开，因为这类情形句法没有到走投无路，就算耍个流氓 亦无不可。先躲过初一，到15再说。其实 15 到了，要求很可能与初一不一样了。人走茶凉不了了之也是有的。

白:
数据支持的话，可以冒进一点。中间件就是在过程中调用啊，否则有啥用。

我:
deep parsing 的过程可以分两个阶段，两个模块：句法和语义。我叫语义中间件是指它在句法模块之后，产品语义落地之前，夹在中间。怎么没用？几乎所有的 hidden 逻辑语义，都可以留到这里做，而不必在句法模块做。

不仅句法模块内部可以多层去做，句法到逻辑语义，也可以分开，成为两个层面的 parsing，Syntactic parsing to semantic parsing。非谓语动词的主宾等都可以后延，
句法只要确定其状语还是定语或补足语身份即可。对于谓语的主宾等，也可以先在句法做一个糙活，到语义中间件再细化或修正。糙活是不到不得已不调用 ontology，如 np 主语，管他 【human】 还是 【instrument】：

张三砍了李四
斧头砍了李四

开始都是同一个parse。

张三吃了大餐
乌云吃了月亮

也是如此。

白:
现在还都没说定性，只说定位，谁跟谁有关系。结论是，就这么糙的事儿，也得动用ontology。

我:
句法不必要太细。语义可以细，但那个活儿可以悠着点，做多少算多少。

回到白老师前面给的句子，试试我目前语义模块还没丰富完善的 parsing：

“那堆砖让我给搭鸡窝了”
“这辆车能坐六个人”
“这个方向不被看好”
“这些铁可以打很多钉子”
“这些纸能写很多字”

see，句法架子是出来了，但未尽如意的语义还有一步之遥。这一步补不补，不紧急，因为语义落地的时候，如果是 integrated 一体化的直通车，而不是提供给第三方做 offshelf support 的，就可以在落地模块内部协调。譬如，“坐车” 带了“六个人” 为 O，ideally，语义模块应该把 “六个人” 从句法的 O 转为 逻辑语义的 S。但是，如果是内部协调，转不转也无所谓。O 不过是一个符号而已。词驱动落地的时候，“坐车”的 arg 是 O 或 S，完全不必计较。当然，如果要补足这一步，虽然琐细，但真要做也不难。在没弄清楚多少利益之前，懒得做这细活。同理：“那堆砖”最好是加一条线，连上“搭”，标签是 【Instrument】。“这个方向不被看好”已经把表层的小词 “被” 带入考量，直接给了 O，一切到位，没有可做了。“打铁” 和 “钉子”，最好是加上标签【Result】。最后一句，最好给 S 进一步加上逻辑语义标签【Instrument】or 【Material】，但其实落地也未必需要这个，就是加上了显得很酷，很智能，让人看着爽，倒未必是对落地产品真地就有多大利益。

【术语 Index】

Matcher：the syntactic parsing program，有时候我们叫 runner，在白老师的系统里面，就是接受输入文句，对其二元依存关系解析的模块。

WSD：与 community 的依据义项划分的定义有别，白老师的 WSD 模块指的是：在词负载结构的体系里，一个具体的词负载了好几种可能的结构，结合上下文选择其中一种的模块，称之为wsd模块。事实上，这里的WSD 是利用大数据得来的词与词或其上位概念之间的语义相谐，来决定采纳某种区分一个词不同用法的扩展的 POS tags or 白老师所谓 subcats，来帮助结构消歧。粗线条义项的区分成为二元关系结构消歧的副产品。当（细线条）义项区别不影响结构的时候，义项区分就不是这个WSD模块的任务。

二元关系：两个词之间的句法依存关系（bianry dependency）。白老师的系统分为三类：修饰关系（如 定语、状语），算元（args）关系（如主语、宾语）和合并关系。

POS（cat）：part-of-speech (or category，相对于 subcat 子类而言）词类，不必是 PennTree 定义的集合。作为模块，指的是根据系统给定的词类标准，自动做词性标注。一个词可能跨类，POS 模块可以根据上下文决定最合适的类别（词性）。在白老师的系统中，是所谓 WSD 模块做这个 POS 的事儿，来供给 Matcher 充当合法填坑的 candidates。在白老师的系统，我们可以把 POS 的词性标注理解为粗线条的 WSD。不影响结构的词义区分不是白老师所说的 WSD 模块的任务，虽然 community 的 WSD 不是这样定义的。

subcat：subcat 的原义指的是谓词的子类，这个子类对应了这个词的特定句型（譬如，双宾句型，宾+宾补句型，等）。白老师说的 subcat 扩展到不一定具有对应句型的子类。譬如，碗，背后的subcat是“容器”“餐具”；汤，背后的subcat是“液体”“食物”。这实际上是本体语义（ontology）的层级结构，如 ISA taxonomy chain：碗 ISA 餐具，餐具 ISA 工具，工具 ISA 商品；商品 ISA 人造物品；人造物品 ISA 物品；物品 ISA 实体（逻辑名词，这是这个 chain 的顶端节点 TOP 了）。

“耍流氓”：指的是对于二元依存关系不能定性，但是可以认定具有某种关系。汉语句法中，句首的名词短语在没有确定其性质是主语、宾语或定语、状语之前，往往先给它一个 Topic 标签，挂靠到后面的谓语身上，白老师认为这就是耍流氓。同理，当两个实词之间的关系基本可以确认，但是不能定性的时候，我们往往根据其出现的先后次序，让 parser 给一个 Next 的标签把二者连上，作为一个增强句法分析器鲁棒性（robustness）和查全率（recall）的打补丁的手段。这也算是先耍一下流氓，因为理论上后去还是需要语义模块去确认是何种关系才算深度分析到位。如果是两个中文动词一先一后系统给了 Next，其默认关系是【接续】，就是汉语文法书上所谓的“连动”结构。

Topic：汉语分析中，句首名词短语如果不直接做主语、宾语等，很多分析就给 一个Topic（主题）的标签。汉语文法的一个突出语言句型现象就是所谓双主语句（常常分析成一个Topic or 大主语，加一个小主语：譬如，他身体特别好。这家公司业绩直线上升。）由于这种关系逻辑语义的性质不明，聊胜于无，所以也称这种二元关系的建立为“耍流氓”。

Next：两个词一先一后，但不能确认他们发生了什么句法语义关系，系统常常给一个特殊的关系标签，叫 Next，其默认关系是【接续】。 这是一个增强句法分析器鲁棒性（robustness）和查全率（recall）的打补丁的手段。由于这种关系逻辑语义的性质不明，聊胜于无，所以也称建立这种二元关系为“耍流氓”。

mod：修饰成分或关系。包括定语、状语、补语。

arg：算元成分或关系。包括主语、宾语、（宾语）补足语或间接宾语。

Hownet：董振东前辈发明的面向MT和NLP服务的跨语言本体知识（ontology）网络《知网》的英文名称。

小词：教科书上叫做功能词。包括介词、连词、代词、副词、感叹词、联系动词等。

伪歧义：也叫伪路径，指的是 parsers 产生出来的貌似成功但没有价值的结构分析路径。伪歧义，是相对于真（结构）歧义而言。真的结构歧义的典型案例是某些 PP-attachment 的现象，同一个 PP 可以理解为两种可能：做宾语的后置定语；或做谓语动词的后置状语，这两个 parses 都是有效的语义解析。但是，很多传统的 parsers，会产生很多貌似成功解析输入文句的分析路径（numerous parses），给人以文句结构歧义严重的假象，但其实这些不同路径大多没有区别意义，是为伪歧义。这是一个困扰了传统 parsing 很多年的难题。白老师和立委的系统都利用不同的策略（包括休眠唤醒机制）很好地解决了这个问题。

中间件：白老师的所谓语义中间件，指的是在 ontology（本体知识库，如 HowNet，WordNet）的支持下，通过大数据训练得出来的语言词汇之间的语义相谐（各种关系之间的语义搭配）的知识库。这个中间件被 WSD 和 Matcher 模块调用作为对于输入文句的 parsing 的资源。立委以前的NLP博文种的所谓语义中间件虽然有与白老师的中间件相同的一面，但却是不同的所指。在立委的 deep parsing 的系统种，语义中间件不是一个知识库资源，而是指的句法模块后面的语义模块。这个模块利用句法框架，负责深度分析的逻辑语义细化、隐含的逻辑语义关系的解析、休眠唤醒新的语义结构关系（包括改正此前的错误路径），如果需要的话，也可以在这个模块做一些词义消歧工作（WSD的本义）。总之，这个语义模块是独立于领域，夹在句法分析之前和领域的语义落地之前，为了更好地服务于语义落地。为了不再混淆术语，立委考虑今后不再称此模块为中间件，而是把术语让出，就叫语义模块。

萝卜：指的是那些参与谓词结构（所谓 argument structure）所要求的实体角色的词，譬如充当主语、宾语、补足语的成分。谓词结构通常被认为是一个语句的核心语义。谓词以动词为主（但也有形容词和名词做谓词的），在词典主义（lexicalist）的系统中（白老师和立委的系统均属于词典主义），一个谓词的潜在的结构都标注在这个词的词典信息 subcat 里面。换句话说，谓词的 subcat 规定了它期望什么样的成分（所谓挖坑），需要什么样的词（萝卜）来填。譬如，“走路”挖了一个坑，需要一个优选语义位【human】的名词萝卜来充当其施事主语。再如，“喜欢” 挖了两个坑：谁喜欢什么。充当主语的是【human】名词，充当宾语的是几乎任何词。

坑：就是依存关系（dependency）的被预期的节点。对于谓词，其坑就是它预期的算元（args）成分，主语、宾语、补足语。对于修饰关系（mods），譬如定语、状语和（汉语）的补语，一般认为是附加的边缘语义，不占坑。也可以看成是修饰语预期了谓词，或看成是谓词不占坑地吃掉了修饰语。

填坑：一个词（包括代表短语的头词）根据谓词对坑的句法（甚至语义）要求，充当了其谓词结构的成分，建立了与谓词的二元关系（binary dependency），这个建构过程叫做填坑。谓词结构的成分填满了，核心语义就完整了，这个状态叫 saturated。

萝卜指标：指的就是坑。所谓不占萝卜指标，是说的一个词可以合法填两个坑的情形，其中一个坑不影响其填另一个坑的能力。听上去似乎与坑与填坑的概念出发点相违背，但在依存关系图的构建过程中，是必须考虑一个萝卜填多个坑（一个儿子多个老子）的情形才可以把依存关系进行到底（有些一个萝卜多个坑的情形在短语结构表达中，可以借助非终结节点避免）。

优选语义：最早由著名人工智能和机器翻译前辈 Wilks 提出的概念，指的是在本体网络（ontology）中，概念之间的语义相谐表现在自然语言的表达的时候，呈现的是一个区间，而不是一个固定的语义约束。譬如，【eat】这个概念对于【受事】的优选语义是【food】，但是这只是其优选，并不是一定要是【food】。语言表达的时候，优选语义可以根据句法的约束条件不断放松，以至于达到完全不相谐的程度（nonsense）。乔姆斯基认为，句法可以独立于这些语义相谐的约束，举的就是句法约束决定结构关系，偏离优选语义到极端的例子：Colorless green ideas sleep furiously。对于形态语言，句法独立性的原则有较多的证据。对于汉语，这个原则需要打折扣，合理利用优选语义的约束就成为汉语解析的关键依据。立委 parser 改造使用了 HowNet 来弥补句法形式的不足。白老师的系统是依靠大数据训练出来的中间件来实现优选语义的对 parsing 的约束。

逻辑语义：指的是深层结构关系。最早起源于乔姆斯基的深层结构和费尔默的深层格（关系）。中国NLP和MT的旗手级前辈董振东老师发扬光大，深化了这方面的研究，指出解析逻辑语义是深度自然语言理解的关键：所谓理解一个句子，主要就是理解了这个句子里面概念之间的逻辑语义，谁是施事，谁是受事，时间、地点、条件，等等。在 community，对应于所谓 role labeling 的任务。一般而言，主谓宾定状补之类的句法关系比较粗糙，这些是表层关系，一个语言深度解析器（deep parser）不仅要解析（decode）句法关系，而且要进一步揭示后面的逻辑语义关系，包括细化句法关系（譬如句法主语可以进一步标注为施事、受事、工具等逻辑语义，句法宾语可以标注为受事、对象、结果等逻辑语义，诸如此类），和揭示隐含的逻辑语义关系（所谓 hidden links，就是句法上没有直接联系但逻辑语义上具有直接联系的结构关系，譬如宾语是宾语补足语的隐藏的逻辑主语）。

休眠唤醒：在李白的系列研讨中，这个术语指的是一种把可能性较小的路径暂时搁置的parsing策略，被搁置的路径可以在适当的条件下被唤醒。这种策略据信反映了人的语言解析的过程，可以从段子、相声抖包袱等现象看到这个过程的表现。立委有系列博文专谈这个机制。譬如：【立委科普：结构歧义的休眠唤醒演义】

【相关】

【李白之18：白老师的秘密武器再探】

【李白之15：白老师的秘密武器探幽】

【李白对话录系列】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-1028715.html

上一篇：【李白之18：白老师的秘密武器再探】
下一篇：【李白之20：得字结构的处置及其结构表达】

虽然有跨国抄袭嫌疑，川普宣告，人民当家作主，米国人民今天站起来了!

川普今天总统登基，发表就职演说，谷歌神经翻译如下，请听（作为一个老机译，给这篇机器翻译打分的话，我会给忠实度85分，顺畅度90分，可懂度95分，个人觉得已经超越人工现场翻译的平均水平）：神经机器翻译的现场录音。

我们，美国公民，现在加入了伟大的国家努力，重建我们的国家，恢复其对我们所有人民的承诺。
在一起，我们将决定美国和世界的路线许多，未来几年。我们将面临挑战，我们将面临艰难，但我们将完成这项工作。

每四年，我们将采取这些步骤，进行有秩序和和平的权力转移，我们感谢奥巴马总统和第一夫人米歇尔奥巴马在这一过渡期间的恩典援助。他们是壮观的。谢谢。

然而，今天的仪式具有非常特殊的意义，因为今天我们不仅仅是将权力从一个政府转移到另一个政府，或从一个政党转移到另一个政府，而是我们从华盛顿转移权力，并将其交还给你，人民。

长期以来，我们国家首都的一个小团体获得了政府的奖励，而人民承担了成本。华盛顿蓬勃发展，但人民没有分享其财富。政治家兴旺，但工作离开，工厂关闭。企业保护自己，但不是我们国家的公民。他们的胜利不是你的胜利。他们的胜利不是你的胜利。虽然他们在我们国家的首都庆祝，但没有什么可以庆祝在我们的土地上奋斗的家庭。

所有的变化从这里开始，现在，因为这一刻是你的时刻，它属于你。

它属于今天聚集在这里的每个人，每个人都在整个美国。这是你的一天。这是你的庆祝。而这个，美利坚合众国，是你的国家。

真正重要的不是哪个党控制我们的政府，而是我们的政府是否由人民控制。

2017年1月20日将被记住为人民成为这个国家的统治者的那一天。

我们国家被遗忘的男人和女人将不再被忘记。

每个人都在听你的。你来自成千上万的人成为历史运动的一部分，世界从未见过的那些喜欢。

在这个运动的中心是一个关键的信念，一个国家存在为其公民服务。美国人想要他们的孩子的伟大的学校，他们的家庭的安全的邻里，并为自己好的工作。这些是对义人和公义的公正和合理的要求。

但对于我们太多的公民，存在一个不同的现实：母亲和儿童陷入我们内部城市的贫困;生锈的工厂散落像墓碑横跨我们国家的景观;教育制度与现金齐齐，但使我们年轻美丽的学生失去了所有的知识;和犯罪，帮派和毒品偷走了太多的生命，抢夺了我们国家这么多未实现的潜力。

这美国大屠杀停在这里，现在停止。

我们是一个国家，他们的痛苦是我们的痛苦。他们的梦想是我们的梦想。他们的成功将是我们的成功。我们分享一颗心，一个家，一个光荣的命运。我今天所做的宣誓就是对所有美国人的忠诚宣誓。

几十年来，我们以牺牲美国工业为代价丰富了外国产业;补贴了其他国家的军队，同时允许我们的军队非常悲伤的消耗。我们捍卫了其他国家的边界 ，拒绝为自己辩护。

在海外花费了数万亿美元，美国的基础设施已经失修和腐烂。我们已经使其他国家富有，而我们国家的财富，实力和信心已经消失了地平线。

一个接一个地，工厂关闭了，离开了我们的岸边，甚至没有想到数百万和数百万留在美国工人。我们的中产阶级的财富已经从他们的家里被剥夺，然后再分配到世界各地。

但这是过去。现在，我们只看到未来。

我们今天聚集在这里，正在发布一项新法令，在每个城市，每个外国首都和每一个权力大厅上听到。从今天起，我们的土地将有一个新的愿景。从这一天开始，它将只有美国第一，美国第一。

每一项关于贸易，税收，移民，外交事务的决定都将使美国工人和美国家庭受益。我们必须保护我们的边界免受其他国家的蹂躏，使我们的产品，偷窃我们的公司和破坏我们的工作。

保护将导致巨大的繁荣和力量。我会为我的身体每一口气，为你而战，我永远不会让你失望。

美国将再次赢得胜利，赢得前所未有的胜利。

我们将带回我们的工作。

我们将带回我们的边界。

我们将会

Google Translated from:

TRUMP: Chief Justice Roberts, President Carter, President Clinton, President Bush, President Obama, fellow Americans and people of the world, thank you.

We, the citizens of America, are now joined in a great national effort to rebuild our country and restore its promise for all of our people.
Together, we will determine the course of America and the world for many, many years to come. We will face challenges, we will confront hardships, but we will get the job done.

Every four years, we gather on these steps to carry out the orderly and peaceful transfer of power, and we are grateful to President Obama and First Lady Michelle Obama for their gracious aid throughout this transition. They have been magnificent. Thank you.

Today's ceremony, however, has very special meaning because today, we are not merely transferring power from one administration to another or from one party to another, but we are transferring power from Washington, D.C. and giving it back to you, the people.

For too long, a small group in our nation's capital has reaped the rewards of government while the people have borne the cost. Washington flourished, but the people did not share in its wealth. Politicians prospered, but the jobs left and the factories closed. The establishment protected itself, but not the citizens of our country. Their victories have not been your victories. Their triumphs have not been your triumphs. And while they celebrated in our nation's capital, there was little to celebrate for struggling families all across our land.

That all changes starting right here and right now because this moment is your moment, it belongs to you.

It belongs to everyone gathered here today and everyone watching all across America. This is your day. This is your celebration. And this, the United States of America, is your country.

What truly matters is not which party controls our government, but whether our government is controlled by the people.

January 20th, 2017 will be remembered as the day the people became the rulers of this nation again.

The forgotten men and women of our country will be forgotten no longer.

Everyone is listening to you now. You came by the tens of millions to become part of a historic movement, the likes of which the world has never seen before.

At the center of this movement is a crucial conviction, that a nation exists to serve its citizens. Americans want great schools for their children, safe neighborhoods for their families, and good jobs for themselves. These are just and reasonable demands of righteous people and a righteous public.

But for too many of our citizens, a different reality exists: mothers and children trapped in poverty in our inner cities; rusted out factories scattered like tombstones across the landscape of our nation; an education system flush with cash, but which leaves our young and beautiful students deprived of all knowledge; and the crime and the gangs and the drugs that have stolen too many lives and robbed our country of so much unrealized potential.

This American carnage stops right here and stops right now.

We are one nation and their pain is our pain. Their dreams are our dreams. And their success will be our success. We share one heart, one home, and one glorious destiny. The oath of office I take today is an oath of allegiance to all Americans.

For many decades, we've enriched foreign industry at the expense of American industry; subsidized the armies of other countries, while allowing for the very sad depletion of our military. We've defended other nations' borders while refusing to defend our own.

And spent trillions and trillions of dollars overseas while America's infrastructure has fallen into disrepair and decay. We've made other countries rich, while the wealth, strength and confidence of our country has dissipated over the horizon.

One by one, the factories shuttered and left our shores, with not even a thought about the millions and millions of American workers that were left behind. The wealth of our middle class has been ripped from their homes and then redistributed all across the world.

But that is the past. And now, we are looking only to the future.

We assembled here today are issuing a new decree to be heard in every city, in every foreign capital, and in every hall of power. From this day forward, a new vision will govern our land. From this day forward, it's going to be only America first, America first.

Every decision on trade, on taxes, on immigration, on foreign affairs will be made to benefit American workers and American families. We must protect our borders from the ravages of other countries making our products, stealing our companies and destroying our jobs.

Protection will lead to great prosperity and strength. I will fight for you with every breath in my body, and I will never ever let you down.

America will start winning again, winning like never before.

We will bring back our jobs.

We will bring back our borders.

We will ......

【相关】

Newest GNMT: time to witness the miracle of Google Translate

【谷歌NMT，见证奇迹的时刻】

【关于机器翻译】

《朝华午拾》总目录

【置顶：立委NLP博文一览】

【立委NLP频道】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-1028954.html

上一篇：【李白之18：白老师的秘密武器再探】
下一篇：【李白之20：得字结构的处置及其结构表达】

我:
哥仨老革命在去 IBM 的 traffic 中 去大名鼎鼎的沃森（Watson）系统探秘

洪:
讲者是这位印度籍女士：http://researcher.watson.ibm.com/researcher/view.php?person=us-vibha.sinha:

郭:
比较有意思的是她后面讲的三点:

1. LSTM based intent recognition and entity extraction

2. "tone" recognition
这里tone指的是从一句话（书面语）反应出的说话人的喜怒哀乐和处事方式等

3. personality recognition
主要基于心理学的分类，用200到2000条tweets训练

她重点强调的是，通过增加tone和personality的识别，人机对话可以有更高的可接受度。

我:
唐老师 诸位 汇报一下昨天的听闻。上面 郭老师也总结了几条，很好。我再说几点。
话说三位老革命慕名而去，这个 meet-up 一共才来了20几位听众吧 大概湾区此类活动甚多 marketing 不够的话 也难。据说北京的 AI 沙龙，弄个花哨一点的题目 往往门庭若市。

1. 没有什么 surprises 但参加沙龙的好处是可以问问题和可以听别人问问题，而主讲人常常在回答的时候给出一些书面没有的数据和细节。否则的话，各种资料都在网上（最后的 slide 给了链接），要写利人似的调研报告，只要不怕苦，有的是资料。

听讲的另一个好处是，主讲人事先已经组织好材料讲解，可以快速了解一个项目的概貌。

2. 特地替唐老师问了他钟情的 Prolog，问你们有用吗，在什么模块用。主讲人说，没有用。我说有报道说有用到。她说，她没听说，至少在她主讲的已经产品化的这个沃森 chatbot 的组建 toolkit 里面没有 Prolog。当然她不排除某个小组或个人 在沃森的某个项目或模块用到。IBM 对 AI 的投入增大，在沃森的名号下的各种研究项目和小组很多。

马:
我问过了IBM中国的，在沃森参加电视节目版本中没有用prolog，但是后续的版本中，确实用到了prolog

陈:
它是很多services构成，用不会奇怪，尤其是某些既有系统

我:

3. 现在不少巨头都在 offer 这样的 toolkit，问微软 offer 的 cortana 的 toolkit 与你们沃森的这套有啥不同。回答是，非常类似，不过她自认为沃森质量更好。亚马逊也有类似的 offer。

所以回来路上，我们就谈到这个 bots 遍地开花的场景。郭老师说，现如今谁要想做一个领域内的 bot，或自己的 app 做一个 bot 接口，根本就不需要编程。只要准备好领域的 experts，把数据准备好，用这些巨头的工具箱就可以构建一个出来。也一样可以 deploy 到 messenger 或嵌入其他场景，这几乎是一条龙的云服务。

当然 用这些服务是要交钱的，但主讲人说很便宜很便宜的，郭兄说，真用上了，其实也不便宜。便宜与否放一边，至少现如今，bots 的门槛很低，需要的不是软件人才，而是领域数据的人。于是，我看到一种前景，以前毕业即失业的语言学家、图书馆业人士，将来可能成为 AI 的主力，只有对数据和细节敏感的人，最终才是 AI 接口的血肉构筑者，反正架构是现成通用的。这个细想想是有道理的。这是沃森 API calls 的价格。

我:
这就回到我们以前议论过的话题。AI 创业，如果做平台或工具箱，初创公司怎么敌得过巨头呢？我觉得几乎是死路。

大而言之 做平台和工具箱创业的，历史上就没见过什么成功案例（不排除做了被收购那种，那也是“成功”，如果你的技术有幸被巨头看中：其实昨晚介绍的沃森系统的一个重要组件 AlchomyLanguage 就是收购的，洪爷知道收购的来路和细节）。

白:
麦当劳玩法，方便，质量可控，但绝非美食，虽然是“美”食。

我:
不错，这些巨头的 offerring 都是麦当劳式的流程。创业的空间，从工具角度，可以是中华料理的配方辅助工具之类。不过，还是那句话，最好绕过平台本身创业的思维，而是用巨头的工具或者自家建造匕首去做领域的 AI，这样的创业应该具有更大的空间和更多的可能性。

对于 NLP（AI之一种） 我写过 n 篇博文强调，所有的 offshelf 的平台和toolkit（譬如 历史悠久的GATE），甚至一个小插件（譬如 Brill Tagger or some Chinese word segmenter）都不好用。可以 prototyping 但如果稍微有点长期观点 要建一个大规模的NLP的应用，还是一切自家建造为好。当然，自家建造的门槛很高，多数人造不起，也没这个 architect 来指挥。但最终是，自家建造的胜出，从质量上说（质量包括速度、鲁棒性、精度广度、领域的可适应性等关键综合指标）。

巨头的工具箱的产品 offers 一开始也不赚钱，但他们的研发积累已经做了，且还在不断投入，不产品化成工具箱不是傻瓜吗，赚多少算多少。如果真到了AI bots 遍地开花的时候，他们凭借巨大的平台优势，赚钱也是可能的。小公司这条路没门吧。如果你的 offer 的确 unique，譬如是中华料理，譬如是伟哥的 parsing，你可能会吸引一批使用者。但想赚钱必须有规模，而 component tech 或平台工具之类，在小公司的环境中，是成不了规模的。所以不要想赚钱的事儿。

赚钱靠的是产品，而不是工具，这是AI创业铁律。

当然，通过平台或工具打出影响，做 marketing，曲线救国创业，另当别论。
回到 meet-up：

4. bots 构建的核心当然是 conversations 的训练工具。IBM沃森的工具用的是深度神经。

对于 bots，input 是确定的，就是用 bots 的人的输入。自然语言的语音也好 文字也好，语音反正也要转化为文字 所以我们面对的就是人机接口中的“人话”，理论上无止境 千变万化。

bots 的 output 呢？

在目前的框架里，在绝大多数实际场景，这个 output 都是以极为有限的集合
最典型的案例是为 apps（天气、股票、时间之类） 做 bots 作为 apps 的人机接口，
其 output 就是 app 里面的 commands 集合。于是 bot 产品定义为从无限到有限的映射，这是一个典型的分类场景。于是沃森提供这个深度学习为基础的工具帮助你训练你所需要的 classifiers，这是标准做法 无甚新意。

数据越多，分类质量越好。千变万化的死敌是稀疏数据。好在对于 bots，数据的收集会是一个边使用边加强的过程。如果你的 bots 开始有用户，你就形成了正循环，数据源源而来，你不断打磨、训练，这些都是可以 streamline 的流水作业，就越来越好。Siri 如此，Echo 也如此。

白:
分类本身是不带参数的，而bots的应对必须是带参数的，这是硬伤。
拿分类来做对话是看得到天花板的。

我:
I cannot agree more :=)

这里其实是有历史渊源的。IBM 做问答，一直是把问题简化为分类。18 年前我们在第一次 QA 竞赛（TREC-8）中交流 就是如此，这么多年这个核心做法一直不变。当时我们的QA成绩最好，得分66%，沃森的系统印象是40%左右，他们的组长就追在后面问，我们思路差不多呀，都是 question intents（我们叫 asking points，比多数 intents 其实更聚焦），外加 Named Entity 的support。我说我们还用到了语言结构啊。

直到今天他们仍然是没有句法分析，更甭提深度分析。他们当年的 QA 就是基于两点：
1. 问句分类：试图了解 intents；2. NE。有了这两条，通过 keywords 检索作为 context，在大数据中寻找答案，对于 factoid questions 是不难的（见【立委科普：问答系统的前生今世】）。这就是沃森打败人类的基本原理，一点也不奥秘，从来没有根本改变。现在这一套继续体现在其 bots 工具箱 offering 里面。

洪:

昨晚Watson讲座听，
今早广告已跟进。
IBM可真下本，
今天我试Bluemix云。

我:
2.  因此 conversations 训练，其核心就是两条：一个是 intents classification （这个 intents 是根据 output 的需求来定义的），一个 NE，不过 NE 是他们已经训练好的模块（NE有一定的domain独立性），用户只是做一些微调和增强而已。

顺便插一句，这几天一直在想，AI 现在的主打就是深度神经，所有的希望都寄托在神经上。但无论怎么神经，都不改 supervised learning 的本性：所以，我的问题是：你怎么克服缺乏带标大数据的知识瓶颈？

ok 你把机器翻译玩转了。因为 MT 有几乎无限的 “自然” 带标数据（其实也不是自然了，也是人工，幸运的是这些人力是历史的积累，是人类翻译活动的副产品，是不需要开发者花钱的 free ride）。可其他的 ai 和 nlp 应用呢，你还可以像 MT 这样幸运 这样享用免费午餐吗？

现在想，紧接着 MT 的具有大数据的热门应用是什么？非 bots 莫属。
对于 bots，数据已经有一定的积累了，其最大的特点在于，bots 的使用过程，数据就会源源而来。问题是 这些数据是对路的，real life data from the field，但还是不带标啊。所以，bots 的前景就是玩的跟数据打仗：可以雇佣人去没完没了地给数据做标注。这是一个很像卓别林的【摩登时代】的AI工厂的场景，或者是列宁同志攻打冬宫的人海战术。看上去很笨，但可以确定的是，bots 会越来越“智能”，应对的场景也越来越多。应了那句老话，有多少人工，就有多少智能。然而，这不是、也不应该是 唯一的克服知识瓶颈的做法。

毛:
嗯，有多少人工，就有多少智能。这话说得好。

我:
但这个景象成为常规 也不错 至少是帮助解决了一些白领就业。是用高级的专家知识去编写规则来提高系统质量，还是利用普罗标注去提高质量，从帮助就业和维稳角度看，几乎蛮力似的深度神经对于标注大数据的无休止的渴望和胃口，对于社会似乎更为有利。为了社会稳定和世界和平，我们该看好这种蛮力。我们做深度分析和理解的专家，试图尽可能逼真地去模拟人的智能过程，但对蛮力也应该起一份敬意。

将来的AI，什么人都可做：1. 你发现一个领域的 AI 需求； 2. 你雇佣一个对这个需求可以形式化定义的设计家； 3. 你调用巨头的一个通用的 AI 工具箱（譬如 TensorFlow） 或面向专项产品的工具箱（譬如 bot 的沃森工具箱） 4 你雇佣一批失业但受过教育的普罗，像富士康一样训练他们在流水线上去根据设计家的定义去标注数据、测试系统，你于是通过 AI 创造了价值，不排除你的产品会火。因为产品火不火已经不是技术了，而是你满足需求的产品角度。

3. 但是 正如白老师说的 这种用分类来简化问题的 AI 产品化，走不远。它可能满足一些特定领域的特定的需求 但是后劲不足是显然的。其中一个痛点或挑战就是，这种东西走不出三步，三步以上就抓瞎。如果你的应用可以在三步之内就基本满足需求，没问题。

bots 最显然的有利可图的应用场景是客服。一般而言，bots 取代和补充客服是大势所趋，因为客服的知识资源和记忆，根本没法与我们可以灌输给 bots 的知识来相比。利用知识去回答客户疑问，人不如机，是可以想见的。但是 观察一个好的客服与客户的交互 可以发现，三步的交流模型是远远无法满足稍微复杂一点的场景的。三步的说法是一个比喻，总之是目前的工具箱，对于较长时期的对话，还是束手无策。

bots 对用户话语的理解简化为 classification，以此为基础对用户的回答就不是那么简单了。目前提供的做法是：因为 intents 是有限的集合，是 classification 的结果，那么对于每一个 intent 可以预知答案（存在数据库的 hand-crafted text snippet）或回应（譬如展示一个图，譬如天气app的今日天气图表)。 这些预制的答案，听上去非常自然、生动甚至诙谐，它们都是领域专家的作品。且不说这些预制的 snippets，如何根据classification hierarchy 本身需要做不同组装，在存于数据库里面的核心应答的预制以外，还可以加上情感的维度，还可以加上 personalized 的维度，这些都可以使得对话更加人性化、自然化，但每加一个维度就意味着我们开始接近组装式策略的组合爆炸后果。三步、三维以上就无法收拾。

我问主讲人，你的这些预先制定好的应答片段，按照你的工具的组装方式，不就是一个 decision tree 吗？回答是，的确，就是一个 decision tree 的做法。然后她说，有不少研究想突破这种应答模式，但都是在探索，没有到可以产品化工具化的阶段。

郭老师说，谁要是有本事把人机的 “自然对话”能够延长到 20 分钟，换句话说 就是突破图灵测试，谁就是 AI bots 的真正破局者。如果你证明你能做到，巨头会抢着来高价收购你的。这是所有做 bots 的所面临的共同挑战。

据说小冰最高记录是与单一的人谈了九个小时的心。但那不是真正的突破，那是遇到了一个异常人类。正常的人，我的体会是两分钟定律，你与小冰谈话 超不过两分钟。我试过多次，到了两分钟，它所露出来的破绽就让你无法忍受，除非自己铁心要自我折磨。其实 工业界要求的连续对话，不是小冰这种闲扯。而是针对一个稍微复杂一点的任务场景（譬如订票）如何用自然对话的假象去把相关的信息收集全，来最大限度地满足客户需求。

累了，先笔记和评论如上。其余还有一些有趣的点儿可以讨论，以后再说。这是交给我们唐老师的作业。

郭:
Amazon’s $2.5M ‘Alexa Prize’ seeks chatbot that can converse intelligently for 20 minutes

洪:
亚马逊正设大奖，
chatbot赛悬赏。
对话若超廿分长，
两半米粒到手上。// 2.5M

【相关】

【立委科普：问答系统的前生今世】

Amazon’s $2.5M ‘Alexa Prize’ seeks chatbot that can converse intelligently for 20 minutes

《微软小冰，两分钟定律》

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录  

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-1021860.html

上一篇：【语义计算：从神经机器翻译谈起】
下一篇：【从V个P到抓取邮电地址看 clear patterns 如何抵御 sparse data

“快叫爸爸小视频” 这样的东西 有社会语言学的味道 随着时代和潮流翻滚。在微信朋友圈及其提供的小视频功能风靡之前 小视频不是术语 不是合成词 也没有动词的引申用法。它就是一个定中结构的 NP，在句型中等价于说”把爸爸叫做小视频”，虽然常识是 “人（爸爸）不可以等价于物（视频）”。在语言的强制性subcat结构（叫NP1NP2）里面，常识是没有位置的。句法不需要顾及常识 正如 “鸡把我吃了”的违反常识一样 也正如乔姆斯基千古名句的 green ideas。
可是 社会语言学登场了 语言被置于流动的社会背景之下，小视频成了 technical term，然后又从术语融入了语言共同体的动词用法，正如谷歌从术语（专名）变成动词一样： “我还是先谷歌一下再回应吧”，“快小视频呀”，“一定要小视频这个精彩时刻”。
白:
“一下”强制“谷歌”为动词。半个括号已经有了 另半个没有也得有。
我:
于是 subcats 开始 compete，有了 competition，有了结构歧义 就有了常识出场的理由。顺应常识者于是推翻了句法的第一个 reading。
白:
你是我的小苹果，怎解？
我：
“你是我的小苹果”是强制性的句法啊，无论怎么理解这个苹果（到现在我也没有理解为什么把爱人或意中人叫做小苹果，是因为拿高大上的苹果比喻珍贵吗？）都与常识无关：你是我的 x，就是强行的句法等价关系。
“一下”强制“谷歌”为动词 这一类看似临时的强制 在语言共同体中逐渐从临时变成常态后就侵入了词汇。换句话说，“谷歌”在以前的词典里面是没有也无需“潜在动词”的标注（lexical candidate POS feature），因为几乎所有的动词用法都是零星的 句法强制的 无需词典 support 的。但是随着语言的发展 “谷歌”的动词用法逐渐变成了语言共同体司空见惯的表达方式（其动词用法的流行显得简洁、时髦甚至俏皮），这时候 语言的用法被反映在语言共同体的集体词汇表中，我们模型这个共同体的语言能力的时候 就开始标注其动词的可能性了。
金:
厉害，这抠的!金融语义在一边看热闹
我:
或问：这词典里面标注了（反映的是共同体集体意识到这种用法的流行）和不标注 有什么区别？
当然有区别。标注了 就意味着其动词用法作为一个合理的路径 参与 parsing 的正常竞争；不标注 虽然也不能排除临时的动词用法 但是因为缺乏了底部的词典支持 其动词用法的路径是默认不合法，除非句法（包括词法）的context逼迫它成为动词，这就是 “一哈”的所谓强盗句法： 不仅词典是绑架的天堂，句法也可以绑架。
白老师说：“兼语理解（叫某人做某事）有谓词性的坑不饱和，双宾理解（叫某人某称呼）有体词性的坑不饱和。如果拘泥于结构，二者半斤八两。但如果结合语境，非兼语理解是颠覆性的，兼语理解是常识性的。放着常识性的理解不选选择颠覆性的理解，说明心头的阴云不是一天两天了。冰冻三尺。”
重温一下白老师 作为对比，字字玑珠，而且妙趣啊。“冰冻三尺”就是社会语言学。
白
也可以说，冰冻三尺就是大数据
我:
我们学习语言学 模型句法 绝大多数都是针对现时的 把语言看成是一个静态的剖面 来研究它 模型它。这个也没大错 而且简化了问题。但是语言是流动的 社会语言学强调的就是这个流动性。流动自然反映在大数据中。因此对于静态的语言模型 需要不断的更新 如果有大数据 那就定时地 check 它。
白：
有个动态更新的中间件就够了
我:
陈原是个大家。他写的社会语言学很有趣味。在世界语场合 有幸聆听过陈原先生的世界语演讲：那个才华四射、感染力和个性特色 让人高山仰止。人家做语言学是业余 本职工作是出版商。据说是中国最权威的出版家，也是个左派社会活动家。
洪:
虽然解放初才入党，但应该早就是中共地下党员，三十年代初就在三联当编辑，胡愈之邹韬奋的部下，以前《读书》上一直有陈原的《在语词的密林里》
我:
陈原的那次演讲 与 黄华(我做翻译的那次)的演讲 都有一个共同的特点，就是表情丰富、富于感染力，能感受到人的 personality，都是“大家”。

【相关】

《我的世界语国》《朝华午拾：欧洲之行》

【置顶：立委科学网博客NLP博文一览（定期更新版）】

《朝华午拾》总目录

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-985924.html

上一篇：【河东河西，谁敢说SMT最终一定打得过规则MT？】
下一篇：Deep parsing 每日一析：内情曝光 vs 假货曝光

发布于

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-986168.html

上一篇：【河东河西，谁敢说SMT最终一定打得过规则MT？】
下一篇：Deep parsing 每日一析：内情曝光 vs 假货曝光

Deep parsing 每日一 fun： 雨是好雨，但风不正经

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-986563.html

上一篇：【立委科普：NLP核武器的奥秘】
下一篇：【语义计算沙龙：坐而论道谈“的”“地”】

就上面的parsing实例开一个小讲座吧。群里的学生辈的提问，老师辈的指正。

上图中显然把 “还” 分析错了，道理也明显，因为“还”这个词是特别常用的小词，副词性质，但在此句是用作动词，意思是“归还”。这样的错误就需要系统做细功夫去应对，因为稍不留神，你解决了这个 case，你引起更大的问题，毕竟在绝大多数场合还是个小词嘛。怎么个细活：可以考虑 “还” 与“信用卡” 的 动宾搭配，等于是把“洗澡”类的搭配延伸一下就可以了。

上图第二句的分析，就是我以前说过的结构歧义的应对。你看整个句法树，有三个 O （宾语） 的路径。其中两个是正确的【到-上海】； 【买-上海的飞机票】。第三个 O 【到-上海的飞机票】 是不对的。可以说，“到上海”和“买飞机票”，但不可以说“到飞机票”。这类结构歧义在汉语特别普遍，因为汉语没有宾格，加上汉语的小词 “的”的辖域是一个很大困扰。

在实践中，我们的策略就是句法分析尽量保存歧义（keep ambiguity），把可能的途径全部标示出来或休眠起来，这样就为下一步的语义模块（我叫语义中间件）或者下一步直接做语用层面信息抽取的模块，打下了修正和利用的基础。下面的问题就是，休眠了或保留了多种结构歧义，但是到用的时候（语义落地为产品的时候），唤不醒或辨不清真想要的正确路径怎么办？

这话说起来长了，但简单的回答是，在句法阶段，我们的 parser 核心引擎是独立于 domain 和应用场景的，同一个 parser 可以为各种中文应用服务（舆情，问答系统，自动文摘，智能 bots，等等）。因此，要识别保留或休眠尽可能多的结构歧义路径，不要勉强去排歧。但是到了具体语义落地为产品的阶段和模块，我们就进入了应用的语用考量，换句话说，我们的语义目标聚焦了，或者我们的 domain 固定了。这时候，排歧的条件就比漫无目标的大海一样的句法阶段好太多了。譬如我做舆情，我就聚焦到舆情相关的歧义上，而整个语义大海的其他部分就隐去了，这时候，我因为所有的路径都还在，我就可以根据聚焦以后的词驱动规则去做合适的选择。

理论上讲，词驱动的细线条排歧也可以糅合到句法阶段去做，但是那样的话，你面对自然语言大海，你的核心引擎，就会太庞大了，即便你有能力和资源一点点去做词驱动。这样也是不合适的，因为你很可能做了很多无用功，而且很难维护。事实上也不现实：聚焦与不聚焦大不一样。到了应用场景，问题都是聚焦的。有经验的NLP系统架构师不会那么做。

当然，如果某个语义排歧对于很多应用都可以预见有好处，那么也可以在句法模块以后，进入产品应用之前，做一个语义中间件去做这个工作：句法 --》 语义 --》 语用（语义落地）----》支持产品应用，句法模块是核心，是核武器，但是不要叠床架屋，陷入语义泥潭。条件创造好，后去还有语义中间件可以做一些工作，最后在语义落地的语用层面，因为语义聚焦了，有些难题也可能自然消解和简化了。

这才是NLP做产品的正道、王道。

再进一步说一点，为什么同样一个歧义的难题，后面做，比前面做要合理和合适？道理就在，自然语言太复杂，我们需要分而治之，一步一步从浅层做到深层。在句法规则做线性的模式匹配的阶段，我们的上下文视野是有局限的，局限于线性序列的羁绊。过了句法阶段以后，我们就有树结构了，这时候，我们的上下文条件就清晰了。你想啊，一维转二维了，通过一个 graph（术语叫 dag）来看结构中的上下文，与通过一个线性序列来看上下文，前者比后者的排歧条件好太多了。线性的结构化是NLP的一个质的飞跃。结构图中的 patterns （就是 sub-trees）可以从任一个合适的角度去概括。

其实你们也已经能看到，我现在的这个 deep parser 不是完美的，你总可以发现这里那里的错误，这是所有的 real life 系统免不了的。但是，所有这些错误，都不会总体影响句法分析的进行。错误被局限在局部范围内，这就是我一再强调的，要自底而上层层推进。这样的系统才鲁棒，才能落地为产品。

【外一则】

说说做 deep parsing 的体会吧。

中文的确缠人一些，多数欧洲语言的deep，难度也没那么大。做细了当然要功夫，但总体难度不比 chunking 大，对于俄语和德语，就更容易。

这就跟谈恋爱结婚一样，两个 XPs 看对眼了，眉来眼去觉得条件合适了，就结合了。动名形这些大词有 subcat 的细类，决定与谁谈恋爱。至于 Modifier 和 Adveribial，就直接去傍大款，找靠山。找到了，就投身做小了。不像subcat的明媒正娶，做小的可以有n个，小三啊小四啊。

最后大家差不多都配对了，那就合成了一个共产主义大家庭，分析树就形成了。共产不共妻，虽然在一颗大树下，里面的小两口还是有向直接联系的，不与他人共享或混杂。大家庭里面的核心仍然是小两口为主的 argument structures。

可叹的是这种结构秩序与人类或commnity大家庭一个德性，就是处处不平等。（生来人人平等之所以成为口号和我们世世代代的理想，乃是因为人类社会从来也是不平等的。）

主语谓语小两口，谓语做主。动词宾语小两口，男尊女卑，动词决策。至于小三小四的时间地点程度原因结果等等条件状语，甭管她们多么体贴，多么面面俱到，根本就是二等三等公民。到了修饰语的小五小六们就更惨了，那是大家庭的佣人，与奴隶无异，根本就上不了台面，只能伺候着主语宾语这些小主子，远远望着老爷。

语言成分的 hierarchy 啊。

【后记：新智元语义计算群的相关讨论笔记】

白:

伟哥的两个例子做些补充：一是兼语动词的提示作用：“提醒sb做sth”是一个比较成套路的用法，尽管不是“提醒”的唯一用法，但是会给“还”的动词义项加分；二是“明天到上海的飞机票”从填坑角度出现错配，因为飞机和人到上海才是关键，票到不到上海（物理上）并不是最主要的问题，客票电子化以后，不出票、不打印票、事后打印票的情形大量存在，语言处理上理解为“明天到上海的飞机+票”才更符合填坑的规范，知识处理上“明天”和“去上海”都来填“飞机票”的坑才是正解。

宋:

明天到纽约的飞机票呢? 明天起飞,后天到,也可以说明天到纽约的飞机票. 再加上时差,就更糊涂了。得允许糊涂。

白: 哈

首先是，时间词和介词短语可以并列修饰“飞机”，但不是修饰“飞机票”？再说，里面可能有隐含动词，比如“起飞”？细究起来，买的是“航班服务”，票是享受航班服务的凭证，但是已经虚化了（没有相应物理实体）。航班服务有许多选项，出发地、目的地、起飞时间、航空公司、服务等级（舱位）、乘机人之类。那个是知识层面的事情。语言层面究竟做什么，除非之间把“飞机票”就当作“航班服务”，买凭证是面子，买服务是里子。“明天”是服务开始的时间，与“去上海”并列，共享那个“的”。“飞机票”和“去上海”不是填坑的关系。“去上海的航班”，是说以去上海为内容的航班，航班本身不填坑，反而是去上海要填航班的坑。

宋:

明天和到上海可能是并列关系，也可能是状中关系。并列关系时说的是起飞时间，状中关系说的是到达。有歧义。正式的通知需要更精确的表达方式。

白:

正式无歧义的表示是“明天飞往上海的航班”。考虑到时差，甚至可能是“昨天到夏威夷”。“往”的参照点是未然，“到”的参照点是已然。“去上海”也比“到上海”准确。伟哥原文是“去”，我中间跟“到”混用了。“明天去上海”作为定语从句可以成立了，但不是提取结构，不发生向从句内部的填坑。不是提取结构，就只能是总括结构，被修饰成分以修饰成分为内容。也就是说，被定语从句修饰的“飞机票”是属于那个非标配的小集合的。

宋:

考虑到时区的差别，说话人与听话人是否在同一个时区，说话人是以自己所在的时区为参照还是以听话人所在时区为参照也是影响意义的因素。

白:

伟哥分析树原文是“到”，后面也有与“去”混用。套近乎的话，就应该说“来”而不是“去”。“往”和“到”是相对于过程的，“来”和“去”是相对于说话人的。把听话人的参照点赋予说话人，是一种套近乎，就跟“咱”类似。

宋: 可计算吗？

白: 也不排除狗比狐狸算得更深

宋: 这个例子能否说明下棋程序有空子可钻？

白: 空城计也是，诸葛亮知道司马懿知道诸葛亮谨慎，所以反常理而行之。如果狗知道狐狸知道狗信守承诺，而且狗知道狐狸在关键时刻不信守承诺，就可以将计就计。然后还可以作无辜状。

我：白老师在绕口令呢？ QUOTE 如果狗知道狐狸知道狗信守承诺，而且狗知道狐狸在关键时刻不信守承诺，就可以将计就计

宋: 知道应改成认为。

白：或者认定。计谋的逻辑。

宋：对，认定。

我：

不尽如人意，也懒得调了（有一个patching没到位，掉链子了）。这话非白老师宋老师这样的大知识分子不能说的。也是乔姆斯基毛毛虫的毛边了，不值当花气力了。

白: 有主观性。对有主观性的认知作主观性的表达，反而更客观。

还有“回”。伟哥在美国出生的孩子第一次来中国，也叫“回”，是吧？

我: 甜甜从来都是把中国当成外国 但她知道这是对她最重要的外国

QUOTE 甜甜自记事起，就住在这里，水牛城自然是她心目中不可替代的唯一故乡。记得四年前第一次带甜甜回北京探亲，第一天的晚上住在姥姥家，一切对她是那么陌生，没有她已经习惯的美国卡通电视，她满脸委屈地吵着闹着要回家（“I want to go home!”）－－当然是回水牛城的家。我告诉她这就是家呀，是妈妈的家，她怎么也无法认同。

from 《朝华午拾：乡愁是一张无形的网》

【相关】

【立委科普：美梦成真的通俗版解说】

【立委科普：语法结构树之美】

【立委科普：语法结构树之美（之二）】

《新智元笔记：NLP 系统的分层挑战》 

 《泥沙龙笔记：连续、离散，模块化和接口》 

《泥沙龙笔记：parsing 的休眠反悔机制》

【立委科普：歧义parsing的休眠唤醒机制初探】 

【泥沙龙笔记：NLP hard 的歧义突破】

【立委科普：结构歧义的休眠唤醒演义】

【新智元笔记：李白对话录 - 从“把手”谈起】

《新智元笔记：跨层次结构歧义的识别表达痛点》

【置顶：立委科学网博客NLP博文一览（定期更新版）】  

 《朝华午拾》总目录

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-979987.html

上一篇：【泥沙龙笔记：强人工智能的伟哥测试】
下一篇：【新智元笔记：工程语法与深度神经】

洪：

大数据上火车跑，

告别编程规则搞。

garbage in & garbage out，

烧脑码农被废掉。

AI不再需要“程序猿”，未来数据比代码重要-新智元-微头条(wtoutiao.com)

我: 最近心智元那篇深度学习要代替程序猿的译文很有看头，是学习（ML）乐观主义的极致，但又呈现了两条路线合流的某种迹象，有的可唠。白老师洪爷尼克一干人熟悉ai两条路线你死我活斗了半个多世纪的，跟我党10次路线斗争类似，看这篇的极端乐观主义，最终宣告斗争结束世界大同的架势，可以评评掐掐。抛几个玉看能不引来啥砖砸。

【1】 quote：编程将会变成一种“元技能（meta skill）”，一种为机器学习创造“脚手架”的手段。就像量子力学的发现并未让牛顿力学失效，编程依旧是探索世界的一种有力工具。但是要快速推进特定的功能，机器学习将接管大部分工作。

这个说法听上去怎么与白老师前一阵说的有类似或平行的味道？

洪:

这种鸡血文，可别仔细读，否则@wei 你就前功尽弃邯郸学步了

我:

它代表了这股“热”的一种极致。还是比ai取代或消灭人类，更加“理性”一些，调子是乐观主义的。

洪:

老@wei 你还是要待价而沽，找机会当老黄忠，杀一回nlp夏侯渊啥的，抖抖威风。赶紧做benchmark，你为刀斧手，syntaxnet啥的为鱼肉。

我:

杀一回nlp夏侯渊根本不是问题。

现在说的是取代程序猿，凭什么他们成为劳工中的贵族。

【2】 谷歌搜索真地从规则和 heuristics 调控正在过度到深度学习吗？这是里面爆料的新发展？

（benchmarking 我心里有数，稳操胜券：新闻媒体如果所报 94 为确，那么大家都已经登顶，基本不分伯仲，没多大余地了。一旦超越领域限制，哈哈）

我疑惑的是这个报料：quote 甚至，Google搜索引擎这座由人工规则建立起来的“大厦”也开始仰仗这些深度神经网络。2月份，Google用机器学习专家John Giannandrea替换掉了多年以来的搜索部门负责人，还开始启动一个针对工程师的“新技能”再培训项目。“通过培养学习机制，我们不一定非要去编写规则了。”Giannandrea告诉记者。

这个转移如果是真地，对于搜索这么大的一个产业，在根基上做这种转移，在这种热昏的大气候下，哈哈，是福不是祸，是祸躲不过，谷歌这座搜索大厦是不是面临倾覆的前兆？不过想来即便想在 existing 手工调控的搜索路线中夹带新货，management 也不会冒进，估计是逐渐渗透和试验，否则不是自杀？

关于这个，有一些背景，见我以前的博文：《再谈机器学习和手工系统：人和机器谁更聪明能干？》

还有 [转载]为什么谷歌搜索并不像广泛相信的那样主要采用机器学习？

Nick:

我赶脚伟哥最近修改resume和google开源parser有关系。再不改嫁就真砸手里了。

说到两条路线斗争，最极端的符号派当属定理证明，我最近在写篇定理证明简史。你们想听啥，告我一声，我再加料。

白:

那篇不需要“程序猿”的文章，理论上是错的，懒得转也懒得评。

我:

谁能证实谷歌搜索要走深度学习取代规则调控的路线？

Nick 真以为 SyntaxNet 对我是威胁吗？是一个 alert，是实。

南:

Nick大师逗你玩呢

我:

威胁还太远。alert 是因为确实没想到这一路在新闻领域训练能这么快达到94的高度，因为这个高度在我四五年前达到的时候，我是以为登顶了，可以喘口气，不必再做了。从应用角度，确实也是 diminishing returns 了，没有再做的价值了。如果想争口气的话，有些已知的地方还可以再做圆，那还是等退休没事儿的时候玩儿比较合适。

问题不在那里，问题在这儿：

【3】 领域转移和语义落地

机器学习的系统天生地难以领域转移，SyntaxNet 恐非例外。你花费牛劲儿，把各种 features 设计好，优化了，加上真正海量的训练数据，在一个领域 譬如新闻媒体，达到了最优的 benchmark 譬如 94%，但是一旦转换领域，performance 直线下滑是常见的问题。除非 retrain，这个谈何容易，不论。

陈:

新闻能做到的话，在其他领域，无非就是积累数据

我: 你的说法是经典的。

quote 当然，还是要有人来训练这些系统。但是，至少在今天，这还是一种稀缺的技能。这种工作需要对数学有高层次的领悟，同时对于“有来有往”的教学技巧有一种直觉。“使这些系统达到最优效果的方法差不多是一门艺术”，Google  Deepmind团队负责人Demis Hassabis说。“世界上只有寥寥数百人能出色地完成这件事。”

（这么说来还不错，世界上还有几百号大牛可以玩转它。另一条路线断层了，能玩转的会有几十人吗？）

以前就不断听说，同一个算法，同一批数据，甚至基本相同的 feature design，不同人训练出来的结果大不相同。虽然科学上说这个现象不合理，科学的东西是可以完全重复的，但是如果参杂了艺术或某种 tricks，说不清道不明的经验因素啥的呢。不用说得那么玄，重新训练的确不是一个简单的过程重复。

Self-quote：

问题的另一方面是，机器学习是否真地移植性那么强，象吹嘘的那么神，系统无需变化，只要随着新数据重新训练一下就生成一个新领域的系统？其实，谈何容易。首先，新数据哪里来，这个知识瓶颈就不好过。再者，重新训练的过程也绝不是简单地按章办事即可大功告成。一个过得去的系统常常要经历一个不断调控优化的过程。

说到这里，想起一段亲历的真实故事。我以前拿过政府罗马实验室10多个小企业创新基金，率领研发组开发了一个以规则系统为主（机器学习为辅，主要是浅层专名标注那一块用的是机器学习）的信息抽取引擎。我们的政府资助人也同时资助另一家专事机器学习的信息抽取的团队（在美国也是做机器学习很牛的一家），其目的大概是鼓励竞争，不要吊死在一棵树上。不仅如此，罗马实验室还选助了一家系统集成商开发一套情报挖掘应用软件，提供给政府有关机构试用。这套应用的内核用的就是我们两家提供的信息抽取引擎作为技术支撑。在长达四年的合作中，我们与集成商有过多次接触，他们的技术主管告诉我，从移植性和质量改进方面看，我们的规则引擎比另一家的机器学习引擎好太多了。

我问，怎么会，他们有一流的机器学习专家，还常年配有一个手工标注的团队，引擎质量不会太差的。主管告诉我，也许在他们训练和测试的数据源上质量的确不错，可是集成商这边是用在另一套保密数据（classified data）上，移植过来用效果就差了。我说，那当然，训练的数据和使用现场的数据不同类型，机器学习怎么能指望出好结果呢，你们该重新训练（re-training）啊。你们用他们引擎五年来，重新训练过几次，效果如何？主管说：一次也没有重新训练成过。重新训练，谈何容易？我问：你们不可以组织人自己标注使用领域的数据，用他们的系统重新训练？主管说：理论上可行，实践上步步难行。首先，要想达到最优效果 ，当然是根据我们的数据重新标注一个与引擎出厂时候大体等量的训练文本集来。可那样大的数据标注，我们根本无力做成，标注过程的质量控制也没有经验。结果是我们只标注了部分数据。理论上讲，我们如果把这批自己的数据加到引擎提供者的训练数据中，重新训练可以把系统多少拉到我们的领域来，效果总会有 提高。但是我们不是信息抽取和机器学习专家，我们只擅长做系统集成。机器学习用新旧数据混合要想训练得好，要牵涉到一些技术细节（甚至tips和tricks） 和一些说明书和专业论文上不谈的微调和小秘密。尝试过，越训练效果反而越差。我问：那怎么办？遇到质量问题，怎样解决？他说：没什么好办法。你们不同，我们只要例示观察到的错误类型，你们下一次给我们 update 引擎时基本上就已经解决了。可我们把问题类型反馈给机器学习开发者就不能指望他们可以改正，因为他们见不到这边的数据。结果呢，我们只好自己在他们的引擎后面用简单模式匹配程序打补丁、擦屁股，可费劲了。

我当时的震惊可想而知。一个被NLP主流重复无数遍的重新训练、移植性好的神话，在使用现场竟然如此不堪。学习大牛做出来的引擎在用户手中四五年却连一次重新训练都实施不了。系统成为一个死物，完完全全的黑箱子。所有改进只能靠隔靴搔痒的补丁。
from 【科普随笔：NLP主流成见之二，所谓规则系统的移植性太差】 

即便是同一个大厨，做了一锅好饭菜以后，下一锅饭菜是不是同样好，也不是铁定的。

【4】 这一点最重要，白老师批评。如果你的“模型”就不对，你怎么增加数据，怎么完善算法，你都不可能超越。这里说的是自然语言的“样子”，即白老师说的“毛毛虫”（见 [转载]【白硕- 穿越乔家大院寻找“毛毛虫”】）。

整个自然语言的边界在哪里？不同语言的“样子”又有哪些需要不同调控的细节？

这些东西有很多体悟，并不是每一种都可以马上说清楚，但是它是的确存在的。无视它，或对它缺乏认识，最终要栽跟头的。

Nick:

那得看是什么餐馆，麦当劳每天味道都同样，路边馄饨摊每天各不相同。

我: exactly 麦当劳每天一样的代价是低品质，它要保持 consistency 就不可能同时保持高品质，只能永远在垃圾食品的标签下。

Nick:

我意思是你今能卖麦当劳的价钱，再不嫁，明就馄饨摊了。

我:

鼎泰丰来湾区了，小笼包子比他家贵出好几倍。前两天一尝，果然名不虚传。被宰认了，因为心甘情愿，谁叫它那么好吃呢。

我又饿不死，何苦卖麦当劳呢？怎么也得成为鼎泰丰吧。

最不抵，我开个咨询公司也有饭吃，没必要看贱自己。

现在就是，如何领域突破，如何语言突破？换一个语言，本质上也是换一个领域。因为只有这两项突破，才能真正NLP广泛落地为产品。94 很动听了，后两项还在未定之数。这种领域和语言的突破与毛毛虫什么关系 很值得思考。

洪爷说的“鸡血”文的最有意思的地方是，机器学习终于从过去遮遮掩掩的自动编程黑箱子，被鸡血到正式宣告和标榜为终极的自动编程。程序猿下岗，资料员上岗，在最上面的是几百号能玩转黑箱子魔术的超人。一切搞定，环球太平。一幅多么美妙的AI共产主义图景。

【相关】

AI不再需要“程序猿”，未来数据比代码重要-新智元-微头条(wtoutiao.com)

【新智元笔记：巨头谷歌昨天称句法分析极难，但他们最强】

《再谈机器学习和手工系统：人和机器谁更聪明能干？》

[转载]为什么谷歌搜索并不像广泛相信的那样主要采用机器学习？

【科普随笔：NLP主流成见之二，所谓规则系统的移植性太差】

[转载]【白硕- 穿越乔家大院寻找“毛毛虫”】

【科研笔记：NLP “毛毛虫” 笔记，从一维到二维】

Comparison of Pros and Cons of Two NLP Approaches 

《立委随笔：语言自动分析的两个路子》

why hybrid? on machine learning vs. hand-coded rules in NLP

【科普随笔：NLP主流成见之二，所谓规则系统的移植性太差】

 【科普随笔：NLP主流最大的偏见，规则系统的手工性】

 【科普随笔：NLP主流的傲慢与偏见】

【科研笔记：系统不能太精巧，正如人不能太聪明】

 【NLP主流的反思：Church - 钟摆摆得太远（1）：历史回顾】

《立委随笔：机器学习和自然语言处理》

与老前辈谈 NLP 及其趋势

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-978466.html

上一篇：【新智元笔记：巨头谷歌昨天称句法分析极难，但他们最强】
下一篇：【李白对话录：你波你的波，我粒我的粒】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-946065.html

上一篇：《泥沙龙笔记：再谈 cyc》
下一篇：《新智元：有了deep parsing，信息抽取就是个玩儿》

【立委按】

      白硕老师这篇文章值得所有自然语言学者研读和反思。击节叹服，拍案叫绝，是初读此文的真切感受。白老师对乔姆斯基形式语言理论用于自然语言所造成的误导，给出了迄今所见最有深度的犀利解析，而且写得深入浅出，形象生动，妙趣横生。这么多年，这么多学者，怎么就达不到这样的深度呢？一个乔姆斯基的递归陷阱不知道栽进去多少人，造成多少人在 “不是人话” 的现象上做无用功，绕了无数弯路。学界曾有多篇长篇大论，机械地套用乔氏层级体系，在自然语言是 context-free 还是 context-sensitive 的框框里争论不休，也有折衷的说法，诸如自然语言是 mildly sensitive，这些形而上的学究式争论，大多雾里看花，隔靴搔痒，不得要领，离语言事实甚远。白老师独创的 “毛毛虫” 论，形象地打破了这些条条框框。

     白老师自己的总结是：‘如果认同“一切以真实的自然语言为出发点和最终落脚点”的理念，那就应该承认：向外有限突破，向内大举压缩，应该是一枚硬币的两面。’ 此乃金玉良言，掷地有声。

from http://blog.sina.com.cn/s/blog_729574a00102wf63.html

【相关】

【新智元：parsing 在希望的田野上】

【新智元：理论家的围墙和工程师的私货】

 乔姆斯基批判

泥沙龙笔记：再聊乔老爷的递归陷阱

泥沙龙笔记：骨灰级砖家一席谈，真伪结构歧义的对策（2/2)

《自然语言是递归的么？》

 语言创造简史

【置顶：立委科学网博客NLP博文一览（定期更新版）】  

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-950422.html

上一篇：【新智元笔记：反伊莉莎效应，人工智能的新概念】
下一篇：【新智元笔记：理论家的围墙和工程师的私货】

【相关】

词义消歧（WSD）

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-940905.html

上一篇：衙门文化（后续）
下一篇：【新智元笔记：词类消歧没那么漂亮，也没那么重要】

独: 从最近几天的文章来看，人工智能已经不仅仅是被炒作了，已经成了玄学，宗教，甚至邪教了。信之得永生，不信被淘汰，还让不让我们愉快的瞻仰了？

这是很有意思的社会现象。人工智能（AI）曾经那么神秘和流行，记得我刚入行的80年代，有同行开始把机器翻译做到电子词典里去，广告上非要加上人工智能的字样去吸引人。后来呢，机器学习热潮起来以后，人工智能作为老一代的玩具技术开始式微，名声越来越坏。

如今，机器学习"被"借尸还魂，趁着深度学习的热潮，合二为一，AI 一下子又成了香饽饽。所有关于AI的媒体宣传，全部似曾相识。AI 的历史上，总是这样大起大落。

机器学习当年躲 AI 唯恐不远，楚河汉界，泾渭分明。

可是从大众媒体来看，还是AI对于宣传好使。它刺激人的想象空间，与各种科幻紧密相连。最有意思的是，人类的忘性真大，再"被"臭的东西也可以重新芬芳起来。

如今，旧的 AI 已死，没有躲避的必要了。现在是可以利用它，但要忌讳的是过度消费。

如今，AI = DL，这是大多数人的潜意识，至少。

很多人以为规则类的 NLP 等同于旧的 AI，或者至少是其中的一个分支，所以 规则派 NLP 会随着旧 AI 寿终正寝。可是，恰恰在这一点，我有严格区分，因为事实不是这样子的。

旧AI就是60年代70年代的那些玩具系统，极端的domain specific，也只能做玩具实验。唯一不 domain specific 的旧 AI 是 cyc，这是旧 AI 的最大亮点，但如今也是 stuck there，原因不仅仅是常识的包罗万象使得知识形式化太过繁难（愚公移山总还有希望），更因为常识本身就是人类知识的缺省机制，无法单靠它打天下，更难以做推理。最后还有一个巨大的 overhead 的拖累。不排除很远的将来 cyc 这路有复兴的可能。

总之，旧AI面对的是世界知识，或者是专项知识（玩具世界所需要的），或者是常识（cyc），因此难以 scale up。NLP 则不同，NLP 面对的是语言学知识，而作为核心的句法是 tractable 的，因此可以 scale up。这种区别决定了其命运的不同。

做一个能 scale up，达到（甚至超过）一般人分析水平的 deep parser，已经不是梦想，而是现实了。

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-932959.html

上一篇：《立委科普：机器可以揭开双关语神秘的面纱》
下一篇：贴身小蜜的面纱和人工智能的奥秘

谈世界语和老柴老乔以及老马老恩： http://blog.sciencenet.cn/blog-362400-925052.html

南: 没注意到，你们居然谈esperanto……  这个群几乎是啥都有人在行，无语

白: 爱死不难读。

不是，白老师，是爱斯（才）不难读的: 《立委随笔：Esperanto: 爱斯不难读》 ，所以我几天就学会，两个月就拿它写论文了。这个事迹，我师姐写过，《师弟轶事：疯狂世界语》

白: 哈哈, 爱得死去活来，自然不难读了

南: 爱死佩兰拖

Nick: @wei 你得编段世界语鼓词十八摸，让鹏爷场，否则他不会买账的。

不过，白老师说世界语是垃圾，我还是很诧异。一般搞语言的人，或者无视它，或者喜欢它，厌恶它则有点蹊跷。

南: 我初中时赶时髦学过一阵子，但是觉得没啥意思最终没有坚持下来。但奇怪的是我同时期就开始喜欢编程语言。

毛: 爱死不来读

我女儿学了，跟我说，有啥用啊。她会西班牙语，学起来容易。我说，没啥用，就是因为没用，学起来才没压力，没功利，纯粹是 fun 和对语言的新奇。现在我们父女对话，倒是不怕别人看到，反正一般人不懂。

南: 编程语言在解决问题过程中能体会到思维的美丽。世界语，我感觉不到语言表达的美丽。纯个人感觉，没有啥理由。

表达的美丽在我这里是表达的自由。我学语言学，对于世界语的表达丰富性体会特别深。同样的意思，爱怎么表达都可以。这个语言学特点我正经写过文章发表的，作为一个 chapter， 用世界语发表在 Li, Uej (Wei) 1991.
Lingvistikaj trajtoj de la lingvo internacia Esperanto. In Serta gratulatoria in honorem Juan Rgulo, Vol. IV. pp707-723. La Laguna: Universidad de La Laguna

不仅仅是语序的自由，而且其他的语言形式也是比“纯自然语言”来得丰富。因为纯自然语言常常是倚重一种形式，或者是倚重语缀，或者是倚重小词。二者同时倚重的很少，总是大体有个不同的比例，因此语言才分成不同的类型。但世界语是人造的，柴大师为了表达的丰富性，有意吸取尽可能多的不同语言形式，这样来自不同类型语言背景的人可以找到自己倚重的形式来表达。其结果是，同一个意思，表达的方式多于纯自然语言。语序的自由加上同一个意思既可以用小词来表达，也可以用语缀来表达，是世界语的一个特别有意思的语言学特点。

南: 可能是我还没有学到可以自由运用的地步，无法体会。

对于普通人，可能不会涉及那么多形式，可对于我，这种丰富性和表达的自由，让我觉得空前的语言学满足。

洪: 记得巴金一直提倡世界语

是 巴金是国内最老的世界语之友了，年轻时学过。同情和支持世界语的还有蔡元培 冰心 鲁迅 胡愈之 陈毅， 高尔基 托尔斯泰 罗曼罗兰。还有爱因斯坦 铁托。毛泽东也被忽悠了一阵子。见《中外名人论世界语》 。社会语言学家和出版家 陈原 可以流利用世界语演说 我听过 生动的很 也幽默。我的导师刘涌泉也是世界语之友。

一不小心，我后来也被编入《中国世界语名人录》里了，有本书收了我《我的世界语国》系列。

北: 我愿意做一个坚定地反对世界语的人

你和白老师的反对都没听到坚实的理由。不过是说因为人造的，显得单调，丑陋。这个理由是仁者见仁智者见智。

北: 对啊 人造的语言就是反人类的事

我觉得美是我真地感受到美，而且我有这个条件去领略其表达丰富性，我不仅能写，也能说。你觉得丑也是你的感受。

比起语音上类似的意大利语和法语，世界语听起来也的确单调多了。加上很多人说起来生硬，磕磕巴巴。因为老柴是在简洁和单调中玩平衡，所以会牺牲一些听觉的美感。

北: 没错 所以您宣传 我反对 两不妨碍。

但是好的世界语朗诵也真地很好听，国内有几位优秀的世界语电台的播音员。听他们说世界语是一种听觉上的享受。

毛: 世上本没有路，走的人多了，就成了路。

北: 那也只是您觉得好听 我相信觉得好听的人很少很少。实际上 我觉得法语也很难听。

不是每个人说都好听，毕竟大多数世界语者都是拿他做辅助工具。不过电台播音员和一些出身在世界语者家庭一生下来就说世界语的人，他们的世界语与其他语言从听觉上和语音上，基本处于同一个水平，绝对没有生硬和难听的感受。

北: 即使您说好听的播音员 我相信觉得好听的人仍然很少。我说的丑陋不是语音上的 是文化上和内涵上的单调。这种丑陋与人工设计出来的某某主义制度如出一辙。对于我来说 这都是突破底线的 完全无法接受的丑陋。或者说 与主义制度一样 是反人类的。

文化上没有民族的根基，这一点是有道理的。以前有说，民族的才是世界的。没有根基就显得贫乏。这个批评我同意有点道理。为了弥补这一点，世界语运动中，以及柴门霍夫本人，为世界语逐渐创造了另一种文化的基础。就是那种普世的、大同的、理想主义的文化。

北: 这种文化与某某运动一样 已经为世界人民所抛弃了。

本来语言是语言，文化是文化，可以勉强分开来。

毛: 好好，小孩子别吵了，再吵城管叔叔可就要过来了。

就是拿它纯粹当工具。有些理呆喜欢世界语，就讨厌其类似国际共产主义的文化背景。但是真正的世界语者却一直在强调理想主义的一面，有意识把这种文化基因，发扬光大。也正因为此，世界语也招来了一些非议。因为作为工具，顶多是好用不好用的争论，没人会带有那么大情绪去厌恶或热爱。但是一旦融入了文化因素，好恶就开始作怪。

我个人一方面是语言学家，拿它当做工具去领略其美妙。另一方面又是文傻和骨子里的大同主义者，或社会主义者。所以对其特有的世界大同文化背景心里是认同并为之兴奋的。柴门霍夫本人创造世界语就是有崇高的大同动机，这一点他多方面阐述过。

Philip: 是不是 Java 才是普世码农的共同语言？

北: 语言的文化属性远远强于其工具属性

所以从一开始，世界语就不单纯是工具，而是作为一种主义和运动的形式在发酵。

北: @Philip php才是最好的编程语言！

我要说的是，世界语文化上有先天缺陷，因为没有民族根基。但是它比起其他纯工具的方案，还是更多一些特别的文化基因，更具有人文主义情怀，世界语圈子里也弥漫这种人文格调和自我优越感，曾一度深深吸引我。这种文化就是世界大同的理想。

白: 站在印欧语视角的世界大同，就是世界印欧语化。

白老师，那也是没办法的事儿。世界语几乎做到了极限。技术上，很难找到一个方案，非印欧化，但又不能排斥印欧。毕竟，印欧语言在世界语言的比重和影响是无法超越的。

北: 所以我反对世界语就在这里 打着工具主义的旗号 行文化同化之实 大奸大恶不过如此。没有人需要这样一个普世方案。

白: 所以当我们面对看书、看电影、看演出的时候，世界语并不会给我们同一个看。并不照顾汉语母语者哪怕半分。

“照顾”了也，客观上看。譬如 数字系统与汉语是几乎完美一致的。不像法语，也不像英语（11到20不规范），世界语的数字系统与汉语几乎一一对应。另外，汉语的句子如果词对词翻译成世界语，比起翻译成任何其他印欧语言，其结果是更加顺达。因为世界语的表达力在小词和语缀间是兼容的。而大多数印欧语言是一种繁复的语缀形式。倚重的是语缀的繁复，结果就离汉语更加遥远。

RW: 所以，汉语更接近世界语？

白: @RW 不可能有这样的结论

世界语的语缀可以极其简单，很多时候可以用类似汉语的小词（主要是介词）来表达各种语义。比起印欧纯自然语言，汉语更接近世界语。这个结论没错。虽然世界语的来源是印欧语言的公约数，但是它与汉语的距离，比起任何单个的印欧自然语言的确更近。这个我可以做语言学的证明。

北: 有个有趣的问题 我国官方队世界语什么态度呢？

RW: 我想表达的是，汉语有汉语的优势

中国政府和党一直是支持世界语 把它作为一个御用的部门。中国老世界语者独立性很差，一直有点媚上的味道，也是生存之道，无可厚非。

RW: @wei 能否比较粗犷地说，世界语是拉丁语的简化版？

北: 奥 不过这些年知道世界语的人很少了

有人说，世界语是简化的拉丁语，这么说主要是从拉丁语在历史上是事实上的欧洲世界的书面共同语的角度，觉得世界语也抹平了印欧语言可以做共同语言。

严格地说，不是拉丁语的简化，因为拉丁语只是印欧语系三大旁系之一。而世界语的确是吸收了三大旁系（拉丁、日耳曼和斯拉夫）的所有的长处，并加以简化的。

白: 官方态度那是因为世界语很弱。如果像天主教或者绿色和平组织那样成为跨国大NGO，你试试。

柴门霍夫的天才怎么赞誉也不过分。

RW: 然后就和汉语神似？ 可见汉语不差嘛

真地与汉语相对接近。

RW: 柴老精通中文吗？

但是那不是因为设计时候考量了汉藏的因素，柴大师不懂汉语的。

北: 这就是关键的差别之一 @wei 老师，我就认为语言只有特点，无所谓长处短处。

但是因为人类语言是有很多共性的，而柴门霍夫是追求共性的大师。追求语言形式的多样化, 在这种追求过程中，自然而然地，与汉语接近了。

RW: @wei 我绝对可以想象世界语的简洁和中文神似

@RW 你的想象没错，我可以验证。

RW: 我想说的是中文有它的先进性

根据我的语感和经验，的确有神似的方面。我以前的世界语语言学特点的论文中也举例过（举的还是文言的例子呢），好像也阐述过这个类似的意思。

RW: 我女儿可以说很好的拉丁语，非常优美。

中文的 “先进性”，简洁是一。印欧语言不简洁，是因为叠床架屋。这种叠床架屋的繁复语缀，有它严谨的一面，也有它不简洁的缺点。不简洁的结果是，冗余信息多，这个对交流和通讯工具是有好处的，可以抗干扰，消歧义。但是却失去了简洁的 “美”。

RW: 但中文也有其无法比拟的优美感！

这么说吧，在 90% 的情况下，冗余是不必要的，是多余的，但是作为语言的文法规定，你还是必须要冗余。但是在 10% 的时候，你会发现这些繁复带来的冗余是非常有利的。它消除了歧义。语言因此严谨。而中文倒是简洁，既没有语缀，而且小词也是能省就省，甚至语序也是有相当自由度的。这样一来，中文的表达显得特别简洁和自由，最大程度地不依赖显性的语言形式（语序，语缀，小词），而是靠上下文去”意合“。这对于人 通常不是问题，而且成就了简洁和自由的美，但是却丧失了严谨性。同时 在 10% 的情形下 造成了理解上的困扰。

RW: 但缺点也显而易见，中文的系统性越来越少。英语实际上是个很不错的平衡。语言不能太累赘，梵文有十几个变格，是很精确，但不能传下来。

同意，英语是个不错的平衡，就那么三四个语缀，词尾 -ed -ing -s，但是这三四个语缀可是顶了大用的。

世界语的词尾也不多，格也只有一个（宾格），比起拉丁语是简化太多了。

~~~~~~~~~~~~~~~

白: 目前看，五线谱成为音乐世界语，地位比爱死不难读牢固多了。

查: 直接对应钢琴的键 简单直接

笑得最后笑得最好，现在断言爱斯不难读的结局还为时过早。

大数据的信息化时代，不定哪一天人类突然聪明了，超越了国家政治和民族差异，要建立一个松散的全球共同体。那个时候要选一个有根基有实践有底蕴的中立语言作为 official 工作语言的话，除了 Esperanto，也没多少选项了。

白: 那时候机器翻译早就过关了吧，我对机器翻译过关的信心都比这个大。

你看如今 TPP，还有好多这个P那个P的经济共同体，弄得人眼花缭乱，本质上就是世界大同前的种种迹象。

机器翻译与世界语可以并行，二者互补，为世界大同服务。关键的一条是，选择任何自然语言都是明显偏向某些民族的，也是政治不正确的。Esperanto 的中立性，奠定了自己独一无二的有利地位。当然，历史上出现过200多种人造语方案，基本都是中立的，但是有这么多实践的人造自然语，唯此一家。

查: 世界语是yy吧 有正常人用吗？

我心中的理想社会与柴门霍夫完全相同：从此一个人一辈子只需要学两门语言。

一个是跟父母和社区自然而然学出来的母语，一个是面对世界需要学的国际辅助语言。

把现在学第二外语（英语、西班牙语等）的宝贵时间解放出来以后，人类的科技进步和生产力会大大解放。

反复的 benchmarks 结果表明，世界语的学习一般只需要我们现在学第二外语的五分之一的时间。

查: 世界语还是洗洗睡了吧 谁用啊 浪费那时间还不如学黎曼几何 虽然也没用

如果人的一辈子在最美好的青少年时代，平均为学英语等第二外语花费了一万小时的话，我们说的是每个人就会节约 8000 小时的青春。

查: 呵呵 你这是理科生思维@wei 

八小时算一天，那就是节省生命1000天，而且节省的是生命最美好的年华。

查: 学习英文也是一种享受。

对于愿意学其他外语作为享受的是另外一回事。这里说的是，为了生活和工作，不得不学的外语。

查: 假设你说流利的世界语 哪个学术会议你听得懂？

查理，乱弹琴，我说的是理想社会，你跟我说现实，不是捣乱么。

白: 机器翻译也是理想，到时候学一种语言就够了。

理想社会是需要n代人的过度最后确立的。

查: 理想社会那就用edi吧 还要语言干吗？

现实的不合理，是显然的。我为什么花那么多时间学英语？

白: 这不过是个技术问题。语言之间的大同，放到机器里去吧

就是一个工具而已，好用就行，花费的时间应该越少越好。

查:以后所有的交流都采用edifact 就不需要语言了@wei 

白: 不花时间岂不更好？

当然，机器翻译也是一个路。

也许真地就只要学一门语言就管一辈子了。比世界语的大同更好。

白: 大鼓可能还是翻译不了，不过大鼓也翻译不成世界语。

查: 联合国标准 不需要翻译@wei 

那都不是事儿。

以后的世界学一门以上的语言的人，都是专家。是真正爱好语言的，而不是被迫学习外语的人。这些人可以用来对付机器翻译难以胜任的任务。

查: 现在孩子会三门语言很普通。你对未来的预测是错的@wei 

也许吧。目前来看，机器翻译的大同胜过世界语大同的概率，更大一些。不过这两个预测都是建立在批判目前的强制性外语教学的基础之上，浪费了太多的青春。

有人天生喜欢学语言，就跟有人喜欢学多门乐器一样，另当别论，不能与被迫学外语以求生存相提并论。

最最可悲的是，很多人学外语劳而无功。赔了夫人折了兵，外语还是学不会，学不好。毛泽东就是一位，找再好的老师也没用，他老人家就不是学语言的材料。直到老，据说就是学会了几个孤单的不成句的哲学术语, 什么辩证法之类。

【相关博文】

泥沙龙笔记：聊一聊世界语及老柴老乔以及老马老恩 2015-10-03
泥沙龙笔记：三论世界语 2015-10-06

科学网—灵感有如神授，巧夺岂止天工

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-925135.html

上一篇：泥沙龙笔记：漫谈语言形式
下一篇：泥沙龙笔记：汉语就是一种 “裸奔” 的语言

说到含金量，其实很多课题，特别是面向应用的课题，并不是什么高精尖的火箭技术（not rocket science），不可能要求一个申请预示某种突破。撰写申请的人是游说方，有责任 highlight 自己的提议里面的亮点，谈方案远景的时候少不了这个突破那个革命的说辞，多少迎合了政府主管部门好大喜功的心态，但实际上很少有多少研究项目会包含那么多闪光的思想和科学研究的革命性转变。（纯科学的研究，突破也不多吧，更何况应用型研究。）应用领域“奇迹”的发生往往植根于细节的积累（所谓 the Devil is in the details），而不是原理上的突破。而对于问题领域的细节，我是有把握的。这是我的长处，也是我提出科研方案比较让人信服的原因。有的时候，不得不有迎合“时尚”的考量，譬如领域里正流行 bootstrapping 等机器自学习的算法，虽然很不成熟，难以解决实际问题，但是基金报告列上它对申请的批准是有益的。不用担心所提议的听上去时尚的方案最后不工作，由于科研的探索性质，最终的解决方案完全可以是另一种路子。说直白了就是，挂羊头卖狗肉不是诚实的科研态度，但是羊头狗头都挂上以后再卖狗肉就没有问题。绝不可以一棵树上吊死。

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-927003.html

上一篇：社媒大数据的困境：微信的风行导致舆情的碎片化
下一篇：【置顶：《泥沙龙笔记》汇总一览】

【立委按】读者的反应是，这次笔记是《立委科普》专栏中最深奥的。看得稀里糊涂，不明觉厉。的确，没有专业背景不行，这两篇不算严格意义的科普，当然也不是科唬，而是严肃的探讨，希望对后学和同仁更有价值。

好了，咱们接着聊，第二章：为什么多层系统，尤其是 多层 FSAs ，不受伪歧义的困扰？

白: 只要证明毛毛虫以外不是人话，就只管放心玩毛毛虫好了。

头头绪绪，怎么讲好呢？

白: 伪歧义跟规则的递归形式无关，跟规则的词例化水平和压制机制有关。但是，要hold住十万百万量级的规则，CFG一开始就必须被排除在外。

对。

说到底是规则的个性与共性关系的处理，这是关键。这个不是我的发现，我的导师刘倬先生早年就一再强调这个。刘老师的系统命名为 专家词典（expert lexicon ）系统，就是因为我们把个性的词典规则与共性的句法规则分开了，并且在个性与共性之间建立了一种有机的转换机制。

白老师说得对，单层的 CFG 基本是死路。眉毛胡子一把抓，甚至所谓词典主义的 CFG 流派，譬如 HPSG 也不能幸免，不出伪歧义才怪呢。如果规则量小，做一个玩具，问题不严重。如果面对真实自然语言，要应对不同抽象度的种种语言现象，单层的一锅炒的parsing，没有办法避免这种困扰。

白: HPSG 之类可以依托树做语义信息整合，但是在树本身的选择数目都在爆炸时，这种整合是不能指望的。

可以说得具体一点来阐释其中道理。分两个小节来谈，第一节谈多层系统中，单层内部的伪歧义问题。第二节谈多层之间的伪歧义问题。

白: 但是仍然困惑的是某种结构化的压制，比如“美国和中国的经济”’。“张三和李四的媳妇”

如果这两种伪歧义都有自然的应对方式，那么伪歧义不是困扰就理所当然了。待会儿就讲解白老师的例子。我这人啰嗦，学文科的，生存下来不容易，各位包涵了。说到现在，从白老师的眼中，都是偏离主题核心了的。

白: 抽象的并列，天然优越于抽象的长短不齐。似乎并不关乎词例，词例化的、次范畴化的规则，都好理解。抽象的结构化压制，处于什么地位呢？

但是难得大家围坐在一起，忍不住借题发挥一下，顺带进一步阐释了上次“上海会面”上的论点：我对乔老爷既爱且恨，爱他批判单层统计派的一针见血；恨他一竿子打翻一船人，敌我不分，重理论轻事实。

白: 是因爱成恨好吧

我们实际上半条身子在统计派的船上，大家都是有限状态；半条身子在语言派船上，毕竟我们不是单层的有限状态。统计派的有限状态的典型表现 ngram 实际上是 n-word，而我们的有限状态是真正的 ngram，这个”gram“ 就是刘老师当年一再强调的 “句素”，是一个动态的句法单位，可以是词、短语或者小句，随 parsing 的阶段而定。这样的 ngram 是统计派难以企及的，因为它反映的是真正的语言学，统计学家天然不懂。

白: 世界上只有深层派和浅层派，这是复旦美女教授教导的。我认为只要touch深层，无论什么派都会殊途同归。

先说单层内部的伪歧义。这个白老师心里应该没有疑问了，不过为了完整还是先讲它。

单层的有限状态说到底就是一个 regex （正则表达式），只不过面对的单位根据语言层次的不同而不同而已。如果是 POS tagging 这种浅层，面对的单位就是 words （or tokens）。如果是句法关系的解析层，面对的单位就是短语（可以看作是头词，它代表了整个短语，“吃掉”了前后修饰语）。

对于单层，有两种结构歧义，一种是伪歧义，占多数；一种是真歧义，占少数，但存在。单层系统里面的每一条规则都是一个 pattern，一个缩小版的局部 parser （mini-parsing），试图模式匹配句子中的一个字符子串（sub-string）。歧义的发生就是 n 个 patterns 对相同的输入文句的字符子串都成功了。

白: 然后？

这是难免的：因为描述语言现象的规则条件总是依据不同的侧面来描述，每条规则涵盖的集合可能与其他规则涵盖的集合相交。规则越多，相交面越大。每条规则的真正价值在于其与其他规则不相交的那个部分，是那个部分使得 parsing 越来越强大，涵盖的现象越来越多。至于相交的部分，结论一致的规则表现为伪歧义，这是多数情形。结论不一致的规则如果相交则是真歧义。这时候，需要一种规则的优先机制，让语言学家来定，哪条规则优于其他规则：规则成为一个有不同优先度的层级体系（hierarchy）。

白: 在线？

FSA Compiler 事先编译好，是 FSA Runner 在线做选择。

白: 那要隐含规则的优先关系，不能初一十五不一样。

个性的现象优先度最高。共性的现象是默认，优先度最低。这个很自然。一般来说，语言学家大多有这个起码的悟性，什么是个性现象，什么是共性。

白: ”张三的女儿和李四的儿子的婚事“

如果优先语感不够，那么在调试规则过程中，语言数据和bugs会提请语言工作者的注意，使得他们对规则做有意义的优先区分，所谓数据制导 (data-driven) 的开发。

白: specificity决定priotity，这是个铁律。在非单调推理中也是如此。

这个优先权机制是所有实用系统的题中应有之意。

优先级别太多太繁，人也受不了。实际情形是，根本不用太多的优先级别区分，只要三五个级别、最多八九个优先级别的区分就足够了。

白: 我还是觉得优先级初一十五不一样的时候一定会发生，而且统计会在这里派上用处。

一切是数据制导，开发和调试的过程自然做到了这种区分。而更多的是不做优先区分的歧义，恰好就落在了原来的伪歧义的区间里面。这时候，虽然有n条规则都产生了 local parses，他们之间没有优先，那就随机选取好了，因为他们之间没有 semantic 的区别价值。

换句话说，真歧义，归优先级别控制，是数据制导的、intuitive 的。伪歧义则随机选取。这一切是那么自然，以至于从业者根本就没有真正意识到这种事情可能成为理论上的困扰。

关于初一15的问题，以及白老师的具体实例，等到我们简单阐释第二节多层之间的伪歧义的应对以后，可以演示。

第二章第二节，多层之间可能的真伪歧义之区分应对。

对多层之间的真歧义，不外是围追堵截，这样的应对策略在开发过程中也是自然的、intuitive 的，数据制导，顺风顺水。围追堵截从多层上讲，可以在前，也可以在后。在前的是，先扫掉例外，再用通则。在后的是先做默认，然后再做修补（改正，patching）。道理都是一样的，就是处理好个性和共性的关系。如果系统再考究一点，还可以在个性中调用共性，这个发明曾经是刘老师 Expert Lexicon 设计中最得意的创新之一。个性里面可以包括专业知识，甚至常识（根据应用需要），共性里面就是句法模型之间的变式。

好，理论上的阐释就到此了，接下去可以看实例，接点地气。白老师，你要从哪个实例说起？我要求实例，加问题的解释。

白硕: “中国和美国的经济”。这就是我说的初一十五不一样。

这是真的结构歧义，Conjoin （联合结构）歧义 。在语言外知识没带入前，就好比西方语言中的 PP attachement 歧义。结构歧义是NLP的主要难题之一。Conjoin 歧义是典型的结构歧义，其他的还有 “的”字结构的歧义。这些歧义在句法层无解，纯粹的句法应该是允许二者的共存（输出 non-deterministic parses），理论上如此。句法的目标只是区分出这是（真）歧义（而这一点在不受伪歧义困扰的多层系统中不难），然后由语义模块来消歧。理论上，句法和语义/知识 是这么分家的。但是实践中，我们是把零散的语义和知识暗度陈仓地代入句法，以便在 parsing 中一举消歧。

白: 一个不杀当然省事。但是应该有个缺省优先的。

缺省优先由”大数据“定，原则上。统计可以提供启发（heuristics）。

白: 有次范畴就能做出缺省优先。不需要数据。

当然。次范畴就是小规则，小规则优先于大规则。语言规则中，大类的规则（POS-based rules）最粗线条，是默认规则，不涉及具体的次范畴（广义的subcat）。subcat based 的其次。sub-subcat 再其次。一路下推，可以到利用直接量（词驱动）的规则，那是最优先最具体的，包括成语和固定搭配。

白: 次范畴对齐的优先于不对齐的，就联合结构而言。但是，about 次范畴，理论上有太多的层。

那是，联合结构消歧中的次范畴不是很好用，因为这涉及词的语义类的层级体系。不管是 WordNet 还是董老师的 HowNet，里面的 taxonomy 可以很深，统统用来作为次范畴，不太现实。但理论上是这样使用的。

白: 再一个，“张三的女儿和李四的儿子的婚事”。这个也是真歧义吗？

上例的问题和难点，白老师请说明。"的"字结构的 scope歧义加上联合结构的歧义的叠加现象？

白: 上例是处理深度的问题，各自理解即可。歧义叠加，只有更加歧义了。可是实际相反，叠加限制了歧义。

在分层处理中，我们是这样做的:

（1）Basic NP, 最基本NP层的结果是：NP【张三】 的 NP【女儿】 和 NP【李四】 的NP【儿子】 的 NP【婚事】

（2）Basic XandY, 最基本的联合结构层：在这个层次，如果条件宽，就可能发生联合错误，错把 【女儿 和 李四】 联合起来。这个条件可以是 HUMAN，二者都符合。而且在 95% 的现象中，这个条件是合适的。如果条件严的话，譬如用 RELATIVES 这个语义次范畴（HUMAN的下位概念），而不是 HUMAN 来限定的话，这个句子在这一层的错误就避免了。

那么具体开发中到底如何掌握呢，这实际上决定于设定的目标，没有一定之规。做细总是可以做到更好质量，大不了多加几层 NP 和 XandY 的模块（FSAs），但还是增加了开发和维护的负担。如果做粗一点，只要所造成的 parsing 质量上的后果能控制在应用可接受的范围，那也未尝不可，因为说到底，世界上没有完美的系统。上帝允许人类的不完美。

雷: 联合类的问题一直是nlp的难点。

白: 把这个换成“AB的中点与AC的中点的连线”？同样的结构。

另一个思路，就是多层协调中的修补。对于上述两个例子，修补的办法似乎更好。与其分多层，代入各种繁琐的语义条件来消歧，不如任他出错，然后根据pattern的平行因素加以修正。在多层系统中，这个常常是有效的策略，也符合开发的总体规划。先把系统大体弄得work了，可以对付多数现象，然后有时间和余力了，后面可以 patching。前提是，错误是 consistent 和 predictable 的。对于多层管式系统（pipeline system），错误并不可怕，只要这种错误 consistent 有迹可循，后面总可以把它们修正。

多层管式系统常常被批评存在一个 error propagation（错误放大）的难题。其实，多层系统也可以做到负负得正（矫枉过正是也）。一个好的系统设计，是后者，通过 data-driven，可以做到把错误放大控制到最低限度，并发扬负负得正来得到最终正确的结果。

白: 伟哥的诀窍其实是把握一个适中的词例化-次范畴化水平问题。太粗则伪歧义盛行，太细则边际效益大减。

上例中 “中点与AC” 可以联合，不过是一个暂时的内部错误而已，后面可以修正。总之，这些都不是根本的 challenge，想做就可以做，实际操作上，也可以选择不做。问题大了，就做；用户发飙了，就做；否则就无视。很少有歧义是做不出来的，功夫和细节而已。最终决定于值得不值得花这份力气，有没有这样的开发时间和资源。

白: 做与不做，有可能影响架构选择。补丁有好处也有后遗症。

NLP 可以做一辈子，在基本机制（优先机制，修正机制，范畴、次范畴机制，专家词典等）由平台实现提供以后，慢慢磨到最后就是 diminishing return，与爬山类似，这决定了我们何时罢手。如果85%的精度作为parsing的目标，那么系统会选择不做一些稀有的现象。有了这个 85%，已经可以满足很多应用的要求了。

有了 85% 做底， 还可以让机器变得智能起来，自动地自我提高，所谓 self-learning，这是研究课题了，但是是可以实现的。实际上在我指导的实习生实验中已经实现，不过就是不大实用而已。

白: 再看“馒头吃光了”？

这个例子更容易讲清楚,。在系统的某一层，可以有个规则 把某种 “V+光" parse 成为动补结构，这个V的限制可以调试出合适的子范畴来。

白: “光”词例化肯定是可以的。

好，这就解决了95%以上这类以“光”收尾的现象。如果遇到了反例，譬如，”黑洞吃光了“， 那么或者修正它，或者作为个体知识的规则前置。围追堵截是也。总是可以把零碎的专业知识做成规则，如果需要的话。至于这么做值得不值得，那是应用层面的决定。很多时候是不必要的。错了就错了，不过是显得系统缺乏专家的知识，so what？

即便是人，也决定于他的知识面，小学生和文盲一般不能正确 parse 理解 ”黑洞吃光“  的动宾语义来。动宾的语义是需要语言外知识在语言内非优先的潜在结构上作用才能得出。而动补结构则不需要，那是语言内的句法知识（最多说是句法子范畴或小规则，但不涉及专业知识），是所有国人的默认理解。

白: 这一点非常重要。一个开放，一个封闭。一个外部，一个内部。

外部的事儿，就算没有专业知识，也可以大数据招呼。

今天似乎可以结束了，说到底，就是

一，平台需要提供一些基本机制来处理共性与个性的关系，从而应对歧义，这些在 FSA formalism 的教科书定义中可能不存在，或被忽略，但却是实用系统不可或缺的。

二，NLP 的确是个力气活，有无限的可能深入。当然，我们可以选择不深入，可以选择何时罢手。

至于大数据招呼，那个在前述的自学习上也必须用到。

雷: 人在语言理解中也会发生许多歧义。如果机器发生的理解歧义同人的歧义，这个反而正常了。

我们教授机器做到 85%，大数据基础的自学习可以让它自行提高到 90%，这个是部分证实了的，可惜还没有发表出来，以前说过，懒得成文。都骨灰级老革命了，谁在乎那个。

雷: 大数据太笼统了。言语理解有太多层了。比如，比喻或隐喻。

白: 他就是要抹平这些层 @雷

我说的大数据是指与大语料库对应的 grammar trees 自动形成的 forest，比 PennTree 大好几个量级。

啰里啰嗦，把大家都吓跑了，只剩咱哥仨了？

雷: 这些抹平是暂时的还是永久的？

白: 实用主义的

雷: 同意，实用主义

对。实用主义，就是小平的猫路线。

这次神侃算不算基本回答了疑惑，可以得出 ”伪歧义在多层系统中不是困扰“ 这个结论？

白: @wei 是，非常感谢

不过，我们一方面实用制导，一方面没有忘记基本面和大局。与纯粹的实用主义，头痛医头，脚痛医脚，还是不同。

雷: @wei 这些可以发表在你的博客吗？@wei 许多东西在博客里更好更有指导意义

既然讲了，就博客吧。这种积一辈子挖煤的经验之谈，正式论文中罕见，也算一件功德。

难得的是白老师还有雷司令身为主流精英，居然能一开始就高于主流，不排斥异端或少数派。

所以上次上海聚会，我就说，火药味的架掐不起来的, 因为相互的理解和欣赏多于分歧。

白: 可以再关心一下NLP的商业模式，怎么能讲一个好故事。我们说fsa也好分层也好，资本都是不感冒的。

雷: 是，商业模式, 如李长官以前说的，怎么2c，而不是仅仅2b

白: 只要聚焦于深层，一定会殊途同归。

但我知道也有很多统计死硬派，甚至大牛，是不尿这壶的。

白: RNN记在统计账上，但已经是深层了。

滑稽的是发现有些死硬派做了n年NLP，却真地不懂语言学，有个别大牛连常识都不懂，让人跌破眼镜。当然这个只能内部说说，不能博客的。所以往往是互相地不尿对方那一壶，与宗教之战类似。

RNN 我还需要学习，才敢发言, 不过从白老师零星的介绍来看, 很可能殊途同归。不过 FSA 这套 deep parsing 是已经稳定成熟的技术。RNN 的工业成熟度如何，我不知道。

可能都是核弹, 不过是原子弹氢弹区别而已。

白: Ngram说不定变出个什么花样来，也殊途同归。

其实 多层 FSAs 本质上就是 ngram 的花样，不过 gram 不再仅仅是词了，而是等于或大于词的句素。能以动态句素作为 ngram 的对象，是因为多层的原因，跟剥笋子一样，层层扒皮，gram 当然就是动态的了。这一点很关键，是乔姆斯基都没想到的 power。

白: 对，边扫描边归约，边抛出句素。

黄: ngram是简单的统计，这几年也有许多进展，representation learning 算是深度学习在自然语言处理的热点。

这里面最 tricky 的不是机制而是细节。魔鬼在细节，就是指的这个。FSA 是”古老“简单的机制了，细节就是玩平衡，玩模块之间的协调。玩得好的就好比中餐的大厨，可以做出满汉全席来，玩不好的还不如麦当劳、keywords。到这一步，经验因素开始起作用。没碰过n次壁，甚至几万小时的炼狱，这个火候掌握不好。

白: 句素的个头大，影响范围就大，相当于抛得就远。可以进入远距离的滑动窗口，伟哥说的Ngram的缺点就不存在了。

黄: 很多新的模型都试图去capture long distance, sentence, paragraph的依赖关系，这里头可做的事情很多。

这类系统很难做得表面上漂亮光洁，总是在混沌中前行，要忍受不完美。这方面的忍受，数学家不如语言学家。他们天生追求简洁完美，不愿意将就。

白: dirty是必然的

ngram 的缺点是主流的缺点，不是语言多层派的缺点。恰好相反, ngram 多层以后，很容易比任何 CFG 做得细致深入，以至于，想怎么深入就怎么深入, 如果持续开发的话。

黄: 我感觉统计模型的优点之一是在某种程度上加上了semantic，比pure syntactic有很多好处

CFG 那套单层范式，无论统计模型还是传统文法加以实现，真地深入不下去，是框框决定的。两边都玩过，这种对比太强烈了。我对我的博导说过， HPSG 真地不好用，那边费那么大劲的事儿，在我这儿是小菜。说拿的是牛刀，可对象不是牛，而是鸡。不如我剪刀和匕首好宰鸡。

白: 我一个学生搞蛋白质折叠的分析。蛋白质大分子折叠的点恰好是若干局部的代表（相当于语言的head中心词）之间发生全局相互作用的地方。真是神了。

为世界和平和人类福祉计，统计模型和规则系统一定是要融合和弥补的，in some form。

这个忽视统计的教训我们也有过。如果没有统计的概念，没有大数据的制导，往往拍着脑袋而过度开发，最终是系统的臃肿不堪，甚至报废。我们语言学家是一种可能走火入魔的动物。必须要用数据制导和工程操作规范来制约我们，不能由着我们任性胡闹。

白:飞机要起飞了。关机。到北京再继续。

今天到此，特别谢谢白老师的互动和精彩的及时点评。

黄: 大胆假设，小心求证。复杂模型的威力如果有了海量带标数据没准能发挥。这几年好些统计模型都是老树开花。

黄老师还沉浸在主流的傲慢与光荣中，呵呵。

黄: 不好意思。

当然，任何奇迹都可能发生，就如在图像和语音中发生的奇迹一样。也许 deep learning 在 parsing 方面会有突破。可以想见，很多 DL 研究者正在朝着这个目标奔跑，似乎谁跑得快，谁就可以摘除NLP皇冠上的明珠。

不过这边厢有半个多世纪的传承和几十年的积累，奇迹已经发生了。

我最乐观的预测是，统计的奇迹一旦发生，从功能上也就是多层规则派奇迹的再现。从今后扩展上，也许更具优势？

拭目以待-ing。

【相关博文】

泥沙龙笔记：骨灰级砖家一席谈，真伪结构歧义的对策（1/2) 2015-09-21

 乔姆斯基批判

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-922450.html

上一篇：泥沙龙笔记：真伪结构歧义的对策（1/2)
下一篇：【旧文翻新：温哥华，我的梦之乡】

说到含金量，其实很多课题，特别是面向应用的课题，并不是什么高精尖的火箭技术（not rocket science），不可能要求一个申请预示某种突破。撰写申请的人是游说方，有责任 highlight 自己的提议里面的亮点，谈方案远景的时候少不了这个突破那个革命的说辞，多少迎合了政府主管部门好大喜功的心态，但实际上很少有多少研究项目会包含那么多闪光的思想和科学研究的革命性转变。（纯科学的研究，突破也不多吧，更何况应用型研究。）应用领域“奇迹”的发生往往植根于细节的积累（所谓 the Devil is in the details），而不是原理上的突破。而对于问题领域的细节，我是有把握的。这是我的长处，也是我提出科研方案比较让人信服的原因。有的时候，不得不有迎合“时尚”的考量，譬如领域里正流行 bootstrapping 等机器自学习的算法，虽然很不成熟，难以解决实际问题，但是基金报告列上它对申请的批准是有益的。不用担心所提议的听上去时尚的方案最后不工作，由于科研的探索性质，最终的解决方案完全可以是另一种路子。说直白了就是，挂羊头卖狗肉不是诚实的科研态度，但是羊头狗头都挂上以后再卖狗肉就没有问题。绝不可以一棵树上吊死。

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-927003.html

上一篇：社媒大数据的困境：微信的风行导致舆情的碎片化
下一篇：【置顶：《泥沙龙笔记》汇总一览】

关于乔姆斯基和统计学习的两种文化（编译） (2013-09-25 08:21:18)

转载▼

转载自： Yankee_Tootle的博客
中文原文：http://blog.sina.com.cn/s/blog_591858120101bhpi.html
英文原文：http://norvig.com/chomsky.html

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-899452.html

上一篇：泥沙龙笔记：从乔姆斯基大战谷歌Norvig说起
下一篇：Parsing nonsense with a sense of humor

泥沙龙笔记：把酒话桑麻，聊聊 NLP 工业研发的掌故

尼克介绍的那个讯飞语音输入，简直是神器，向我们的语音同行，脱帽致敬。相信语音是统计的天下。Nuance作为源头的爱疯Siri和讯飞的语音，都快登峰造极了，叹服。

两年前 Nuance 语音以上，要往 text NLP (Natural Language Processing) 发展，找过我多次，作为他们新实验室头儿的候选人。互动了很久。这要是进去，可不是就进入了统计学家和精算师们的海洋，虎口啊（笑）。精算师们的头脑里压根儿就想不到统计外还有其他。

后来他们把老革命家Ron Kaplan 从微软 Powerset 挖去，做了他们这个部门的头儿。Ron 是 PARC实验室的老将。早期 FSA 算法研究的推手（之一）。他们当时的电脑硬件的限制，对线性和效率要求极为苛刻。他津津乐道的就是当年怎么在最苛刻的硬件条件下，做出名堂来。后来他想让我做他的副手，毕竟他老人家比我还老，希望找一个能带队伍打仗的。我们相谈甚欢，有很多共同语言，因为他也是规则派，线性派，也做过 deep parsing，有很多共同的感受。

这里面涉及NLP的一些掌故，就索性在这里说说。大家都知道的是，施乐的PARC实验室是世界上最著名的IT发明创造的发源地。他们有本事招揽天下最优秀的科学家和天才发明家，但没本事开发产品，都是为他人做嫁衣裳。于是成就了乔布斯，乔布斯又成就了微软，如此等等，才有我们今天的电脑和IT大业。

这件事儿对施乐很刺激。于是十五六年前，PARC 决定尝试肥水不外流。自己 spin-off 一些 start ups, 对 PARC 的成果做技术转移和产品孵化。其中搞NLP这块的，就spin off了一家叫做 Inxight 的公司，大家应该听说过，那是工业界的NLP leader。PARC 名声大啊，除了自己投资外，吸收其他投资也不难，前后圈了10+轮风投。他们在 PARC FSA（有限状态自动机）研究的基础上，推出一个 LinguistX 的平台，从浅层开始做起，Stemming, POS，NE，多语言。FSA 特别擅长 stemming （主要是削尾）和 morphology（词法分析），就是对词的各种分析。

这样唠叨下去，太慢，还是要长话短说。

总之是，一开始还不错，因为搜索引擎市场里面，做多语言的都要stemming，他们也就有了一些客户。可是世界上有多少家做搜索引擎？以前百家齐放还好，后来天下归一就难了。

雷: 如果可能，希望短话长说

总之是，NLP 做平台的，做 component technology 的，很难在市场生存发展。Inxight 在融资10+轮后，终于撑不住了。那些当年雄心勃勃要在工业界掀起NLP革命的Inxight的创始人们（四个创始人，我认识三位），也都跟我差不多，随着这个行业一同老去，还是看不到希望。（我个人算幸运的，先是赶上了世纪末的大跃进（互联网泡沫），如今又赶上了大数据，似乎见到了NLP真正的工业曙光）。

RW:@wei component technology 很难生存，这句话到位

他们也真能，圈了那么多钱，终于无疾而终。白菜价卖给了 SAP。

高科技的事情大多如此，一旦被巨头买下，科技创新就死，然后就是不了了之。

毛:不奇怪

见过很多这样的。这 Inxight 进了 SAP 就是如此。这里面的故事非常 telling，因为若干年后 SAP 与我现在的公司达成战略伙伴，要用我们的social这块。开始接触的时候，我说，你们的 Inxight 呢，不是听说后来也做了 sentiment 吗，而且是 NLP leader 出身啊。进一步接触才明白，那叫一个天壤之别。将别三日，江河日下啊，廉颇老矣不能饭，不足道也。

回头再说这 PARC，Inxight 虽然不成，这个“上世纪的技术” FSA 并没死，前仆后继者还有。Component technology 很难活，但是从这个源头，还是引出了另外两家步 Inxight 后尘的。一个就是 Ron 创立的 Powerset，Ron 是拿它做 parsing，向深度进军。另一家是BASIS，现在还活着，在旧金山，只做 stemming，多语言，那是向广度进军。

Powerset 其实很值得赞佩，因为他做的parser工业最靠谱（除了在下的外，呵呵）。但是钱要烧完了. 总得有个产品啥，它没有。只做出了一个技术 demo，证明 parsing 对搜索有用，比关键词高一筹。概念上证明了，关键词做不到的搜索，NLP parsing 是有用的。

RW:那怎么活？@wei

Nick:@wei powerset我还较熟悉。powerset现在还在吗？

还在，但跟死了一样，头儿和主要技术人都走了，技术本身基本也没融入微软产品。

Parsing 对搜索的好处是精准，因为语法结构的匹配代替了没有结构的关键词查询。譬如要搜索微软都并购过哪些公司，关键词就很难找到好的结果。可是Powerset 在 parsing 基础上的搜索或答问，就可以整出非常漂亮的结果。行内叫做 SVO search（主谓宾支持的结构化搜索）。结果一定是漂亮的，因为把句法结构加入了，微软必须是主语，并购必须是谓语，那么出来的结果就不会不干净。SVO 就是parse的主干，主谓宾，语言学叫 argument structure，是 parsing 的核心结构。

当时，Powerset 钱快烧完的时候，还想不出来做什么产品，Ron 的团队着急了。嚷嚷着超越Google，可是只有个高效的parser，没法说服人啊。于是想到，找一个什么不大不小的对象开刀合适呢，因为 parsing 是有成本的。他们口口声声，是要做下一代Google，取代关键词搜索。Google 最多是牛顿，Powerset 要做爱因斯坦。

这些宏观上的忽悠，完全没有问题，因为原理没错，parsing 是 keywords 的爱因斯坦，可是工程上有成本的考量啊。结果他们想了一招，拿 wiki 开刀。wiki 当时的那个量，还比较合适做demo，Ron 于是在互联网的大海找到了这么一滴水。

Nick:@wei 这是何时的事？

六七年前吧。他们于是把wiki parse 了一遍，做了一个 demo 给大家看，蛮impressive，于是，微软就买了。他们也算善终了，至少投资人没亏，小赚一笔。微软的心态，是不管三七二十一，只要宣称能取代Google 的技术，先拿下再说，管他消化得了消化不了。因此 Powerset 比 Inxight 的风投结果好，至少没有贱价出售。如果 Powerset 错过了微软这个冤大头，那就比Inxight 还惨。

RW:是不是最终又给微软毁了？

微软当然毁了它，比SAP 还不如。

Nick:貌似powerset还做search整合，把好几个搜索结果拿来从他们这过一下

前几年我做多语言deep parsing项目，招人的时候，去 Powerset 挖到一位，很能干的。本来高高兴兴做 parsing，是从 PARC 被 Ron 带出来的，后来微软吃掉后，被分配去做 query 的分析。query 在搜索是啥,不就是两三个词的组合么,一个做语言语法分析的人,现在必须抠那几个词，为了一些细琐的需要（应用上自然很重要），简直郁闷极了。这位其实懂很多欧洲语言，也有电脑素养，我挖他过来做大数据的语言分析，他自然很开心。Ron 不乐意了，曾明着跟我说过。可他也没法，他自己勉强在微软帮助支撑了两三年，最后还是去了 Nuance，祝他在 Nuance 可以开一个新局面。

Nick:parsing完再搜索vs搜索完parsing，哪个效果好？

这都扯到哪里了。这些掌故说起来一大车，包括当年的 Whizbang！那可是名校计算机主任亲自出来领头做的NLP 公司啊，特别擅长网页layout的机器学习，从中做信息抽取，最后比我的前一个公司 Cymfony 结局还惨。世纪之交高科技泡沫破灭，我们挺住了，开发了产品，他们的3000多万的投资人却中途撤资了，最后各种技术贱卖，100万即可买到所有的源码和技术说明，先找到我们，说是最适合的买主，我们当时没精力消化这些，后来是Inxight买了。

雷: 说起来话长，故事好听

再往前的掌故还有Answerlogic问答系统，也是在上一轮 bubble 时候闹腾得特欢的NLP 公司。钱烧完了，就完了。

RW:这句话经典！[微笑]

所以说，这 NLP 要做成，不容易。不是技术不到位，技术参差不齐，但是优秀的引擎（精准、鲁棒、高效）是已存的现实。我敢打包票。

RW:是不是有ahead of the market 之嫌？@wei

技术不是问题（笨蛋不算，你要是找到一个只会忽悠的笨蛋，那是 due diligence 太差，怨不得人）。

Nick: 嗨，老套路，骂别人是为了夸自个。

可不，卖瓜王爷。不过，那也是客观事实，内举不避己，不能因为自己能就偏要说不能，最后还是要系统说话。

当然，这玩意儿要做好（精准达到接近人的分析能力，鲁棒达到可以对付社会媒体这样的monster，高效达到线性实现，real time 应用），确实不是一蹴而就能成的。这里有个n万小时定律。大体是，NLP入门需要一万小时（大约五年工龄），找到感觉需要两万小时，栽几个有意义的跟头需要三万小时，得心应手需要四万小时，等你做到五万小时（入行25年）还没被淘汰的话，就可以成精了。那是一种有如神助、如入无人之境的感觉，体会的人不多。打住。

高精的NLP技术虽然很难，但技术的确不是问题，问题在于产品。从 NLP引擎 mapping 到产品或产品的 features，这里面有千百种组合，哪种组合能在市场上站住，到目前为止基本是盲人摸象的过程。

RW: 否则不叫风投

为了减少盲目性，产品经理和制定产品策略的老总至关重要。

高技术公司的产品老总在宏观上了解NLP的潜力，同时深谙市场的卖点，了解客户的需求和痛点，可以具体制定产品和产品features的specs给 NLP developers，只有这样合作才能成事。

回尼克的问题, parsing 和搜索的关系。parsing 完再搜一定是效果好的，因为搜不到就backoff 到关键词。你可以肯定高于搜索，问题是成本。搜索完再根据情况调用parsing，也是可行的。

Nick:我就是这个意思。我印象当年powerset给我看的demo是先搜后parsing。

但是这个问题，更准确的表述应该是，一个query来了，有个 routing 的process，这个 routing 可以包括局部搜索探路，也可以包括其他的策略，总之是，应该可以找到一类 query，这类 query 最适合用 parsing 来回应。最好是那些关键词最难回应，而结构最拿手的。如果这个子集能大体确定，那么 parsing 在互联网搜索上是大有可为的。其实，目前的搜索巨头，在利用 parsing 的路上走得太慢。原因我不清楚，但是明显是利用不够。话说回来，如果巨头都能那么灵活，也就没有小公司的活路了。

Jing:用户量大了后用户的历史行为就间接人肉parsing了。

历史行为那是另一个侧面和角度，可以满足信息需求的一个部分。历史行为确实也等于间接利用了人工的parsing的结果，因为人在选择点击阅读某个网页的时候是扫描理解（parse）了链接上的标题的。但那不能涵盖 parsing 所能起的全部作用。

Jing:query understanding包括这个步骤。你前面提到的那个分去做query的哥们完全可以做这个呀

query understanding 是非常重要的一个环节，可是做的人痛苦啊，两三个词玩不出语言学的名堂来，没意思。做 text 的人面对的是整个互联网。query 是语言中的一个分子，那种感觉是不一样的。

【相关博文】

泥沙龙笔记：从乔姆斯基大战谷歌Norvig说起 2015-06-20

乔姆斯基批判 2015-06-15

把酒话桑麻，再泡一壶茶，白头老机译，闲坐说研发

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-901032.html

上一篇：“运动”损伤与体重有很大的关系
下一篇：权利？义务？说说“父亲们休产假”的事儿

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-902391.html

上一篇：泥沙龙笔记：再聊乔老爷的递归陷阱
下一篇：人机接口是机器人的面子

肮脏也是人类生活的一部分，总得有人研究。肮脏语言的研究可以提醒人们注意语言文明，防止语言暴力，支持垃圾清扫或过滤等。有了互联网的匿名性，人类更加肆无忌惮，不雅用语横行，但人类不幸文人幸，互联网也为语言学家对不雅语词的研究提供了极大的方便。

最近在做英语和汉语这方面的调查研究，发现其实不同文化和语言也差不多，都有庞大的肮脏语词词汇。其中主要类别不外乎是：

（1）性：性器官、性行为、性取向

性行为是人类繁衍的根本，人人做，人人骂，古今中外，概莫能外，这里收集了约30多个骂法：

// F-word and the like

fuck, fucken, clitfuck, cunnilingus, dicksucking, dickslap, fellatio, feltch, assfuck, handjob, humping, blowjob, fuckin, fucking, fucks, munging, pussylicking, rimjob, skullfuck, titfuck, tittyfuck, wank, wankjob, dick-sneeze, fucketh, fark, feck, fook, frick, blow job, jerk off, fuckest, motherfucking, mothafucking, mothafuckin, mothafuckin', mothafucka, grandmafucka, motherfucker,dildo, fuckbutter, fucker

很长时间，人类把同性恋看成是性行为中最为肮脏的苟且之事。英语骂同性恋的单词据不完全收集有近 70 个之多：

//homosexual

cocksucker, assfuck, ass-jabber, ass-pirate, assbandit, assbanger, assfucker, assgoblin, asshopper, assjacker, asspirate, bitchtits, brotherfucker, bumblefuck, butt-pirate, buttfucka, buttfucker, cockjockey, cockknoker, cockmaster, cockmongler, cockmongruel, cockmuncher, cocksmith, cocksmoke, cocksmoker, cocksniffer, cumguzzler, cumjockey, cuntlicker, dickfucker, dickmonger, dicksucker, dicktickler, carpetmuncher, dike, douchewaffle, dyke, fag, faggot, fagbag, fagfucker, faggit, faggot, faggotcock, flamer, fudgepacker, gaybob, gaydo, gayfuck, gayfuckist, gaylord, gaytard, gaywad, homo, lesbo, lezzie, mcfagget, muffdiver, penisbanger, penisfucker, penispuffer, polesmoker, queer, queerbait, queerhole, twatwaffle, unclefucker, fagtard

女性器官类有30个骂词，男性器官类有 20 个：

// vagina

cunt, axwound, coochie, coochy, cooter, cunnie, cunthole, minge, kooch, kootch, gooch, panooch, pissflaps, poon, poonani, poontang, punanny, pussy, poonany, clit, kunt, muff, snatch, twat, twats, va-j-j, vag, vajayjay, vjayjay, camel toe, pussies, queef

// penis

penis, bollocks, bollox, choad, dickhole, fuckstick, nutsack, pecker, prick, chode, schlong, scrote, testicle, nut sack, dick, cock, dickhead, hard on, boner, renob, cum, dickjuice, dickmilk , jizz, skeet, dickbeaters, butt plug

侮辱女性为女巫和婊子的也不少，连带有对女性第二性征的辱骂：

bitch, whore, hoe, punta, skank, slut, slutbag, cumdumpster, cumslut, bitchy

tits, chesticle

屁股离性器官较近，又是排泄污物的器官，自然也成为骂人的利器，收集到 15 个单词：

// butt

anus, arse, arsehole, ass, assclown, asscracker, assface, asshat, assmuncher, assshole, asswad, asswipe, fuckbutt, fuckhead, gayass, shitspitter

（2）弱智傻逼等：

英语有 80+ 个不堪入耳指着鼻子骂人的话语，这还仅仅是单词层，不包括扩展性和创造性的短语类骂法：

// idiot

ass-hat, assbag, assbite, asscock, asshead, asshole, asslick, assmonkey, assmunch, assshit, asssucker, bampot, bitchass, clitface, cockbite, cockburger, cockass, cockface, cockfucker, cockhead, cockmonkey, cocknose, cocknugget, cockshit, cockwaffle, cumbubble, cumtart, cuntass, cuntface, cuntrag, cuntslut, dickbag, dickface, dickfuck, dickwad, dickweasel, dickweed, dickwod, dipshit, doochbag, douche-fag, dumass, dumbass, dumbfuck, dumbshit, dumshit, fuckass, fuckbag, fuckboy, fuckbrain, fuckersucker, fuckface, fucknut, fucknutt, fuckhole, fucktard, fucktart, fuckup, fuckwad, fuckwit, fuckwitt, homodumbshit, jackass, jagoff, jerkass, peckerhead, shitass, shitbag, shitbagger, shitbrains, shitcunt, shitdick, shithead, shithole, puto, suckass, thundercunt, twatlips, whorebag, whoreface, tard, lameass, bastard, douche, douchebag, jerk, dickhead, assshole, dumb ass, shitface

（3）种族

非我族类，都是鬼子，于是有各种鬼子的骂法：

beaner|wetback|spic|spick （老墨巴子）
chinc|gook （老中巴子）
chink （东亚病夫）
cracker|spook|honkey （白鬼）
dago|deggo|guido|wop （意大利鬼子）
gringo （老外）
heeb|kike|kyke （犹太鬼子）
jap （日本鬼子）
kraut （德国鬼子）
pollock （波兰鬼子）
paki （巴基斯坦巴子）
mick （爱尔兰鬼子）
ruski （俄国老毛子）
sand nigger （中东巴子）

coon|negro|nigaboo|nigga|nigger|jigaboo|junglebunny|porchmonkey|niglet|jungle bunny|porch monkey （黑鬼）

可见骂的最多的还是苦难深重的黑人兄弟。不怪他们的平权运动和反歧视示威经久不衰。

（4）最后的杂类不外是屎（shit）尿（piss）等脏物，但远不如上述类别的丰富多样：

// SHIT

shit, bullshit, dookie, shitstain, shitting, shiz, shiznit, smeg,  shitty

// PISS

piss, bugger off

最后还有 damn （诅咒） 和 hell （地狱）两个常用的诅咒见鬼的恶毒语词。

【Related】

科学网—社会媒体比烂，但国骂隐含舆情- 李维的博文

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-827442.html

上一篇：解释不清楚“动量”并不是因为语言文字的问题
下一篇：职业随想曲：语言学万岁

【立委按：微信泥沙龙，谈笑鸿儒，高朋满座，信马由缰，言无所忌，摘之与同仁分享。】

【泥沙龙对话录】

今儿个咱要吐槽乔老爷，不吐不快。

开题：乔姆斯基，对领域的误导，或负面影响，与他对语言学的革命性贡献，一 样大。

他的hierarchy，是天才绝顶的理论，是不可泄露的天机，从而奠定了形式语言的基础，用来创造、解释，或编译计算机语言，是完美的指导。

可是，完美往上走一步，就可能成谬误。乔姆斯基拿这套理论，硬往自然语言套，导致整个领域，在所谓自然语言是free，还是sensitive，还是 mildly sensitive等不靠谱的争论中，陷入泥潭。

太多的人被引入歧途，理所当然地认定，因为自然语言复杂，因此需要 powerful的文法。这个 powerful，是世界上用的最误导的词。

工程师发现，有限状态好用，但经不起理论家的批判：你那玩意儿太低级，不够 powerful，只能拿来凑合事儿。

实际上，做过大工程的人都明白，对象的复杂，并不是使用复杂机制的理由，有本事使用简单机制对付复杂的对象，才是高手。

乔姆斯基最大的误导就是，用所谓自然语言的center递归性，一杆子打死有限状态，他所举的center递归的英语实例，牵强和罕见到了几乎可笑的地步，绝非自然语言的本性。结果一代人还是信服他了，彻底地被洗脑，理所当然以为必须超越有限状态才可以做自然语言深度分析。

为了所谓语言的递归性，人脑，或电脑，必须有个堆栈的结构才好，这离语言事实太远，也违背了人脑短期记忆的限制。世界上哪里有人说话，只管开门而不关门，只加左括号不加右括号，一直悬着吊着的？最多三重门吧，一般人就受不了了。就算你是超人，你受得了，你的受众也受不了，无法 parse 啊。说话不是为了交流，难道是故意难为人，为了人不懂你而说话？不 make sense 嘛。

既然如此，为什么要把不超过三层的center循环，硬要归结成似乎是无限层的递归？

（毛老：递归成了他的宗教。）

不错。乔老爷的递归误导语言学，坑了NLP太久。我对他的语言学不感冒，对他对NLP的误导，更感觉痛心。一个如此聪明强大的人，他一旦误导就可以耽误一代人。被耽误的这一代是我的前辈一代（上个世纪70年代80年代），他们在自然语言理解上的工作几乎一律为玩具系统，在实际应用上无所作为，从而直接导致了下一代人的反叛。老一代被打得稀里哗啦，逐渐退出主流舞台。

在过去30年中，统计NLP的所有成就，都是对乔姆斯基的实际批判，因为几乎所有这些模型，都是建立在ngram的有限状态模式的基础之上。

（洪爷：从乔姆斯基的所作所为，就能分出构造机器智能和解构人类智能难度上的差异。他五十年代略施小计就把形式语言夯成了计算机的Cornerstone，可是穷毕生精力，总是在重构其语言学理论。
毛老：如果没有乔老的那些理论，人们能做出计算机语言编译吗？）
洪爷：语法mapping到语义，总是要做的，不必须用形式语言，就像现在做nlp的人也不必须懂语言学。还是 David Marr，David Rumelhart 等立意高远，总想找到人机等不同智能实现上的共通计算机制。
刘老师：Marr 也是人神级别的
毛老：跟上面问题类似的是：如果没有图灵和冯诺依曼的理论，人们会造出计算机么？
洪爷：Babbage的分析机可行，Ada的程序/算法也早可行。其实，问题不在于出冯诺依曼还是马诺依曼，问题在于，不管他们的理论表面上如何不同，可能都受同样的约束，能力上可都能都等价。而Chomsky 研究的是这些约束能力。
毛老：那图灵不是更加么？
洪爷：Turing 从机器一侧，Chomsky从人一侧。）

洪爷说的是事实，过去三十年不懂语言学做NLP的占压倒多数。但那不是健康状态。不过，语言学里面也很混杂，进来的人很容易迷糊。但是，语言学里面确实有一些指导性的东西，了解与不了解大不一样。比如索绪尔，就值得琢磨。索绪尔说的大多是原则性的，有哲学的意味，是传统的非科学性的语言学，特别具有宏观指导意义，可以提醒自己不至于陷入细节的纠缠，而忘记了方向。他谈的是共性与个性的关系，语言和言语，规则与习惯，共时与现时，都很洞察、到位。

（白老师：我觉得线速、柔性很关键，多层次递归和远距离相关必须搞定。方法不限，八仙过海。）

那些已经搞定了，伪歧义也不是问题，都搞定了。有一种叫做cascaded FSA的方法，与软件工程的做法极其类似，就能搞定这些。前提是指挥者架构者不能失去全局，要胸怀索绪尔，而不是乔姆斯基。架构和interfaces设计好，下面就是模块的开发，匠人的干活，可以做到很深，接近逻辑表达，比chomsky的文法深。传统规则系统受乔姆斯基CFG影响太大，很不好用，而且也无线性算法，所陷入的困境与神经网络以及一切单层的统计系统类似。正如多层的深度学习被认为是AI的突破一样，有限状态一多层，一 cascade，以前天大的困难，递归啊远距离啊伪歧义啊，就消解于无形。

（白老师：数学上的函数复合。）

就这么一个简单的道理，结果至今批判规则系统的人，还在打稻草人，以为规则系统都是CFG那么愚蠢和单层。

乔姆斯基对nlp的误导，还在于它的短语结构的表达法。那个phrase structure破树，叠床架屋，为了追求所谓语言共性，太多的assumptions，既不经济也不好用，却长期成为 community standards，误导了不知多少人。起码误导了 PennTree，通过它误导了整个领域。，

(白老师：某种意义上，nlp是应用驱动的。与应用匹配，Ngram也不算误导。与应用不匹配，HPSG也算误导。抽象的误导不误导，让语言学家掐去吧。一个topic问题，扯了这么多年。)

语言学家打烂仗的事儿多了，说起来这与乔老爷也有很大关系。有个 self，相关的所谓 Binding Theory也是论文无数，大多垃圾，这与老乔的负面影响直接相关。为追求 universal grammar，和脱离语义的generalizations，走火入魔，大多是无谓的口水战争，既不能推进科学，也不能推进应用，唯一的好处是帮助了很多语言学博士的选题，培养出一茬接一茬的语言学博士。可是，毕业了还是找不到工作。老乔由于其超凡的智力和名气，帮助提升了语言学的地位，但他没有能力影响市场，结果是全世界语言学家过剩，懂得茴字五种写法的落魄腐儒，如过江之鲫，谁能给他们就业机会？

这里面的要害在，所有的语言分析，不可能为分析而分析，都是为了求解语义的某种需要，可老乔强调的语法纯粹性，要脱离语义才好研究终极的机制，这个argument有历史的革命意义，有某种学术价值，但非常容易形而上学和片面化，结果是语言学家脱离了目的，脱离了需要，在争论一种分析，或一个模型与另一种的优劣。其实这些相争的方案，只要系统内部相谐，都大同小异，根本就没什么本质区别，而且没有客观的可量度的评判标准，那还不打成一锅粥。

（刘老师：摆脱语义，直接进入语用？）

哪里，乔老爷是要直接进入共产主义，要世界大同。他对语义不感兴趣，更甭提语用。语义在他属于逻辑，不属于严格意义的语言学。句法语义是分割开来的两个范畴，句法必须自制。

（白老师：句法自制是错误的。）

对传统语言学完全不分家的那种分析，老乔有革命意义，也确实推进了结构研究，但凡事都是过犹不及。句法自制推向极端，就是本末倒置，失去方向。

我做博士的时候，在一个小组会上，举一些汉语的例子，作为证据反对一刀切的句法自制，说老乔有偏差，看到的语言事实不够，结果被我导师劈头盖脸批了一通，言下之意，不知天高地厚。我当然口服心不服。

问题是，我一辈子只思考一个问题，只要醒着，头脑里除了语言，就是文法，除了词汇，就是结构，突然有一天觉得自己通达了，看穿了语言学上帝，乔姆斯基。

原来，智商高，不见得离真理近，智者乔老爷，也不例外。

（洪爷：老乔不是上帝，他只是让咱看到来自造物主的理性之光。）

形式语言理论，非人力可为，绝对属于天机，单凭这，乔就是人神。

吐槽乔老爷，一次抱怨完，明儿依旧是偶像。

【后记】

到了我们的年代，俄语退居其后了，所以我本科的二外选的是法语，到研究生才选了俄语做三外，不过全还给老师了。虽然语言是还给老师，体悟到的语言学却长存，所以也不冤。到 30 年后的今天主持 multilingual program，带着参考书，我还一样可以指导法语和俄语的 NLP 研发，语言的不同，换汤不换药也。

不管我怎么批判乔姆斯基，我还是服他到不行：他老人家的威望可以把 Universal Grammar 这种乍听很荒唐的观念，转化成一个让人仰视的语言哲学理念。UG 的真理之光由此不被遮蔽。当然最厉害的还是他的 hierarchy 形式语言理论，那几乎不可能是人的理论，那是上帝之光，尽管乔老爷在描述的时候，不免机械主义，hence 造成了极大的误导。

【相关博客】

巧遇语言学上帝乔姆斯基

泥沙龙笔记：从乔姆斯基大战谷歌Norvig说起 

Chomsky’s Negative Impact

泥沙龙笔记：再聊乔老爷的递归陷阱

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-898036.html

上一篇：Automated survey based on social media
下一篇：米拉围脖：质疑？还是质询？