立委NLP频道

【尼沙龙笔记：图灵测试是语言理解的合理表示吗？】

毛:
伟哥对理解的理解似乎与二师兄不同？@wei

李:
董老师是我的启蒙老师他当年的逻辑语义学说回答了一个语句理解的问题觉得豁然开朗迄今也没别的学说这样让我信服过。@董振东

毛:
愿闻其详？

李:
说理解了一句话就是解构出里面的逻辑语义：谁是逻辑主语逻辑宾语等。董老师定义了将近 100 种逻辑语义角色，形成一个 hierarchy，最上层的逻辑语义角色不过10种。简单说就是搞明白谁对谁做了什么何时何地何原因如何做的等等。

毛:
那就必定是符号派了？
乡下的老太太，根本不知道主语谓语，她们不是也能理解吗？

Nick:
@毛德操老太太不知道，但老太太的大脑知道。老太太不知道自己的大脑知道

李:
是啊老太太知道 “她喜欢红烧肉” 与 “红烧肉她喜欢” 是一个意思，也知道与 “红烧肉喜欢她” 意思正好相反，后者是胡说。所以老太太的逻辑语义是明白的虽然她不懂得这就叫 parsing 或逻辑语义解析。

毛:
那怎么知道老太太的大脑知道？她可能并未转化成符号并加以解析。
@wei 你讲的理解是否包含对于因果的认知？

李:
语句理解包含部分的因果。

毛:
“部分”，多大的部分？有多大的部分，才算是理解了？老太太的大脑知道，其外部表现是什么？如何判定？

郭:
“理解”，我的理解如下：我脑子里有一个我自己的“大前提”，或者叫“common sense”，就是我的“认知”。你说一句话，如果我“理解”了，我就可以把你的话作为“小前提”。然后，我可以用“我自己的逻辑”，“推导”出“我的结论”来。这里，是否“符号”并不必然。这“逻辑”，也完全可以“非亚里士多德”，更不必“因果”。但无论如何，要能再走一步。

毛:
这其实就是图灵测试的变形，只是把它用在人与人之间（而不是机器与人之间）。你是以你自己的认知作为对照，看老太太的反应是否与这个对照者等同。所以，我认为唯一的办法就是图灵测试。

郭：
“老太太的大脑”的判定，其实无异于图灵测试。你说“我喜欢红烧肉”，她如果回答“我小时候吃不起啊”，我就认为她“理解”了。

毛:
对。你还可以问:“为什么吃不起”，如果回答“没钱”，就更说明她理解了。通过了图灵测试，就可以认为测试目标真的理解了，或者说具有了（正常）人的智能。图灵在五几年就想透了这一层。问题其实在庄子那个时候就提出来了（子非鱼），但是他没有答案，没有提出方法。

郭:
不过，图灵测试，可是批评者众啊！也是问题一大堆。

白:
图灵测试这思路不对。

毛:
愿闻其详？批评者众可以，但是得要提出替代方案。

白:
我喜欢Winograd Scheme的路子。用代词指代考系统。

毛:
那都涉及语法，可是许多人根本不知语法为何物。比方说我五岁的外孙女，她已经能理解不少事情了，但是她根本不知道语法。

白:
没有显性语法，普通人做得出来的。比如“张三告诉李四他很伤心，他安慰了他。” 然后问：谁很伤心？谁安慰了谁？这完全不涉及显性的语法。

毛:
问题是，你怎么知道她会运用隐性的语法？你钻不到她脑子里，只能从外部观察。

白:
都是这套路。不管有没有隐性语法，做出来算。

毛:
对，做出来算，这实质上就已经是图灵测试了。

白:
不是自然对话，是语言学家和NLP专家设计出来的考题。比较人和机器的考分。

毛:
这实质上仍是图灵测试，形式上有所不同。当然，现在机器一般而言还没有能通过图灵测试。但是观察目标物对于外部刺激所作的反应，并与对照物相比，这个原理是一样的。我们在考察一个软件模块时只看其外部表现，即API，而不追究其内部实现，也是同样的思路。

白:
其实音乐和语法问题很类似。会唱的听众可以不识谱，但是哪里跟原曲不一致是可以听出来的。

毛:
对的。其实这就对应着符号和神经两条路线的差异。

白:
但是用什么记谱更精确，这个问题是有答案的。

李:
说一千道一万，我还是迷信SVO，即逻辑语义。

毛:
你自己已经说了，迷信。

白:
手握精确武器的人对手握原始武器的人，的确有傲视的资本。

毛:
SVO是高级的思维活动，而神经元是低级的，接近于本能的反应（所谓下意识的反应）。下意识的反应猫狗都有，而 SVO 只有人能做。所以脱离 SVO 谈人工智能是不现实的，只是目前的热点是在解决下意识活动而已。

白:
记谱法的好坏不需要迷信。

毛:
记谱方法的好坏，是符号派内部的冲突。简谱与五线谱，基本上就是首调唱名与固调唱名的分岐，我觉得都有道理。一些年轻人把人脸识别说得神乎其神，我说: 别以为你这就有多牛，你去牵条狗来，它照样也能人脸识别。

白:
比如说切分音，这个概念在不同记谱法里面可能表现形式不同，这无关大局。但假设一个记谱法里居然没办法表示切分音，这就是落后的记谱法了。

毛:
是的。这就是所谓“不完备”。这里又可看出深度学习与符号推理之间的差异。前者相当于能跟着唱，或记住了几支小调，但绝对成不了音乐家。所以，连接主义所能达到的水平，只能相当于人类中的文盲。而若想要知书达理，就得上学校去读书，学习符号与推理。

白:
当年表示不了“异或”的情况，就很像表示不了切分音的记谱法。

毛:
对对对

白:
如今表达不了robustness的符号逻辑，则是另一种尴尬。都构成被鄙视的理由。

毛:
反正戈德尔已经说了，逻辑本身就是不完备的。但是这并不意味着可以不要逻辑。

白:
表达不了灵活语序的形式语言，也是另一种尴尬。也不意味着逻辑不要创新。

毛:
那是因为有得必有失。你把语言简化了，当然就得付出代价。

白：
还原复杂的路径不止一条，也不为某种技术路线所专属。

毛:
对，应该互补。所以符号推理与深度学习都需要，而且得要能打通才好。

白:
也许真相离大家都有点远，谁不创新都是危险的。

毛:
是啊。但是创新难呐。

【相关】

【李白梁于94：爱因斯坦是卓别林的崇拜者, 谁崇拜谁？】

梁：
“爱因斯坦是卓别林的崇拜者。” 谁崇拜谁？

李:
好句。歧义句。

爱因斯坦的崇拜者是卓别林
卓别林的崇拜者是爱因斯坦

也都歧义。

以前提过，“者” 是一个看上去像词法后缀（-er），但其实常常跳到句法层面的词素，V-者；VP-者：

违者；违规者；违反规定者；违反中央三令五申的七项规定者

某人的崇拜者：（1）【（对）某人的崇拜】-者 == 【崇拜某人】-者；（2）某人【（对别人）的崇拜】-者。

中文好鬼。

如果改成“对象”，就避免的这个讨厌的“者“带来的歧义：“某人的崇拜对象”。崇拜的宾语（即“对象”）必须他指，而修饰语只能是施事。

我是鲁迅的崇拜者；鲁迅的崇拜者是我。

这个没有歧义。是语言外的知识补脑进来消灭了歧义：我是小人物，鲁迅是大人物；我是当今人，鲁迅是历史人物。常识告诉我们：小人物崇拜大人物，而不是相反。时间铁律告诉我们，活人可以崇拜过世的人物，但历史人物绝不可能了解，更不可能崇拜今人。

爱因斯坦卓别林是同时代人，印象两人见过面的。好像见过两人的合影照片。相互崇拜都是可能的。外部知识不能提供区别性消歧支持。

梁：
印象很深，小时候听过“Einstein was a great admirer of Charlie Chaplin's films.“

李:
“邓公是毛公的批评者“，也同样歧义。在毛时代，邓是属下，根本不敢批评毛，只有被批的份儿（三上三下）。在邓时代，邓继大位，毛已作古不能批，只能被批。

于:
@梁焰 @wei 语句的意义由语法不一定能确定，而是语用确定，现在不已经是常识了吗？

白:
现在讨论的是语用确定落实到什么地方

于:
@白硕语用似是考虑语境吧？语境似包含：说者、听者、时间、地点、事件、意图等等。同一语句的不同语义，依赖于语境的变化。目前语境的研究也有一些进展
语境的可计算性方面取得了一些进展

白:
希望有轻武器对接parser，不要一上来就是重武器，30年搞不完那种。

于:
@白硕轻武器很难。据我所知，语境计算似刚刚起步，跟parser对接还得等等。不过，可以写文章了

阮:
很多领域应用中，语境相对明确，感觉可以有轻武器。

于:
@阮彤那就得领域限定，情境也也就相应限定了。限定一定程度，理论上会有轻武器。

白:
批评者作批评对象理解，太少见了。可以做例外处理。至少要一个什么局部占优势的语境才能激活这个例外才可以。标配还是施事。有崇拜者，没有崇拜，更没有崇拜的内部（填坑）结构，自然就打住了。

李:
句法可以高高在上，暂时不烦心深层的逻辑语义。等到落地的时候再看要不要烦，到那时候，绝大多数的问题已经烟消云散。能够留在雷达上的，就是那个落地所指向的实际应用领域场景。进入场景，就是另外一个世界了，领域知识（包括领域本体图谱和领域实体图谱），业务逻辑等开始发力。

白:
现在已经有了“xx对象”这种清晰的表述，再用“xx者”这么暧昧的表述，纯属段子手了。所以“xx者”已经是标配的施事专业户了。

从轻发落的一个办法是，对一个有n个坑的动词V，“V者”只负责填一个坑而不锁定哪个坑。V的pos标记是S/nN，“者”的pos标记是N/S，二者结合并考虑反填的结果就是N/(n-1)N。在这样的句法体系里不必确定逻辑主宾语，也不必确定施受事，只对未饱和坑做加减法。等到说“谁的什么者”的时候，又可以少一个坑。所以，我们不在乎引入“者”的内部结构。这样处理，只不过为了在句法层面找一个能说明“谁和谁有关系”但不必深究“是什么关系”的合适边界。“是什么关系”语义层面自会给出“标配解”，如果必要，语用层面再给出“精确解”。虽然也是高高在上，但是句法本身就能确定的句法结构绝不留给语义。如果V是不及物动词或形容词（S/N），则一切不确定性消失，与“者”结合后形成的就是N。

有意思的是，英语有词法主动被动两个后缀，对歧义完全免疫，比中文的类后缀“者”与“对象”的对比彻底：

A is B's admirer : A admires B
A is B's admiree: B admires A

哈网上有争论说 admiree 不如 admired：-ee 是一个接受度不够广泛的后缀，见：https://www.quora.com/Does-the-word-admiree-exist-as-opposed-to-admirer

高:
killee
lovee

李:
lovee exists in theory; loved (one), beloved are used orally. We never know, as language is evolving, someday this suffix might be more widely adopted or might fade away......

【相关】

【李白宋93：汉语语序的自由与不自由】

白:
我觉得汉语语序没有那么强的作用。坑也不是非要凑齐了再咋地。应该有一种符号化的mechanism，很方便地刻画这种对语序的包容。大家之前都被误导了

李:
语序我觉得汉语没有那么强的作用
没有那么强的作用我觉得汉语语序
汉语我觉得语序作用没有那么强的
汉语语序作用我觉得没有那么强的
............

尝试结论一下：（1）宏观语序没有那么强，虽然统计上一定是少数几种语序最常用，但语序灵活性在。（2）微观语序相对固定。譬如上句中 “汉语语序” 不能说成 “语序汉语”，“我觉得” 不能说 “觉得我”，“那么强” 不能说 “强那么”等（不过 “没有那么强” 倒是可以说 “那么强没有”：这个有点赶巧了，遇到“没有”这个多用法的小词），但“主题化”句式有一定的打破语序的特殊作用：

语序【停顿】汉语作用没有那么强

汉语微观语序（phrase内部）不大自由，与有性数格一致关系的欧洲语言对比强烈：有一致关系的语言，就不需要语序来制约谁是修饰语谁是head了。汉语宏观语序（phrases 之间）的自由度，比我们通常以为的，要大很多。我们确实有意无意被误导很久了。

白:
分析用，“不能说”只是在结构作为一个组件参与排岐的时候才有用。其他情况基本不用。

李:
微观中最显著的关系是 mods 与 head，语序不固定就产生歧义，必须固定。尤其是定中（比较：“木头沙发” vs “沙发木头”）

白:
填坑与盖帽，本来就是两种性质的东西。

李:
到了副词-形容词组合：很好 vs * 好很（但是我们有个 “好得很”）；状语和动词：认真工作 vs 工作认真，居然两可，虽然句式不同。

phrases 之间，语序很自由，但仔细看，也有说法。一般来说，宾语提前很常见，但是主语后置不可以，少数例外是“来去”这些“自动词”：

三个人来了
来了三个人

宾语提前的自由度大于主语后置，这多少因为前者的说法常见，被共同体约定俗成以后，只好牺牲后者的自由度：太多的自由容易乱套，所以一个元素的自由增加建立在另一个密切相关的元素自由减少的前提下。

白:
喜欢死我了

李:
哈这个以前议过（【李白82：汉语重叠式再议】）：“我稀罕死她：是我喜欢她
她稀罕死我：既可以是她喜欢我，也可以是我喜欢她。汉语鬼不鬼？”

S 喜欢死 O：（1） S 喜欢死 O；（2）O 喜欢死 S == O 让 S 喜欢死（O) 【使动解读】

我喜欢死iPhone X 了
iPhone X 喜欢死我了。

歧义：他恨死我了。
不歧义（常识带入）：这破玩意儿恨死我了

宋：
汉语的语序，还是有硬约束的。“张三打李四”，一定是张三动手，李四挨打，这个语序不能乱。一般来说，施动受三个短语组成小句，无约束的全排列有6种，能使用的只有3种：施动受，施受动，受施动。当施受无法根据同动词的语义关系来区分时，后两种也不能用。

白：
施受动到底是句法关系还是语义关系？语义关系句法是可以不管的。

宋：
施受动是语义概念，但在汉语句中受语序限制，应该是语义的形式规则。句法分析可以不管，但语义分析要管。我想，用语义适配性解决不了“张三打李四”的语义分析问题，还要使用这种语义的形式规则。

李：
施动受（SVO）是逻辑语义。逻辑语义解析是分析的根本目标。归在哪个模块分几步走那是系统内部的事情但目标不变。

以前说过常识永远是软约束而显性形式（关于“显性形式”，见【立委科普：漫谈语言形式】）可以是硬约束软的不能代替硬的。当一种形式让我们理解了反常识的时候我们意识到了硬约束。乔姆斯基的绿色思想（“Colorless green ideas sleep furiously”）, 精妙不过如此。

硬约束举例:

1 语序: 白米饭吃了我
2 小词 “被” 和 “把”：我被白米饭吃了。白米饭把我吃了。
3 直接解说（包括用小词也用实词）：白米饭对我不是吃的对象，反过来我成了白米饭食用的对象。

白：
白米饭把我吃胖

李：
“吃胖” 那种句式（vt 加结果补语a 构成）不是硬约束的反例，反而是硬约束的论据。这类词法变式有严格的规则可循。不仅仅是汉语，很多语言都有一套类似的词法，自动变使动等等。

有了结果补语，合成词词法从自动变为使动，模式的语序也相应变动，逻辑语义在这个变式中是确定的，因此其中语序仍然是硬约束。如果我们说“我把白米饭吃胖了”，虽然反常识，但语义是确定的。

直接量（小词）、语序这些显性形式是硬约束的基本材料，在硬约束实现到pattern的时候是它们的组合在 enforce 硬约束。

NP1 把 NP2 Vt 了
NP2 把 NP1 Vt+Buyu

其所以后者可以转变自前者，乃是 pattern 里面所规定的语序与小词的硬约束在起作用。无论 “把” 在一种 pattern 里面引入的是受还是施它都是硬约束能够实行的一个硬件。否则施受和语句理解就无从谈起。如果常识语义这种软约束可以一统天下决定我们的理解过程如果语言学显性形式这些硬约束可以排除在理解之外，人类就不存在新的思想不存在童话和小说也不存在知识的更新和应付动态世界的可能。

事实上常识是最没有信息量的知识我们的语言交流其关注点总是集中在非常识和反常识的部分那才是我们的真正的信息营养。俗话说狗咬人不是新闻（不具有太多的情报性）人咬狗才是。

白：
歧义丰富的情况和歧义贫乏的情况，常识的作用是不一样的。歧义丰富时，常识帮助消岐。歧义贫乏时，常识无感，反常识帮助建立修辞性理解。

李：
但是硬材料不一定是硬约束只是硬约束可以利用的元素，硬约束离不开 pattern，pattern 才是实行硬约束的执行者，也是协调软约束的场地。是 pattern 告诉我们有个著名的软约束协调的问题譬如 pp attachment：vt np pp，pattern 是重中之重。FSA++ 就是 pattern 描述和实行的利器和理想的形式平台 formalism，因为它最直接直观抓住 pattern 的描述。

白:
举个例子啊这两筐、这筐、两筐，都OK。两这筐不ok，可分析用，也不care。这pattern长啥样，挺关键的。

李:
白老师是要说语序没大关系不需要作为硬条件么？问题是，有的时候，它的确就是硬条件，不 care 的前提是它不留歧义的余地或隐患（其他条件足够补偿这个条件的缺失）。但这事儿很难说，至少是睡不好觉。睡不好觉是因为我们不知道它留下隐患的几率有多大。任何一个条件理论上都可以抽掉，在有些 cases 并不影响解析，但其他的一直想不到的 cases 呢？总之，如果觉得某个 pattern 的词序是硬性的（譬如 SVO 不能倒过来 OVS），那么最好还是强制实施。“两这筐” 这种要不要强制排除，存疑。毛姑姑，作为分析不强制问题不大。（当然，作为生成，则必须强制，否则不是人话。）

一般而言，我们在NLP中玩条件平衡术，松一点或紧一点，带入词序或不带入词序，主要是因为自然语言的组词成句的排列，在“法”的平面是非常稀疏的，人类已经或可能说出来的序列比起全排列只是一个极小的子集。因此，作为分析的 parsing patterns 不必要把“合法”的约束，予以全面的强制，只要针对可能的歧义做出区别即可。

完全不需要语序制约的语言理论上存在，因为语序不过就是一种显性形式，总是可以以其他的显性形式代替来表达逻辑语义。可以假想一种语言有足够丰富的格标记（通常用后缀或前缀这种显性形式：介词可以看成是前缀，常用来表示格），董老师定义了近100个逻辑语义，算是非常细了，那么我们假想一种语言有相应的 100 个格标记可以使用，一一对应，没有歧义。再假想这种语言还有足够丰富的一致关系（agreement）标记来表达哪个词与哪个词发生逻辑语义的关系。

可以假想一种语言有足够丰富的格标记（通常用后缀或前缀这种显性形式：介词可以看成是前缀，常用来表示格），董老师定义了近100个逻辑语义，算是非常细了，那么我们假想一种语言有相应的 100 个格标记可以使用，一一对应，没有歧义。再假想这种语言还有足够丰富的一致关系（agreement）来表达哪个词与哪个词发生逻辑语义的关系。

有了这两样东西（小词或语缀常常是表达这些东西的显性形式），语序这种形式就可以完全排除了。因此，任何排列组合都不影响解析。可惜，实际中没有这种自然语言：即便声称自由语序的语言如俄语和世界语，也不是可以完全排除语序条件而达到解析的。

【相关】

【语义计算：汉语语序自由再辩】

【语义计算沙龙：语序自由度之辩】

【立委科普：漫谈语言形式】

【尼沙龙笔记：图灵测试是语言理解的合理表示吗？】

【李白92：自然语言漏得筛子似的，未必要补漏】

李:
火车上要注意安全，贵重物品随身带，行李箱放在能看到的地儿哈！贼春节不放假

乍看以为贼是修饰语一愣还有骂春节的呢。要是改成小偷就好了：“小偷春节不放假”。

严格说放假是个复合概念它挖了两个坑：【谁1】给【谁2】放假，就是
【谁1】放【谁2】的假。小偷是谁1 还是谁2 呢？好像既是谁1也是谁2 小偷通常是单干不成组织自己给自己放假。如果是盗窃团伙也许应该是谁2，需要头儿批准才能放假回家过个年。

梁:
“红杉树最便宜的是多少钱一包？ “ 新春快乐！！！

白:
咋不说中南海呢……

“睡觉我喜欢开着空调”“牛肉我喜欢三分熟的”两例中，“睡觉”和“牛肉”的句法功能相同吗？

宋:
什么是句法功能？主谓宾定状补吗？

白:
@宋柔如果是，该怎么定？

李:
句法不如逻辑语义容易有标准答案，因为句法是形式归纳，而形式归纳有不同的形式角度，所以句法学家特别爱吵架历史上甚至著名的语言学家之间也针锋相对，充满了不毛之争。逻辑语义则较少争议：人类趋向于有一把共同的尺子。

从词序的形式角度，从discourse的话题的表达，二者是相同的功能。从逻辑语义角度，则差别很大。

这个句首的 Topic 与句末的“的字结构” 是回指的关系，因为的字结构里面的 AP 与 NP 有逻辑修饰关系。

白:
相同之处都是把被修饰语前移为话题，不同之处是一个体词一个谓词。只画树，难以体现话题跟谁关联。

“那些字帖我只临了王羲之的。” “王羲之的”并不修饰“那些字帖”而只修饰“字帖”。

树藏起来了很多东西，不能作为讨论的基础。

李:
句首谓词比较讨厌，可以说是话题，但具体逻辑语义可以表示条件、时间、伴随情况等。

睡觉的时候，我喜欢开着空调。
睡觉的话，我喜欢开着空调。

白:
关键是，谁睡觉？至于睡觉和开着空调什么关系，在句法层面才真的不重要。二者搭上扣（有关系）即可。但是谁睡觉，过这村就没这店了。

李:
不重要。
甚至谁开空调也不重要。非谓语动词省掉主语是有道理的：我喜欢（我 or 别人为我 or 机器自动）开着空调。

白:
“着”表遗留状态，谁造成状态确实不重要。“门开着”天生就是自足的，不需要额外萝卜。睡觉不同。“墙上挂着画”谁挂的也无关紧要。

李:
一般认为主语可以顺着梯子下：“我喜欢游泳”。

白:
穿透

李:
谁游泳？尽管是个很无聊的 “理解” 问题，大家通常认为是 “我”：我喜欢我洗澡（其实加了“我”逻辑语义是全了，听上去反而别扭，或增加了言外之意：我喜欢自己洗澡，不喜欢人家给我洗澡）。

可是：“我喜欢下雪”。谁下雪？老天、上帝，反正不是“我”。

白:
下雪❄已经针插不进水泼不进了。来个老天也只能是状语。

李:
我喜欢反右。谁反右？其实是组织群众最终是领袖。
md 我其实恨透了反右。自己就是个右派只不过生不逢时没下地狱。

白:
“我恨透了做家务”，好象不是恨别人做家务唉。

李:
如果省掉 “做”呢？“我喜欢家务。”

白:
没有做，就没有穿透的问题。

李:
这个“做”都无关痛痒更崩提“谁做”了。总之语言不像逻辑那样完整自有其道理。逻辑不必分轻重主次讲究的就是完备自洽。而语言漏得筛子一样却有效传达了语用的需求。

白:
各坑有各坑的权重。算术往往比逻辑聪明。应该有相应robust的逻辑联结词，没有是逻辑不尽责。比如我上次说的，超过三分之二的布尔变量取值为真。还应该有不拘泥于语序的符号连接运算。这些都需要改造逻辑、改造形式语言理论。可以有不刻板的逻辑。可以有允许灵活语序和自由省略的形式语言。

李:
自然语言最大特点还不是歧义而是不逻辑常省略含糊其辞。交流的常态就是说者糊里糊涂说听者糊里糊涂听，奇的是二者还不觉得糊涂可以一样谈得热火朝天酒逢知己。

梁:
对，使用语言，是为了有效传达信息。你已经知道的，我就不说了。什么不知道，你问我呀，等会我补上就行了。

李:
除了语言学家和段子手没人在乎细节不 care 语义模糊。正常交流中 90% 的含混之处双方都不感知，只有少数的细节感兴趣了，于是发现含混，要求澄清。

于:
@wei 日常谈话语义并不模糊。@wei 省略并不意味含混

李:
省略和歧义都是含混的缘由。省略了，就有个默认标配。而标配在共同体宏观上有一个约定的填补但在个体之间未必一致。省略在语言学上叫零形式，因为形式为零理论上无法不导致含混，至少是留下了争论的余地。段子当中很多这种例子，捧哏的突然不捧了处处别扭，把所有的标配推翻。

白:
一般是抬杠的余地。对标配不合作，总是可能的。

李:
是啊显性形式就堵塞了这个漏洞没有含糊的余地。法律文书很讲究这个，结果读起来就不像人话。

日常对话：

a 打败了打败了
b 好哇好哇真太开心了

a 你开心啥？
b 不是打败了吗？

a 是啊你们队打败了
b 好哇。对了，打败了谁家？

a 我们队打败了
b 好哇一样值得庆贺

a 你们队败了我们队打败了你们队快快喝一杯
b ……

于:
@wei 省略是因为对方知道。如果把所有信息补齐，就太啰嗦了，对话根本进行不下。

李:
子非鱼啊。你怎么知道对方知道即便你以为对方知道？

于:
@wei 如果对方不知道，大多对话就结束了。当然教育除外

李:
上面的多轮对话互相并不知道也一样没结束

白:
有sentiment，一样可以做出猜测，只不过猜测一直在动态修改。
胜败，与喝彩，的传导路径。谁是哪一头的，可以顺着这个传导路径慢慢明晰。

【相关】

【李白91：休眠唤醒需要打离婚证】

李:
以前说过，local n元组搞定分词，通常认为n等于5足够（5-gram 平天下，见【李白71：“上交所有不义之财！”】）。今天有个例子，可以看看 bigram trigram and 10+ gram 的各自说法:

这所以自由时尚叛逆和反潮流著称的学校连塔也不得雍容。

Bigrams：这所所以 ……
trigram：这所以 ……
10+ gram：以 …………著称；这所…………学校

毛估估一下这场分词拔河赛的力量对比：“这所” 和 “所以” 单算的话，大概势均力敌，感觉 “所以” 稍微更强一点。到了trigram “这所以” 形势基本明朗了。【这所/以】（or 【【这/所】/以】）远远强过【这/所以】，虽然小概率反例会永远存在。到了 10+ gram，由于框式结构的搭配要求， “以 ……著称”（介词动词搭配）和“这所……学校”（量词名词搭配），【这所/以】的分词及其解析，占绝对优势可以板上钉钉了。

可是谁等得起 10+ 呢？或者我们找到一个投机取巧的算法把搭配距离缩短，或者咱就将就在 ngram （n 小于等于5）里面玩分词。原句（from yours truely today）以及插图（courtesy of yours truely too）是：

“一直觉得作为地标这塔缺了点啥想来是太过苗条。这所以自由时尚叛逆和反潮流著称的学校连塔也不得雍容。”

白:
还有“所……学校”之间的chemistry。强化所/以分离

李:
都是远距离。所以得有个合理的距离缩短机制：

白:
距离拉近时和平分手即可。

李:
和平分手很难有一屁股屎要擦：（i）“所以” 先成了连词后，要保证里面的两个词素仍然看得见这是其一。（ii）尝试分手的时候要一分为二，数据结构凭空要多出一个 token 出来。（iii）一分为二各就各位以后，要重新查词典得到各自全新的特征。（iv）然后才是参与到 parsing 去，该搭配搭配。哪里那么容易分手啊，离婚证也不好领。如此“休眠唤醒”（？？？），对平台很有要求的。

一个方案是，所有的多字词在一开始就把每个字当成 token 进入数据结构，然后把初步的词典为基础的分词当成是合成词的“绑架性”黑箱组词（组字成词，而不是切词），组词以后，由于黑箱原理，立马屏蔽下层的词素使不见天日，让其休眠，以防添乱。这样的话休眠唤醒一分为二的时候就不需要从根基上动土。但这种处理在单字层做了太多的虚功。不是完全不可行，但也没见人真地践行到 real life 系统去。

白:
退一张北京到上海的票，可以卖北京到济南和济南到上海两张票。12306都能搞定的数据结构，很难么？“所/以”这一近距离无优势而有远距离呼应可能性的分词方案，相当于分别挂两个订单，如果这两个都找到买主，我就退票。

所不是量词的情形也有可能：“他所以为荣的那点本事，早就过气了。”

所有认准一条标配的道儿，但不准备走到黑的，都可以挂出反悔订单，外面时机成熟了，立刻造反。

组合订单（多笔交易要么同时成交要么同时撤销）必然引入同步，同步必然损失效率。所以一定是trigger驱动，而不是挂单驱动。无 trigger则无时间开销，至于空间开销，那是毛毛雨。

李:
trigger word driven？以前我主张的休眠唤醒之术，就是trigger词驱动（见【歧义parsing的休眠唤醒机制再探】的“难过”）。

不过，关于时间空间开销其实好像都不是事儿。fact of life is 比起图像比起语音，比起当今有如军备竞赛一样地使用计算资源的那些 monsters，动辄成百上千的GPUs集群，目前的 NLU 太小儿科了简直像过家家。给个 high end pc，就乐颠颠地研发或耍弄 deep parsing。老朋友那天跟我说，现在的问题是给你100万倍的计算资源你能做什么？我懵了打死我我也用不了这多资源。只会螺丝壳里做道场玩具一般。还梦想着建通天之塔探究人类语言最微妙的奥秘。

郭：
机器翻译，用的计算资源也不少。

李：
那天说了神经mt与语音转写同理已经不是 nlu 了：都是鹦鹉学舌离开理解越来越远。看看这篇分析：

【立委科普：歧义parsing的休眠唤醒机制再探】

It’s pretty lengthy. Pointing the fact of no understanding in deep learning. We all know it is true. What we did not know was how far a system can go without understanding or parsing on an end to end deep neural network modal. All criticisms here are valid but still MT has never been this impressive and useful in practice unless you make the wrong choice to use it for translating literary works or for translating domain documents where it has no human translation data to learn from.

他说机器不过是处理了符号序列它根本就没有丝毫 reading 的真实能力。reading、 parsing 和 comprehending 及 understanding 在英语都是一个意思。是 Elisa 效应让我们以为它理解了就跟领导在家老跟宠物牛顿说话坚信牛顿能听懂也能表达尤其是肚子饿的时候牛顿表达能力惊人的丰富。牛顿的表达能力虽然只是 meow 的不同变体领导声称可以解码。

“传统” AI 和 NLU 就是理解了吗？也难说因为符号体系内部也是人类自己跟自己玩。好的符号体系更像是好的助记符摆弄出貌似逻辑的推理链条来具有算法过程的透明性如此而已。但起码这看上去还在模仿人类的理解和思维。

理解的根基是举一反三高度概括以有限对无限所以不需要大数据大计算大记忆。建立在三大基础上的深度其实是靠蛮力。不是举一反三而是举一百甚至上千也未见得就能返一。

【相关】

【李白71：“上交所有不义之财！”】

【立委科普：结构歧义的休眠唤醒演义】

【一日一parsing：休眠唤醒的好例子】

【尼沙龙笔记：宁顺不信，神经机器翻译的成就和短板】

大赞了神经机器翻译的革命性进步以后，提到两个短板其一是不忠：无中生有或化有为无以假乱真指鹿为马胆大包天。其二是依赖领域数据没有数据的领域立马傻眼。

李:
我用有道app里面的口译功能测试了一下字正腔圆的做节目的人，【文昭談古論今】，一边在 youTube 上看他的视频，一边把有道打开做现场口译，几乎完美无缺。

毛:
同声传译，以后是不需要的了。

李:
识别我的口音还是有误：识别我的英文比中文似乎更好一些。上面的那位是自媒体里面的很受欢迎的一位，文科背景，出口成章，比播音员说话还清晰。

语音识别的两个明显错误：neural network 错成了 neutral network，text 成了 tax（税），大概是我的英语发音的确不够好。但总体而言，句子蛮长，一口气说一大段，它也一样即时翻译（通过wifi接云端，立等可取）。

哈，text 与 taxi（出租车）也打起架来：

从这些人类不会犯的错误看，神经 MT 的巨大成功，与语音转写的巨大成功，完全是一个道理，都是在真正的海量数据中模仿，而没有任何“理解”。不合逻辑不合事理的句子会以一种蛮“顺耳”的方式呈现出来。

尽管如此，我们当年还是没想到，在没有解析和理解的前提下，这条路能走这么远。很久以来，我们的信念是，没有理解，无从翻译。鹦鹉学舌，可以学几句零碎的片段，但绝不可能把如此复杂的自然语言，学得如此栩栩如生。但事实上，“鹦鹉学舌”方式，在强大的数据和运算能力支持下，的的确确可以做到在很大的范围几乎可以以假乱真。

短板也是显然的，没有数据的话，再强大的运算也培训不出一只鹦鹉来。譬如，电商场景的机器翻译，由于缺乏汉英对照的大数据，就寸步难行。

下面是我说中文，让有道口译为英文的试验：

“二次大战”先转错为“20大战”，继而又错译为 “20th centuray”。这个错误很值得评论，说明了神经翻译为什么求得了“顺畅”牺牲了“忠实”。我说的是“大约是在二次大战以后”，虽然转写就错了一个字，成为“大约是在20大战以后”，翻译却错得离谱：这不是原来意义上的错误放大（error propagation），而是目前神经翻译“乱译”趋向的一个表现，by design：这种乱译的确在很大程度上克服了上一代统计机器翻译“不顺畅”的致命缺点。

“乱译”（或者“顺畅”）的根子在，目前的机器翻译里面有专门针对目标语的语言模型在，不仅仅是双语对照模型。目标语的模型里面“beginning of 20th century”一定是足够的常见，被记住了，所以尽管原句是“20大战以后”，它也一样无视（“大战”居然摇身一变，成了 century，是为指鹿为马，“以后”弄成了其反面 beginning，这简直是颠倒黑白），如果是前一代统计翻译（statistical MT），或者前前一代的规则翻译（rule-based MT），这种错误绝不会出现，应该是译成 “20 wars later”或 “after 20th war”之类。可是目标语训练数据中根本就没有这个 “20 war” 这样的提法，与其忠实而别扭，不如化有为无或无中生有，甚至指鹿（20 war）为马（20th century），以求“顺畅”。这是目前机器翻译的短板，已经被很多人察觉和批判，研究界也在研究对策。

也就是说，为了“顺畅”，目前的系统可以无视原文中的一些材料。同样为了“顺畅”，译文也可以无中生有加一些材料。这对不懂原文的人可能非常误导：批评者说，找翻译本来就是因为不懂原文，结果你翻译出来，听上去那么顺畅，让我不得不信，可其实你暗度陈仓，居然敢于胡编乱造，这也太搞了吧。

这种批评当然言之成理，信达雅，信是基础，信求不得，达雅何用？无信，达雅反而更加迷惑人，不如不译。你无中生有了一个地方，让我怀疑你整篇都不可信了。这种想当然的胡编乱造真是害死人。

不过，其实了解历史和经历过机器翻译不同阶段的人，会有不同的角度。实际是，前两代机器翻译的译文大都惨不忍睹，在可读性和顺畅上没有根本的解决途径（点滴的积累式进步还是有的），虽然意思也能勉强传达（就是说不会在“信”上胆敢无中生有或化有为无）。这个问题是如此严重，以至于影响了很多人使用机器翻译的意愿，除非是不得已，因为看机器译文实在是太别扭，太难受了。

毛:
能把谎说圆，这不正是逼近了人的智能吗？

李:
@毛德操问题是，鹦鹉学舌，哪里有什么“把谎说圆”。机器不会说谎，正如机器不会说真；同理，潜艇不会游泳。无中生有是真的，但“胡编乱造”不过是个比喻说法。机器没有歹心，正如机器没有良心。因为机器根本就没有心。有的不过是记忆和计算而已。硬要把计算说成智能，硬要把比喻当成真相，那也没辙。乔姆斯基的态度是，不理睬。还好，当年创造的是“人工智能”这个词，脱不开“人工”、“人为”、“模仿”的涵义。如果先驱们当年达特茅斯开会，不小心起个名字是“机器智能”，那可就糟透了。

Nick：
@wei 英国最早的说法就是machine intelligence。大概到七十年代才开始被美国带成人工了。

李：
达特茅斯会上呢？

马：
达特茅斯会上，还有一个词是复杂信息处理，不过最后还是AI占了上风。

李：
先驱们蛮“接地气”啊。其实，“复杂信息处理”很中肯，符合术语命名的严肃性。AI 还是太过“性感”了。

机器翻译更惨，很长时间是 “自动翻译”、“机器翻译” 混用，后来基本统一为机器翻译，因为自动翻译有多种用法什么全自动翻译半自动翻译等等。当然较真的话，自动翻译比机器翻译还不堪。其实应该叫做随大流翻译，或者叫做 NLU-free translation，简称无智翻译，and I was not kidding.

Nick：
自动/机器定理证明。mt就不太好说artificial translation，中文更不能说人工翻译。artificial本来就有点瞎编的意思。

李：
其实还真就是 artificial，本来就是仿造啊。译成汉语是仿人翻译。没有人的翻译样本，大量的样本，当今的MT根本就不可能。

马：
AI翻译

李：
人工智能其实应该翻译为人造智能。人造翻译（或仿人翻译）与人工翻译可大不相同。但取法乎上仅得其中的古训不大灵了，古训忽略了量的概念。被取法者足够大量的时候所得不止于中。AI 代替中庸势在必行。取法乎众可得中上，这是事实。但最好的机器翻译不如最好的人工翻译，这也是事实。因为后者有智能有理解。而前者虽然号称神经了，其实连“人造的理解”（譬如 NLU）都没有。

现如今人工智能好比一个性感女郎，沾点边的都往上面贴。今天跟一位老人工智能学者谈，他说，其实人工智能本性上就是一个悲催的学科，它是一个中继站，有点像博士后流动站。怎么讲？人工智能的本性就是暂时存放那些机理还没弄清楚的东西，一旦机理清楚了，就“非人工智能化”了（硬赖着不走，拉大旗作虎皮搞宣传的，是另一回事儿），独立出去成为一个专门的学科了。飞机上天了，潜艇下水了，曾几何时，这看上去是多么人工智能啊。现在还有做飞机潜艇的人称自己是搞人工智能的吗？他们属于空气动力学，流体动力学，与AI没有一毛钱的关系。同理，自动驾驶现如今还打着AI的招牌，其实已经与AI没啥关系了。飞机早就自动驾驶了，没人说是人工智能，到了汽车就突然智能起来？说不过去啊。总之，人工智能不是一个能 hold 住很多在它旗下的科学，它会送走一批批 misfits，这是好事儿，这是科学的进步。真正属于人工智能的学问，其实是一个很小的圈圈，就好比真正属于人类智能的部分也是很小的圈圈，二者都比我们直感上认为的范围，要小很多很多。我问，什么才是真正的恒定的AI呢？老友笑道，还是回到前辈们的原始定义吧，其中主要一项叫做“general problem solver”（西蒙 1959）。

马：
是这么回事。11年写的一篇博客：人工智能，一个永远没有结果的科学_马少平_新浪博客。

李：
好文。马老师科普起来也这么厉害啊堪比白居易写诗老妪能解。有说服力而且生动。

“11年写的一篇博客”。走火入魔第一眼看这句我无意识把自己变成了神经网络网络里面是这样编码的：“11 years ago 写了一篇博客”，宁顺不信。我的大数据训练我首先排除了 2011 的选项然后无中生有加了个 ago 以求顺畅。摩登时代，忠实值几个钱？忽悠才是摇钱树。

马：
用时11年，?

洪：
人工智能是江湖，八仙过海都威武。武侠人物不绝出，很多虚晃都诈唬。

AI像狗头前置棍，棍拴骨头引狂奔。确实因之人前进，精髓却总不得啃。

李：
洪爷的诗没治了，大AI无疆，无处不诗啊。

回头说宁顺不信。两相比较，平心而论，对于多数人多数场合还是顺畅的权重似乎更大。只是需要记住三点：（1）认真使用前，需要人工核对：机器译文只是提供一个快速浏览，了解个大概的选项，虽然总体的忠实比例其实不差，但任何一个点都可能错得离谱；（2）翻译工作者如果不学会利用机器翻译，与机器合作提高效率（要善于做核对和后编辑），很可能不久会淘汰：实际上翻译的工作市场已经急剧萎缩中，有道本身提供的人工翻译已经快速便宜到不行，可见能够生存下来的少数人工翻译一定是学会人机合作的工作模式的。（3）AI 还在飞速发展中，让我们拭目以待，看今后的系统能不能在信达雅三者之间做更好的平衡。可以想象的一个可能是，将来的系统至少可以让用户在“忠实”和“顺畅”中做权重的选择：根据偏好的不同，系统应该可以做不同的翻译：偏重忠实但生硬一点的选项（就是鲁迅曾经践行过的“硬译”），或者偏重顺畅却可能局部不忠实的选项。

人工智能，一个永远没有结果的科学_马少平_新浪博客

【相关】

【校长对话录：向有道机器翻译同仁致敬】

【谷歌NMT，见证奇迹的时刻】

有道的机器翻译（http://fanyi.youdao.com/）

【开复老师说：AI 是最好的时代，也可能是最坏的时代】

【校长对话录：向有道机器翻译同仁致敬】

校长:
因为缅因州法条文少了个逗号，牛奶公司吃官司付出500万美金：

Maine law requires time-and-a-half pay for each hour worked after 40 hours, but it carved out exemptions for: The canning, processing, preserving, freezing, drying, marketing, storing, packing for shipment or distribution of: agricultural produce; meat and fish products; and perishable foods. What followed the last comma in the first sentence was the crux of the matter: "packing for shipment or distribution of." The court ruled that it was not clear whether the law exempted the distribution of the three categories that followed, or if it exempted packing for the shipment or distribution of them. Had there been a comma after "shipment," the meaning would have been clear.

原来我这些年学的都是假英文

不过法庭favor劳工，就已经甩天朝几万条街了。在那片国土，只有高端人口才可以随意耍流氓。。。

李:
“缅因州法律规定，在40小时后，每小时的工作时间为1.5美元，但它却为:罐装、加工、保存、冷冻、干燥、销售、储存、包装运输或分发农业产品提供了豁免。肉类和鱼类产品;和易腐食品。在第一句话中最后一个逗号是问题的关键:“包装运输或分配。”法院裁定，不清楚该法律是否豁免了随后的三种类别的分配，或是否豁免了对其装运或分销的包装。如果在“装运”之后有一个逗号，意思就清楚了。”

这是有道翻译，比像我这样的英语专业生在时间压力下去翻译这段，要强多了。顺便向有道同人致敬一下，他们超越了名震天下的谷歌翻译。谢谢他们提供的免费服务，我经常用它，其实是愿意付费的。MT 连同互联网，与水和空气一样，成了不值钱的必需品。

“1.5 美元” 是一个巨大的错译，应该是一倍半加班费的意思，神经机器翻译的错译问题已经是一个被反复曝光的痛点，在追求顺畅（达雅）的同时，牺牲了精准（信）。

我是这么看机器翻译走向的：

（1）机器翻译一定会译错，所以认真使用前需要核对。
（2）核对所花时间比一切靠人翻译节省太多人工了。翻译员市场萎缩以后，大批译员会退出，少量留存的是那些知道善用机器的核对员，这个工作不会被取代：核对校订的需求永远存在。
（3）机器翻译本身在进步，明天的错应该比今天的少。
（4）论顺畅机器越来越赶上或超越人因为机器是在海量数据里面找 norm，而一个个体，无论学了多少年的外语，都是有限的语言接触，偏离 norm 的可能远大于机器，因此更容易生硬，尤其是在时间压力下。我本人偏好顺畅，更甚于精准，因为翻译错误我一眼可以看出来做译后编辑，但顺畅我老感觉自己还有很多力不从心的时候，需要机器帮助。自己常觉得写不顺，但评判顺不顺还是容易很多。因此，翻译工作先交给机器，然后自己校订，无论纠错，还是找出个别不顺达的细节，都容易很多，因为苦活累活机器做了。

校长:
@wei 有道翻译可以免费用么？amazing!

李:
http://fanyi.youdao.com/
try it yourself
天下真有免费午餐的。

有道的傻瓜式袖珍翻译器大约100多美元可以买一台周游世界的时候用。

校长：
@wei 我靠！你没感受到同行竞争压力？

李:
感到压力的应该是讯飞。他们也出了个翻译器，好像很贵？
这个行业整体提升了，保持领先已经很难。巨头谷歌也不能。

我早跟MT说拜拜了，前几年还较劲，觉得统计MT鲁棒是鲁棒，意思也勉强可以出来，但出来的译文惨不忍睹，想着有空怼一怼统计。神经翻译出来后，基本熄灭了狂妄，顾左右不言他，反给它做宣传，吹喇叭了。(【谷歌NMT，见证奇迹的时刻】) 当然，任何技术都有短板（行话叫知识瓶颈），譬如进入一个没有人工翻译大数据可以学习的领域，神经系统就抓瞎了，譬如电商数据的机器翻译目前的可用度不到 30%（相比较：在新闻领域，机器翻译的可用度高过90%），就是说几乎完全不可用。

校长:
正确选择
典型的乱拳打死老师傅

李：
AI 这次炒热其实是有群众基础的，不完全是媒体鼓噪和精英忽悠。一个是神经机器翻译，一个是语音识别（如讯飞的自动速记和语音输入），还有一个是人脸和图像识别，这三块儿的进步，不是忽悠，而是现实。还有一个对话，从苹果的 Siri 开始，虽然还有磕磕绊绊，虽然绝大多数普罗还是拿它当玩具，落地应用的产品多不成熟，但 Siri 还是启蒙了大众和教育了市场。这些都是普罗百姓可以亲眼见证和切身体会的科技奇迹。这些个东西激发了草根的想象力。于是，AI 热在民间还是很时髦正面的形象。

留个证据图以防哪天系统退化（虽然是小概率事件：但马斯克昨天说科技并不自动进步逆水行舟不进则退它举的是航天技术在 SpaceX 前停滞不前反而退化的例子） MT奇迹不得重复。先防着别人怀疑假造，说不可信：

校长:
本来就是不进则退。很多科幻片里面未来都是破破烂烂破铜烂铁。就是天上一堆飞船在shithole上面飞。我认为那更接近未来的发展方向。

李：
那个是科幻，对科幻，no comment

今天，领导在网上查看 IKEA 网页上的商品，问几个单词怎么讲，我说以后不用问我了，我给你的 iPhone 装了有道，比我强多了，还 handy，可她懒得查词典。我说，你不用查，拍个照就行了，打开 app 有个“拍照翻译”的按钮。wow：

挑错永远可以挑，能做到这么贴心、intuitive，乔布斯再世，也不过如此了。

Guo:
@wei 真要给你泼泼冷水了。哈，也不能太不顾事实啊。“复习空气”，完全不搭啊。这可是连“流畅”也不及格的。打住吧！

李:
还有 39.9克。

原文是:
Airy, soft seersucker duvet covers with a naturally crinkled texture. The beautiful cotton fabric breathes and feels cool against your skin, which is extra comfortable during warm summer nights.
Size: Twin

这玩意儿我不查词典也翻译不了，特别是第一句。领导以为我是英语大拿，这辈子没少拿这些东西问我，我哪里记得住这些家庭主妇关心的“领域词汇”啊？每次我被问住了，形象分就损减一分，一辈子下来，在家里我这英语专家的光环已经消磨殆尽了。呵呵。

郭:
看看微信自带的翻译：

轻盈、柔软的泡泡纱被套，具有自然的皱褶质感。美丽的棉织品呼吸和感觉凉爽的皮肤，这是特别舒适，在温暖的夏季夜晚。
大小：双胞胎

李:
不错不错。这就是我说的，这是整个行业的技术提升，不是哪一家可以专美的了。语音、图像和MT。

$39.99 翻译成 39.9克原来是因为 OCR 识别成 39.9g 了哈。实在说，9 跟 g 长得的确差不离儿，加上在数字后常见，也是事出有因。可惜了前面那个 $ sign 的痕迹。

哈，领导以前迷信我是英语大拿，这辈子没少拿这些东西问我，我哪里记得住这些家庭主妇关心的“领域词汇”啊？每次我被问住了，形象分就损减一分，一辈子下来，在自家这英语专家的光环已经差不多消磨殆尽了。呵呵。

回过来想，以前我们常常赞佩的那些大学问家过目不忘，词汇量超大，现在想来算啥，再大也比不上一个小U盘，脑子里被词汇填满，实在有点浪费。反正随身有iPhone，iPhone 里面有【有道】，有道不仅有本地词典，还可以接得上云，脑袋是无限延伸了的。可是托福 GRE 还在考那些稀奇古怪的词，明知道好不容易记住了，考完了，还是会忘掉。跟不上时代啊。

这个也好玩请看：

这张截屏里头两句很顺最下一句莫名其妙：原因是我不小心按了英语的话筒说的却是汉语哈哈。这岂止是垃圾进垃圾出啊。但它一本正经给你匹配完全错位的语音也不设个置信下限一样翻译出莫名其妙貌似顺畅的句子来。

“英语按钮” 转写成 “英语的二牛”（为什么不是二妞呢），继而翻译成 English two cattle.

有道自己做的翻译器却把自己的品牌名“有道”，在英语读出来一个古怪的读音哈。我说的是 “这个我得反映给有道”，成了“这个我的反应跟有道理”，考虑到我的口音，难为它了，倒也情有可原。

下面的实验是读一段英文新闻

翻译基本没问题。

接着到文学城找一篇中文新闻，读给它听：

不可思议地顺畅精准，甚至那些百分比那些数字也能“听懂”我的口音。

有点吓倒了。老革命心脏也不都好。

最后是我阅读的新闻的网页截屏有兴趣可以自己对照一下。

这一切是在我这种普通话不标准有口音干扰的信道中发生的。错误放大理论会说这种翻译是完全不可能的，见证的不是奇迹，只能是AI魔术。

想起来谁说过的名言：“NLP 不是魔术，但是，其结果有时几乎就是魔术一般神奇。”

【相关】

【谷歌NMT，见证奇迹的时刻】

【立委随笔：猫论，兼论AI福兮祸兮】

有道的机器翻译（http://fanyi.youdao.com/）

谷歌翻译 https://translate.google.com/

有道的机器翻译（http://fanyi.youdao.com/

【开复老师说：AI 是最好的时代，也可能是最坏的时代】

李:
李开复老师最近发文说：
“据我估计，大约一半的工作将在未来十年消失。在全球范围内，人工智能和机器人将很快被人工智能和机器人取代。这一巨大的挑战给一种叫做“普遍基本收入”的旧观念注入了新的活力。在这种观念中，政府为每个公民提供稳定的津贴，不论他们的需要、就业状况或技能水平。”

这就是我前几天说的，AI福兮祸兮很难定（【猫论，兼论AI福兮祸兮】）。因为人类对工作（job）的情结，以及社会观念和按X（劳、资、权等）分配的制度，都受到很大挑战，不一定来得及适应。

Ming:
这的确是大趋势，但未来十年有些夸张了吧

李:
是不是10年不好说，但AI取代人类很多工作是肯定的，其取代速度肯定比人类的观念改变和社会制度的适应要快很多很多，因此最坏的时代不完全是危言耸听。这跟霍金马斯克之流说 AI 自主思维控制人类，完全不同。前者不仅是危言耸听，而且匪夷所思，尽管出自名人大嘴。后者却是真切的人类自身的威胁，AI 不过是 trigger。

开复老师继续说：

“那么，我们应该盲目地给每个人1万美元吗?绝对不是。”

“乐观主义者天真地认为，UBI将成为人们专业重塑自我的催化剂。但是，只有当硅谷的领导者们把他们自己的角色投射到所有将要被转移的工人身上时，UBI才有意义。事实上，如果我们谈论的是一个成功的硅谷企业家，他或她的技能、创业、经验和网络可能成功地帮助将一个中等的UBI收入转化为下一个科技帝国。但这种情况肯定不会发生在那些生活在失业会因传统经济衰退而加剧的地区的失业工人身上。”

“免费发放给失业工人的钱可能会意外地帮助一些人找到工作，但更有可能的是，他们很快就会找到一份新的工作，而且很快就会被淘汰。这是我们在整个劳动力市场看到的一个熟悉的模式。曾经在工厂装配线上工作的卡车司机很快就得再次学习，成为其他的东西。大多数失业的工人不会有远见预测哪些职业会在人工智能革命中幸存下来，因此不知道如何最好地使用UBI货币来确保未来的稳定。”

Qing:
硅谷的领导者们真把自己当颗葱了

李：

下文是：“我们必须共同努力，找到一个全面的解决方案，包括建立新的职业、价值观和社会规范，而不是重新分配现金，并希望得到最好的结果。我们需要重新培训和适应，让每个人都能找到合适的职业。这里有五个必要条件:

1 保证生存。

首要任务是建立和支持项目，以确保没有人挨饿或没有住房和基本的卫生保健。”

这第一条是同情论，就是说，知道你没用，但必须养着你跟养pets同理，这叫人道。作为基点是对的，但总觉得观念上有点不对。

首先被养的“没用的”人，并不是被其他同类或组织养。这个观念必须改变。如果相信人生来平等的天律，生来平等的本义至少包括我们赖以生存的地球上的原始资源应该人人有份。“没用”的人实际上是让出了自己的原始资源，给了社会去用来创造财富（或保护环境，譬如决定闲置），财富部分回流给他们（基本生存在现代社会，比起出让的资源来说，微不足道，其实经济上不参与价值创造的人其实是“亏”了），天经地义，没有“被养”的问题（硬要算谁养谁，那是精英阶层被大众的资源所支持产生出来的巨大社会财富养到富得流油：天平是往精英阶层倾斜，远远谈不上对普罗的平等）。

Qing:
以人类这个操性，多半还是要打一架的

李：
“2 最大化创造性的工作。

只有人类才能创造和提出新的创新。人工智能今天不能跳出框框思考，它只能优化由人类定义的问题。因此，在早期教育中，我们必须确保系统不会抑制好奇心、创造力、批判性思维和个性。在中学和高中，我们应该增加对有天赋和有才能的项目的资助。在大学里，我们需要帮助有创造力的学生学习人工智能工具的程序。”

行:
布热津斯基的奶嘴理论

李:
这第二个说法是，在可能被养的人群中，通过优化教育的机制，百里挑一找出“精英”去养人（做管理者、参与生产），如此延续社会的科技进步和财富创造。

“3 增加社会就业机会。

爱不能表达爱和移情，也不能建立不可替代的社会关系——只有人能。与那些不容易被教授的创造性职业不同，人们可以在大量的社会职业中接受培训。此外，我预计人工智能将产生数万亿美元，消费者支出将随之增加，并将用于民间服务。

这意味着需要人类接触的服务工作——社会工作者、治疗师、教师和生活教练——将会供不应求。此外，新的社会工作将会被发明，在这个过程中，人类将成为顾客和人工智能之间的中间人。例如，当使用人工智能诊断工具时，一位医疗顾问可能帮助病人排除故障并提供补充建议。其中一些工作甚至会得到很高的报酬。”

就是说大都去做服务性工作？很多服务机器人做得更专业：譬如按摩椅比平庸按摩师更具有优势。但总有顾客与机器人之间的”中间人”和“协调人”（或随机应变性）的工作在？

Qing:
做好多手准备吧

李:
“4 鼓励唯意志论。【貌似译错】

我们需要建立更多的志愿者项目来帮助那些对高技能职业兴趣不大的退休和失业工人。我们还应该考虑补偿志愿者。”

“5。重新定义的职业道德。

每个人都需要有一种自我价值感和自我实现感——他或她相信他或她的存在是有意义的。不幸的是，工业革命错误地灌输了一种社会规范，即自我价值应该主要来自于职业道德——如果你努力工作，你就会得到回报。但是因为人工智能，基于重复性任务的工作很快就会消失。”

“我们需要重新定义新的劳动力范式的职业道德观念。一份工作的重要性不应仅仅取决于它的经济价值，而应由它对社会的贡献来衡量。我们还应该重新评估我们的观念:延长工作时间是获得成功的最佳途径，应该消除与服务行业相关的耻辱。”

“即将到来的人工智能革命将带来最好的时代或最坏的时代。结果将取决于我们是否会被天真的乐观主义所陶醉，或致力于全面解决问题。显然，UBI是不够的。我们要认真、迅速地进行辩论。只有到那时，这场神奇的革命才会引领我们走向创造性的复兴。”
（原文在《华尔街邮报》由有道现场翻译。）

第五点很有道理：工作所带来的荣誉感和高人一等的自我感觉需要被新的观念取代否则 AI 时代会重复工业革命时代的悲剧：在越过温饱线以后，社会财富越增长，人类的多数人越不幸福。

行:
一开始社会（部落）的发展水平由50%的人的水平决定；
工业社会由10-20%的决定；
20世纪由1-2%的决定；
21世纪后由0.00001-0.0001%的决定；
其余的一部分从事辅助工作；越来越多的从事非效率性工作。

李:
如果说工业革命时代财富的增长至少减少了忍饥挨饿的人群在“生存权”层面上改善了人类，多少弥补了精神上不幸福和焦虑。

到了 AI 取代工作时代，前者的优势不复存在，因为基本上已经没有人忍饥挨饿需要改进。那么其副作用一面即引起更多的焦虑痛苦则被放大。所以 AI 福兮祸兮，看来是祸更大。因为人类社会适应的速度没有科技进步的速度快。这就是开复说的可能是最坏的时代。

行:
不会
工业时代的大多数人肯定比贫困的农业时代的人幸福。

李:
从挨饿到吃饱饭，肯定增加了幸福感，这是飞跃性增加，没有疑问，生存权是最基本的。但如果都不挨饿了，失去工作感觉到自己无用无价值就是纯粹增加痛苦。

行:
满血打怪去。回复到，戴着乌纱帽，骑着小毛驴，吟诗作画的悠闲文人时代。

李:
以上议论过程里，我顺便做了一个AI现场实验：开复在华盛顿邮报这篇是英文，我用有道的机器翻译过来（http://fanyi.youdao.com/），未加修饰，看来以假乱真，也基本不影响我们的阅读、领会和讨论。这是真实世界的AI剥夺翻译员工作市场的一个鲜活实例。搁以前，翻译这篇文章，怎么也得半天时间。

行:
现在任何一台机器都可能取代了过去几百万人的工作，人因此失去工作了吗？

一个人的功率小于一马力，0.75千瓦。现在一台百千瓦，万千瓦的机器比比皆是，兆千瓦的机器也不希奇，人不还得更卖命的工作？！只是不要在上述邻域试图跟机器比大小。

关于技术进步，我有两个观点：一是圈圈理论。即圈圈越大，边界越大，遇到要解决的未知问题越多。二是水舟理论。技术如水，人类在舟。水涨船高。

AI作为一种技术，概不能外。不要自我感觉太好！只是大部分要承认天才和自己的无能。就象你围棋下不过柯洁又咋了？

技术进步像马克思说的，给人真正的自由发展创造了条件。只是之前人的发展重点是解决效率问题，今后人的自娛自乐互娱互乐，甚至与机器人娱乐可能成为产业前沿。

李:
摩登时代我们看到了两个极端：一个是失业的痛苦；一个是在业的忙得要死过度竞争高度紧张随时面对失业的威胁。二者都是幸福感的反面。正常的、合理的社会不应该是这样的。

工业社会解决不了的这些后工业时代可以解决吗？

Ming：
理想情况下，应该研究一下技术进步速度与社会人类幸福感之间的关系，从而寻求一个最佳的发展模式和速度。但现在国家的界限还未消除，不同国家，不同意识形态之间还有竞争。竞争之中，当然是技术进步越快越有优势。在这种情况下，无法奢谈对技术进步的控制。

李：
这就是我说的，也许AI应该缓行（虽然知道缓行不了，人类的一切大多是命定）。

行：
现在的技术进步不是很大程度解决了血汗工厂和高比例失业问题吗？摩登时代预言的地狱并没有到来。总体上，更快的速度和幸福感正相关。正象中国最长寿的地区是雾霾重重的北上广，而不是所谓的长寿之乡巴马之类的地方。

【相关】

华尔街邮报李开复原文

【立委随笔：猫论，兼论AI福兮祸兮】

【猫犹如此，人何以忧，霍金之论谬矣】

【语义网笔记：本体是名门闺秀，门当户对不容易】

AAAI 2018经典论文获奖者演讲：本体论的昨天和今天

李：
本体（ontologies）作为知识来源和知识基础道理上对于 AI 以及需要知识及其推理的智能系统应该广泛应用。但实际上使用却不多。作者指出了这个我们都意识到的问题并没给出清晰的解释。其实是有说法的。anyway AAAI 表彰这类工作是大好事。

漆:
Natasha这个工作在语义网还是有一定影响力的。她这几篇论文我读过，确实是跟一般做本体的人不一样，不是一个算法或者工具，而是一个工具群，而且还有医疗这块应用支撑。在本体匹配和融合方面的贡献还是很大的。当然，实用性应该也就那样了，毕竟还是大学的产物。

最近几年知识图谱兴起，本体也开始受到更多关注了，特别是palantir把本体用得很好，使得本体工程的实用性得到了更好的验证。但是本体构建的复杂度比较高，需要对业务和本体都有深入理解才能做好，这是本体工程的一个门槛。如何降低这个门槛，就是基于本体的知识工程实用化必须解决的问题。首先需要有一个很好用的工具，其次需要有好的知识工程师，工具演化，工程师的门槛就越来越低，否则工程师门槛比较高。

李:
其实无数系统都在用本体，不过大多是 system internal，临时自己凑的。因为外面来的太厚重往往不接地气不好用或者 learning curve 大。

漆:
以接近需求为驱动做的，丑点无所谓

张:
就像每个人都有自己的世界观和概念体系一样

李:
自己做虽然不系统但不妨根据需要慢慢丰富。用到 features 并对 features 做某种组织的系统基本都在不自觉地用本体，这类系统多如过江之鲫。

张:
就像科班出身和自学成才的区别

李:
外来的为什么不好用，不仅厚重，而且常常歧义太多太细用到的概念关键的节点和链条不多却带过来一屁股屎擦不干净。

张:
总是需要消化吸收

李:
我有切身体会。当年用 WordNet做NLP，先是想改造用了一年发现这屁股永远擦不完。索性横下心删除连洗澡水把那孩子也倒掉拉倒。然后自己从头开始往里面零星凑等于自己做个试管婴儿。清爽多了。

从 NLP 用途看，董老师的 hownet 比 wordnet 强多了。就是这样要以为拿来就能得心应手也会失望。善用和改造一个外来本体需要很多功夫和经验。本体还在积累和探索阶段，还没到知识大爆发其效用的时候。

秦:
对。知识工程学科贡献度太低了，这是不应该的。

李:
人工的本体语义大师们的几十年、一辈子的作品，往往为了逻辑完备性做得太精巧太细线条 hence 太歧义。高大上就不容易接地气不那么好用而且厚重（本体的本性）。机器自动挖来的本体，譬如当年微软NLP根据词典定义挖出来的 MindNet，太粗糙太庞杂或太多 noise，二者对于一个需要做实际系统的人来说都不那么好用。问题是，做实际系统的人面临的是领域问题本身有很多事儿要照顾本体只是其中一环很难兼做本体专家的工作。而本体是厚重的 by nature，也是自己的一滩对于专门家的素养要求很高。两路专家理论上应该精诚合作方成大事实际上却很难。你做的我感觉大炮打蚊子使不上力。我需要的跟你解释不清楚。提供方与需求方不接轨。造成了重复劳动各自为政。这种矛盾太普遍常见了各种对齐标准化都是试图解决它的某种努力但总体而言还没到本体大显神威的时机。

本体就好比一个名门闺秀高不成低不就，应用就好比一个暴发户，看着闺秀流口水，可是没有好招儿娶进门自己土包子吸引力也不够。只好自家养个童养媳，虽然土气点儿不性感也不大拿得出手上不了厅堂不好示人。但下得了厨房好使唤脾性也对路凑合过日子呗。

据说宋庆龄宋美龄这些大家闺秀都遇到过本体同样的困惑和苦恼。幸运的是两个人最后各自找到了一个可以做自己爸爸或者叔叔的盖世英雄。否则难以想象其高不成低不就的困境如何破局。

HowNet，Cyc，还有 FrameNet 都有类似的苦恼。一律是大师所为，曲高和寡，一律没有得到预想中应该得到的广泛应用（参见：《语义三巨人》）。反倒是领域的实体知识图谱，开始显示了巨大的应用价值。背后的本体却不见天日。可不少人还是隐隐觉得本体是蓄势待发。

【相关】

《语义三巨人》

【猫犹如此，人何以忧，霍金之论谬矣】

Xander 虽然瘦小却是个机灵鬼。自从引进 iRobot 扫地机器人，他就兴奋莫名。玩了一阵后发现机器人好脾气，也好耍弄。只要站到机器人前进的方向机器人立马停步温良恭俭让。

机器人不仅礼貌，而且有些木纳和傻气。被阻挡后一边原地打转，一边试图探索东南西北各方向是否有前移的可能性。好不容易悟出一个新的移动方向，Xander飞身跃过，它又没脾气，只好继续原地打转。有时候 Xander 有意放他一马，继而偷袭。Xander 玩机器人如耗子，于股掌之前，乐此不疲，貌似颇得意。

前几天又学了新本事：学会了启动机器人。凌晨三点，夜猫子Xander 醒来，煞是无聊，于是启动机器人耍耍。夜深人静，楼道传来机器人扫地的动静，第一次着实吓了一跳。莫非霍金说的机器人自主意识，控制世界的神话提前实现了？见了活鬼。起身察看，原来 Xander 在一旁窃喜。

机不猫欺。猫犹如此，人何以忧？霍金之论谬矣。

http://fanyi.youdao.com/ helps to translate the above into English (with minimal post-editing):

Xander, though small and small, is a smart guy. He was excited by the introduction of the iRobot sweeping robot. After playing for a while, he found that the robot was good-natured and could play games. As long as the robot is in the direction of the robot, the robot will stop immediately.

Robots are not only polite but also somewhat wooden and silly. After being blocked, it is trying to explore whether there is a possibility of forward movement in any directions of south, east, north, or west. It was not easy to find a new direction of movement, Xander flew past. He had no temper, so he had to continue to spin around. Sometimes Xander deliberately set him free and then attacked him. Xander, playing with a robot like a mouse, before the palm of his hand, happy, seeming to be proud.

A few days ago he learned a new skill: he learned to start the robot. At 3 a.m., Xander, who sleeps late, wakes up and is bored and starts the robot to play with. In the dead of night, there was a robot sweeping from the floor, and the first time it happened, it was a real shock to me. The robot's autonomous consciousness, the myth of controlling the world is realized in advance? Did I see a ghost? When I got up to look, I found Xander was pleased he had this trick.

【李白宋郭90：句法与逻辑和语用的纠缠】

宋:
@wei 张三是打李四的凶手。其中，张三一打，是一凶手，两个依存关系交叉，你是怎样处理的？

白:
凶手有个X坑，动名皆宜。

宋:
@白硕这个坑的语义是什么？

白:
使其成为凶手的事件

李:
“张三是打李四的凶手”的问题，这是句法与逻辑的纠缠，不在一个层次。“是” （表示上下位关系，taxonomy）与“的”（表示所属或限定的关系）在逻辑上没有节点地位，只有关系意义，纯粹是一个句法形式，是一个小词。因此，逻辑上的关系没有依存交叉，逻辑上，“张三” 与 “凶手” 发生 ISA （上下位）关系，“张三” 与 “打” 发生逻辑主语关系。这不是交叉而是同一个起点。见下图：

【SV: 张三，打】
【VO：打，李四】
【限定：打（李四），凶手】
【ISA：张三，凶手】

这四个 binary 的逻辑依存关系没有交叉。反映了本句的逻辑语义，“是”，“的”，都是小词，没有作为节点的逻辑地位。

Me:
至于句法的依存结构，那是另一个平面的事体：

白老师所说的“凶手”挖了个【刑事案件】的坑，用得好的话，可以帮助句法消歧：因为 “打李四的凶手” 有一个句法歧义在：“打”的是“李四”，还是“凶手”？从“打人” 的本体知识，可以得知打人属于刑事案件（寻衅滋事），正好填“凶手”的坑，比“李四”更加合适。但其实要真用上这个知识，无论是经过常识推理，还是利用大数据的语义相偕的统计，里面还有不少沟沟坎坎，并不是那么容易。其他的消歧的 heuristics 也有，似乎更好用。

“打李四的二儿子的凶手”，“打” “李四”，“打” “二儿子”，还是“打” “凶手”？

白:
匹配这种X的原则：1、S优先；2、如果是N，表“事件”的类别名词优先。二儿子二者都不是，优先级最低。“打李四的黑社会团伙的凶手”有歧义了。凶手属于团伙、团伙属于李四的可能性存在。这种解释下，“凶手”的坑仍未填上，且处在“挨打”境地。关键是，“黑社会”、“团伙”、“凶手”负sentiment一致，搞成一伙很顺，偏要黑吃黑很拧巴。坑填上了，sentiment却拧巴，这不好接受。

李:
在 “打【human-1】的............【human-m】的【human-n】”的模式里面，“打” 最不可能的宾语是【human-n】，虽然理论上不能排除。排除其他知识，“打” 最可能的O 是【human-1】，打嘛，打不了那么远。动宾有某种就近原则的 heuristic 在。但是，如果【human-1】的【human-2】里面，【human-2】有个很大的坑，需要一个【human】所有者，麻烦就来了：“二儿子” 恰好是这么一个【human-2】，他一定有个“老子” 的坑。除了孙猴子，没有老子的儿子是不存在的。于是，“二儿子” 要抢“李四”这个可能的老子，“打” 也根据就近原则想“打”这个“李四”。

白：
各种heuristics角力的最佳模型还是神经。

李:
打不赢还是打得赢，天知道。也许“神经”知道，谁知道呢。不知道神经什么时候能够把这些个鸡零狗碎的 heuristics 都考虑进去，省得专家费这个脑子。关键是，费尽了脑力，还是“测不准”。

白：
“打李四的二儿子的犯罪事实”：李四占位置优势，二儿子占大坑优势，犯罪事实位置最远，论坑反而要“打”当萝卜，填“打”的坑不占任何优势。这就是角力。任何一种heuristics只是从一个侧面做贡献而已。但自身暴露的弱点也会埋下祸根。是没爹更坏，还是没“爹”更坏？

李:
因素一多，人肯定干不过机器。但前提是不是有一个巨大的标准答案在（带标），数据不稀疏，然后一锅炒去看角力。

白:
“的”字的嵌套顺序也很有意思。

李:
“的” 不知道什么时候开始进入，继而被滥用的。古汉语的 “之” 可没有现代的 “的” 这么被滥用。有了 “的” 汉语裸奔性得到极度夸张。修饰语之间的内在次序约束被打破，想到啥（修饰语）说啥根本不过脑子直接就蹦出来。蹦出来后加上个 “的” 就齐了，显得符合语法。没有 “的” 的话，一个 NP 的前修饰语怎么摆弄很有讲究各种约束。超过两个的以上的 NP 没有好东西。语文老师应该一律打回去重做。

白:
比如“张三打李四的二儿子的女朋友的犯罪事实”。又出来一个“女朋友”是张三的，还是二儿子的，的问题。其实就是一个“当量”问题，一个坑顶几个位置。一个首选位置顶几个次选位置。等等。一个反过来抢萝卜的猪队友相当于扣掉几个位置。如此等等。这个“当量”也就是神经里的权值。

李:
想到另外一个语义计算的问题：在句子 “我穿中号鞋大吗” 里面，这个“大”是怎么个说法？“大” 前有四个先行者：1. “我” 2. “穿” 3. “中号鞋” 4. 整句：“我穿中号鞋”。“大” 貌似针对的是 “中号鞋”，这样的话，那就是后置定语或后置补足语了，但感觉总有一点不对劲。比较：

（1）中号鞋大吗
（2）中号鞋穿起来大吗
（3）中号鞋我穿起来大吗
（4）中号鞋对于我大吗
（5）中号鞋对于我的脚大吗

感觉，（5）具有理解客观性形容词“大”所需要的完整信息：【对象：我】，还有【小对象：脚】（二者是整体与部分的关系，这也是情感分析（sentiment analysis）中针对主观形容词（如“好”、“坏”）的大小对象的常见形态：“iPhone X 的屏幕很好”，其中【对象：iPhone X】，【小对象：屏幕】）。

“鞋” 可以从本体知识里面引申出【小对象：脚】出来，所以 3和4 在引申以后具有完整的信息。（1）最差，需要对话双方有相当的默契和 shared 背景和上下文，才可以相互理解，否则就是无厘头，缺省了关键信息。（2）缺乏大对象（主体），理解也不完整，反问或追问的话，应该问：谁穿“大”呢？“大”对谁而言呢？

郭：
@wei “我穿中号鞋大吗？” 觉得你的问题问偏了。

首先，这句dependency parsing应该没问题。那么，问题其实在语用。就是说，你丢给我这句话，我怎么接？

先回想下你自己的逻辑：
1. 中文可用两极对照来指代属性：“大小”就是指“size”
2. 两极中的一极是default：“大小”里的“大”就是这个default.

按此，这样三句，其实等价：

“我穿中号鞋大吗？”
“我穿中号鞋小吗？”
“我穿中号鞋尺寸对吗？”

这样，我已经有理由做一步 reduction，理解你其实要我帮忙回答：

“我穿中号鞋？”

或者更简单地：

“我穿什么尺寸？”

这就好办了！

李：
不错，不错。

【相关】

【NLP随笔：词法内部结构休眠，句法可以唤醒】

下班路上有一个关涉词法句法的灵感，有点意思，随笔记下，省得忘了。

开问：对于词典列举了的词条，还要不要记录内部词法呢？

当然，既然列举了，词法应该不重要了，一切都是绑架。（如果要记录词法，所记录的词法也是绑架。）词条就是一团泥巴，爱怎么捏都行，一切看方便和需要。尽管绑架不需要讲道理，自然也就不必讲词法，但是反观人对词条的语言学认知，其实还是在无法有法之间的灰色，并不真地就是一团漆黑，进了词典就都是黑箱子了，其实也有灰箱子，甚至相当白的箱子在内。

举个例子来说明这种灰色的法与非法状态。

“细心” 是一个2词素的词条在所有的现代汉语词典里面通常贴个形容词A的标签。因为它非常典型地起一个形容词的句法作用，与其他形容词同义词“认真”、“仔细”、“刻苦”类似：

（1）做定语：细心人。（认真人。仔细人。刻苦人。）
（2）做状语：细心做事儿。（认真做事儿。仔细做事儿。刻苦做事儿。）
（3）做谓语：她很细心。（她很认真。她很仔细。她很刻苦。）

语义上，“细心”挖了一个【human】的坑，“她”正好跳进去。无论句法上做定语状语还是谓语，逻辑语义上，“细心”都应该挂上这个【human】。

句法语义之下是词法，如果从词法内部看，这几个词条是不同的，而这一点对于人其实并不是黑箱子，而是有相当透明度的，可以轻易认定：

“细心”在词法内部是一个名词性结构N（而不是对外的形容词A），词法关系是“细”修饰“心”：细的心。

“认真”稍微模糊一些，但一般人感觉还是词法内部的动宾结构V（而不是对外的形容词A），词法关系是：“认”【这个、一个】“真”。

“仔细”的词法关系应该是并列，而被并列的两词素都是形容词A，倒是与句法A赶巧一致了，说的是“又仔又细”、“且仔且细”。

“刻苦”不太敢肯定，词源上看，“刻”是动词，“苦”是形容词，也可以做名词。内部词法结构是动宾，还是并列，存疑，先挂起来。

总之，同是句法形容词的几个同义词，内部词法结构可以完全不同。回到开题的问题，这种对于人（起码是语言学家）可以看见的词法结构，需要不需要在词典里面标记呢？

乍一看，似乎不需要，因为一般来说词法的目的是支持句法，句法的目的是支持（逻辑）语义，总之是通过形式的表象，解码语义的内涵，这就是 deep parsing 和 NLU 的真义。既然句法词类（A）、句法角色（定、状、谓）、逻辑语义（修饰【human】）都可以清晰地解析出来，回头再去深究词法内部的小九九，貌似无益。就让它深眠在语言结构的层级体系（hierarchy）的最底层，永远不见天日。

但是，既然不是黑箱子，人就不会永远放过，偶见天日还是有的，特别是在段子或俏皮话里面：

A：你怎么形容她？
B：两只巧手，一颗细心。

see，在人脑的语言认知过程中休眠在词法内部的N，居然冲破了句法A的标配属性浮现出来，成为堂堂正正的句法N，与量词结构搭配构成名词短语，听上去一点也不拗口。为什么那么自然，因为休眠唤醒了，因为他原本就是名词。

看来，休眠唤醒的确是人类认知语言的一个机制。如果我们想要模型休眠唤醒这个机制，那么词法内部的结构作为休眠的种子，就应该先在词典里面埋下来，它才可能被唤醒，发芽成语。

结论：词法内部结构，还是记录下来为好，如果真要做深度自然语言理解的话。

【相关】

【立委随笔：猫论，兼论AI福兮祸兮】

猫咪是个有意思的存在，这种意思必须得亲身交互才好体会。看别人养猫和自己领养一只猫，感受还是不同。

人类在漫长的历史中把凶悍的野虎驯服为乖巧的家猫，这里面肯定有很多故事不为我们所知。我们现在感知的只有乖巧讨喜。首先是猫对主人的讨好的各种方式，让人不由心软和爱怜。你把手伸过去，他就跳起来拿脸去蹭。你把脚伸过去，他就在你脚背上打滚，然后拿眼睛注视着你的表情。

猫咪最引人注意的自然是那双大而深邃的眼睛，白日显威夜里发光。猫眼看世界整天两眼滴溜溜转，让人搞不清它都在想些什么，肚里藏着多少秘密。当它两眼随着你的一举一动转来转去你一方面感受到陪伴和关注，一方面不免狐疑是不是养了一个哑口侦探哪天开口说话了有多少难为情会突然爆发。好处也有。猫眼的炯炯目光多少约束了人的行为狠斗私字一闪念从狠斗任何不雅不轨开始：勿以恶小而为之。

猫咪的好奇心和探索精神令人惊叹。由于种种理由诸如害怕走失被碾压染上艾滋病误食毒物摔伤等等，house cats 室内圈养不外放可猫咪对外部世界的好奇心始终不减。猫咪可以几个小时守候在门前盼望主人归来更盼望主人哪天开恩。至于窗台阁楼天窗更是猫咪的最爱，它就那般优雅端庄地坐着，静观窗外的车水马龙人来狗往。閱尽天下事不喜不怒而好奇之心不灭。

至于室内的自由世界但妨有一丝缝隙无论地库暗道犄角旮旯它必钻进去嗅着鼻子地毯式探索绝对不留盲区。冰箱冷库只要开门也不畏严寒试图往里钻。这是什么精神？这是生命不息探索不止的大无畏精神。

猫咪最大的缺点是好吃贪睡，还有懒做。食为天睡为地天地性也真心算不得缺点。人家能睡到自然醒也是前世修来的福分不像摩登时代的人类创造了极大财富自己却深陷劳碌不得好活连个囫囵觉都难得一眠。

至于懒做更无从计量。自从四害被人类几乎赶尽杀绝以后抓老鼠的KPI便无法下派猫咪整日晃荡游手好闲无所事事便无可避免。天下本无事何以事之？

自从工业革命解放了体力劳动以后据说人工智能在不远的将来就要取代80%以上的脑力劳动人类很快就要面临猫类的宿命。没有劳动指标KPI的多数同胞如何自处将成为新时代难题。

反观猫咪一辈子，没有老鼠可抓甚至连老鼠的面也见不着的猫咪整天忙些啥呢？修身养性爱惜羽毛没完没了清洁自己一尘不染这就是它给自己立下的任务。难怪宠物店姑娘说得很肯定你根本不用给猫洗澡任何尘土和肮脏它都会舔得一干二净。猫有洁癖，永远清清爽爽，大小方便后也收拾得不露痕迹。

换了人类在大面积失业面前还能如此镇定自若独善其身吗？在人类找到失业恐惧症的解药消减贫富分化，废除按劳分配按资分配制度，摈弃歧视无业游民视之为二等公民等陈腐观念之前，人工智能的进步福兮祸兮真地难说。也许我们在自掘坟墓而不自知。这倒不是机器自主思维控制人类那种匪夷所思的杞人之忧这是人类自己的精神文明严重落后于物质文明的真切困境。这种困境早已显现只会日深。机器解放了体力之后的几百年来人类生存质量的重要指标普罗的幸福指数并没有随之提升。现代社会的焦虑和精神堕落其实更加普遍化病入膏肓。

我相信AI可以代替一多半的人类白领工作，只是不好设时间表，不知道这种替代发生这一次AI周期，还是下一个周期（假设每个周期大约15年的话）。无论这个周期还是下个周期，这种改变的速度还是远远快过人类的心理准备和社会机制的相应改变，所以隐隐感觉不是好事儿。AI 可以缓行。

在水牛城的时候，楼下住着一对老年夫妇，老头儿曾经是我们那个村的老村长（mayor），平时聊天，全是9斤老太今不如昔的论调：首先是世风日下，他的三个儿女全部是离婚收场，两个儿子找了新欢（与秘书结婚，抛弃了结发妻子）一个嫁了军官的女儿40多岁被离婚。其次是中产阶级的缩小。他的中产阶级定义就是有稳定工作，四五万年薪的那种（作为比较，当年软件工程师年薪七八万），包括蓝领。在他们那代人中，一个熟练工人可以在一家公司干一辈子，享受中产阶级的优越生活。虽然发不了大财，但这是一股社会稳定的力量，对知识和学历的要求不高，生活张弛有度，有车有房可旅游，有业余爱好，八小时工作，加班双薪或三倍，可以体面地生活一辈子。这种 good old days 是一去不复返了

其实川普这次上台，很大程度上是由于这些被新时代抛弃的草根，坠落到贫民但又放不下身段学不了新技能的原中产阶级。其实学新技能也不是最终的解决之道。人类必然面临工作市场的加速萎缩，有技能也无法保证免除失业。更可怕的还不是失业，而是失业的威胁和恐惧。新时代的人比起老一代，job security 江河日下。

【相关】

【李白王89：模糊语义与真假歧义，兼论PSG与DG】

李:
里面关涉所有的词法现象，包括 open compounding （合成词），重叠（reduplication）etc，morphology is a mini-syntax

白:
这是西方语言学者的思维惯性所致，把形态变化外化了

李:
但词法与 lexicon 还是不相称的吧，前者是规律后者是库。前者是“法”后者是“典”。

在语言学教科书里面，词法是一个动态模块，词典是一个静态模块（资源）。当然到了专家词典，那是NLP里面的创新，超越了传统的语言学界定。

白:
法+典
比如外界常说，汉语的morphology不发达，狭义理解形态变化不发达是对的，词法不发达就说不通了。至少我们构词法、离合词都算是发达的

李:
这里面其实还是有一些说法的。开放合成词 open compounding 是超出词典的构词法，占据了汉语构词法的大部。语言学上通常认为这个东西处在词法句法的中间地带，不像词的词尾形态变化（inflection）和语缀派生词（derivation）那样包裹在词法内部。因此，说汉语morphology贫乏也不无道理。如果从汉语的语言历史来看，就更是如此。

其实无论从理论概念上还是实践中，把词典绑架不了的所谓合成词这种中间地带的现象看成是句法的初级阶段，而不是看成是词法，是合适的。（至于词典可以枚举的合成词，无论是黑箱子还是半透明，那都不是事儿，反正是围在词典的围墙内【离合词除外，需要有特殊的与句法接口的机制】）
理由如下：

1. open compounding 与句法的组合规律总体上有一体性

2. 语素（lets say，bar 0）组合成合成词（bar 1），合成词组合成（初级）词组（group， bar 2），词组组合成（基本）短语（base XP，bar 3），基本短语组合成嵌套短语（bar 3.x），嵌套短语组合成谓语（VP, bar 4），谓语与主语组合成子句（clause，bar 5）

这一切其实都是一个句法单位（我的导师刘先生称之为动态句素，非常精辟）越来越大的过程。

在 bar 1 与 bar>1 中切一刀，前者叫 morphology 后者叫 syntax，其实有相当的任意性。主要依据是发现 open compounding 与词典枚举的 compounds 在句法进一步组合过程中，基本上可以同等对待，而且词典枚举不枚举也是有相当的任意性的。

这其实就是 structural configuration（x-bar concept）利用离散值在逼近嵌套（或递归）句法组合的过程中的归类角度而已。

上面的离散值分为 5 个 bars，比通常的 x-bar theory 细一点，换一个角度去抽象或 generalize, 也可以分为3层：词，短语，分句。也可以分为四层：词，词组，短语，分句。总之，既然这些分类具有任意性，而层层组合又具有一体性，那么把合成词组合排在句法里面垫底，是合理的。

今天还想到一个与此相关的句法界的老问题：说的是有一种结构歧义普遍存在但一般也不影响交流说者是模模糊糊说听者是模模糊糊听只是遇到较真的人或者说段子抠字眼的人才会把歧义凸显出来说事儿，多数人不较这个真。

说的是修饰语所修饰的句素的范围歧义：mod1 mod2 H，到底是 [mod1 [mod2 H]] 还是 [[mod1 mod2] H]? 逻辑语义上，这是结构歧义无疑，对应了不同的解读和至少是细微的语义差别，但实际交流中，who cares

有意思的是，by default 乔姆斯基短语结构分析法基本是第一种结构分析，mod1 不是修饰 H，而是修饰【mod2 H】这个group；与此对照，by default，依存文法采用的是中心词分析法，说的是第二种解读，mod1 修饰的是 H，mod 2 也修饰的是 H

对于这种普遍存在的结构歧义，两种解读都可以找到各自的语言事实依据（XOR），也都有更多的语言事实支持这种“真歧义”，但这个真歧义多数人不介意而已。

提出这一点是想说：1. 这种歧义在多数交流和落地场合可以打马虎眼不必认真对待；2. DG 和 PSG 默认出来的结构在这个普遍现象中是相左的，不等价，两个表达法互相转换的时候，需要注意这一点。

wang:
学习了

白:
靠H代表，才能统一。

李：
h 的代表性与人民代表类似。说是代表了人民吧，好像也不对，人民对他通常无感，他对人民也不负责，说不能代表吧法理上的确是代表。还是语言共同体聪明：糊里糊涂说糊里糊涂听。邓小平理论就是不争论。语言与逻辑的分野在这里表现最充分。语言使用中从来没有感觉出那么多的逻辑歧义。交流绝大多数时候真滴就是一笔糊涂账大家还都基本认账只有偶然遇到什么特殊情形才较真起来。特殊情形包括说段子。也包括打官司。因此法律合同与口语相差甚远那是把所有人当贼防不得不采取的表达方式。

王:
说得好！

白:
说something是可以糊涂的，没问题，太正确了。说which one是可以糊涂的，有点难。mod1是形容词-副词兼类，mod2是只能作定语的成分时，存在副词优先的现象。

“好漂亮的花”不是【好【漂亮的花】】而是【【【好漂亮】的】花】

王:
H就是公司的法人代表。一个公司总得有个头H（Head），来代表公司。通常情况下，基本上H就代表公司出来说话，在该出面的时候，能承接的很好，能保证以企业级为单位的事务运转，简洁而高效。--这个时候H就是代表很好。但他完全代表公司的全部数据面吗？不可能，也不需要，只要能有这个H牵头，且能保证各层结构有序运转就好。员工大众需要有这样个代表，企业上头管理部门，也需要这样一个代表，而这种衔接，就是最经济的。语言学，想必也类似。

在H完全代表不了的，情况下，可能再需要配一个或几个副手，一起代表就基本能把问题解决了。H有时信息不自足的情况下的一种选择。比如，介宾情况。介也许就是介绍主人的介绍人吧。

@白硕照白老师这样一说，感觉还是该分开的情况还是得分开，细节工作看来还省略不了。只有那些不必分开或不值得费功的情况，特别“左右搭接两相宜“的才不必细致分开。

李:
顺着前两天的思路，一个观察：有的歧义不重要，介于真歧义伪歧义之间。逻辑上的真歧义，语用上的伪歧义（因为人普遍不 care，因此也没必要要求电脑去 care，怎么着都可以）。譬如：“昨天-发布-了”，在 PSG 中，下列的结构歧义：

((昨天发布)了) vs (昨天(发布了))

到了 DG 就没有歧义了(昨天(发布)了)，反倒省心。

【相关】

【朝华点滴：百万架构图幻灯片的演进】

以前提过这个 million-dollar slide 的故事，今天找出来几张旧图，回看一路风尘留下的足迹，思绪不由飘向漫天风雪的水牛城，我旅美生涯的起点。美国是个伟大的国度，它为一个赤手空拳游离主流之外的异国流浪者提供了一个舞台，终使其跨越世纪的科研美梦成真。

说的是克林顿当政时期的 2000 前，美国来了一场互联网科技大跃进，史称 .com bubble，一时间热钱滚滚，各种互联网创业公司如雨后春笋。就在这样的形势下，老板决定趁热去找风险投资，嘱我对我们实现的语言系统原型做一个介绍。我于是画了下面这么一张三层的NLP体系架构图，最底层是parser，由浅入深，中层是建立在parsing基础上的信息抽取，最顶层是几类主要的应用，包括问答系统。连接应用与下面两层语言处理的是数据库，用来存放信息抽取的结果，这些结果可以随时为应用提供情报。

话说架构图一大早由我老板寄送给华尔街的天使投资人，到了中午就得到他的回复，表示很感兴趣。不到两周，我们就得到了第一笔100万美金的天使投资支票。投资人说，这张图太妙了，this is a million dollar slide，它既展示了技术的门槛，又显示了该技术的巨大潜力。

这个体系架构自从我1997-1998年提出以后，就一直没有大的变动，虽然细节和图示都已经改写了不下100遍了，下面的两张架构图示大约是前20版中的，此版只关核心引擎（后台），没有包括应用（前台）。

1999 版

2000 版

2003 版

2003 版之二

2004 版

下面两个版本是天使或A轮投资人帮助美化来吸引其他投资人的：

九九归一，天变不变道恒不变，最终的架构图反映在我的【立委科普：自然语言系统架构简说】中的四张NLP联络图上：

【相关】

【掌故：“白头宫女说微软”】

想到一个简单的区分NLP文傻和理呆的试金石：听到P和NP，首先想到介词和名词短语的是前者；首先想到计算复杂性的是后者。二者同时想到的是超人。这个群估计一多半是理呆，文傻属于珍稀品种，应予保护。

很长一段时间，听到 IE 我就想的是信息抽取这个改变了我人生道路的研究领域。而不是微软的那款破劳什子。

曾几何时，微软帝国征服世界，指哪打哪，不可一世。WordStar 后是 Word Perfect 教育了市场，可是 Word 一来，溃不成军。1-2-3 曾何等 popular，可 Excel 席卷过来，片甲不存。到了 Netscape 开拓了互联网的广阔疆土，IE 上场，集中优势兵力，泰山压顶。据说当年的微软 campus，帝国霸气毕露，臣民情绪激昂，日夜兼程，IE 团队的 QA组不间断测试与 Netscape 的各项指标的此起彼伏，直到全面压倒，于是在帝国为自己的对手举行了一场隆重的葬礼，场面壮观而感性。

那是怎样的一个帝国时代，微软股票连续分裂，仍不断上扬，记得在视窗95（？）发布的当天，全美的电视台全天候报道这个软件巨无霸，播音员把微软的OS和Office比喻为信息时代为自己开的现金账户，财源滚滚而来，来自全世界消费者。

就在微软如日中天的时候，1996年吧，我有幸一瞥帝国风采，作为他们NLP组 short listed 的候选人，被招去面试。从温哥华到西雅图 Redmond 总部，一个小小的候选人，HR 居然给订了头等舱和五星酒店。

Bill Gates 当时对NLP组寄予很高期望。MindNet 那个 demo 蛮 impressive 的，一个基于词典定义自动parsing建立起来的一个知识图谱。各种关系线条（其实基本等价于把维基百科map到图谱的内部数据结构去），很炫酷。可没人知道怎么用这个图谱。来自定义的知识，基本构成是一个本体知识库（ontology），并没有多少情报知识。落地显示价值方面有很大挑战，总之是探索了近十年，也没落地下来。后来据说是利用它和parsing，试图落地到MT。结果 Brill 来了，带领的机器学习组叫 NLG（NL Group，not NL Generation），几个月就做出了一个 MT 与这个老牌的 NLP 组，做企业内恶性竞争，NLP 一败涂地。这是统计NLP碾压规则NLP的一个历史性案例，发力点是有海量自然带标数据（人工对照译文）的MT，也不奇怪。最终导致 NLP 组的大裁员。好像除了英语和日语，其他语种的NLP小组全部遣散。

要说情报知识图谱由于其情报性，由于大数据的信息过载，还有落地到产品、显示价值的一些空间，一个本体知识库要落地，就艰难多了。本体知识库，by nature，相对固定有限，可以人工穷尽，不像情报知识那样具有流动性，需要大数据的持续更新处理。你做得再花哨，毕竟是自动从数据生成的，必然具有噪音，而且逻辑不完备。你怎么跟董老师这样潜心30年研发出来的深思熟虑精心设计的本体知识体系 HowNet（知网）去 pk 呢？所以战略上，MindNet 就走错了路。也是当时的条件所限。他们的那个基于规则的 parser，鲁棒倒是还鲁棒（比起多数局限于实验室的规则系统），但太粗线条了，精准远远不够。他们当年没有办法拿那种质量的 parser 去应对各种自然语言的文体和数据源，于是聚焦在词典的定义这个子语言上去细磨。定义的句式不外是 "a is b's c” 这样的句式，容易拉出一个本体知识链条出来。能想出这么一个应用不成熟技术的切入点，也真是难得。

记得当年还利用这个parser做过 grammar checking，在 Word 内。根本就无法用，几乎全是 false alarms。后来好像是找了另一家的 grammar checker 纳入了 Word，经过这么多年，终于变得可用了。当然，目前最好用的 Grammar Checker 并不在 Word 内，而是可自由下载的 Grammarly，已经渗透市场，无孔不入了。

【相关】

【NLP答问：关于parsing 和自然语言理解】

【NLP答问2：实体语义和逻辑语义】

新人:
就是觉得自己的问题有些太外行了，不太好意思随便问

答:
外行内行，都是一个过程，只要有兴趣就好。《李白对话》天马行空，属老人促膝恳谈；也可以来一些答问对话，为缩小代沟做点实事。

嗨，上篇《NLP答问》刚贴到微博不到两小时，就2.4万阅读量了哈。可见答问的话题还是很符合公众兴趣点，人工智能教授马少平老师等有推荐和评论：https://weibo.com/2316531634/profile?topnav=1&wvr=6&is_all=1

你们说得都对//@南大周志华:目标代码吧，不是数据结构 //@马少平THU:用计算机实现不这样还能怎样？//@第五逻辑:所有的场景应用都是转化为计算机可执行的一种数据结构，这就是现阶段所谓的AI
@立委_米拉【NLP答问：关于parsing 和自然语言理解】
立委_米拉
7分钟前来自微博 weibo.com
不争论不争论。小平连大是大非姓社姓资都不争论，咱数据结构和目标代码有啥争论的。重要的是面对冰冷的现实，“这就是现阶段所谓的AI”，与自主机器人或机器智能没有一毛钱的关系，都是人类自己跟自己玩，机器不过就是玩具（或者也是吹牛的道具）而已。没霍金之流吹得那么高大上。

新人:
目标代码和数据结构不是一体的吗？

答:
CS的标准说法是：程序（目标代码）= 数据结构+算法

我们在讨论的时候，侧重点是“理解”的表达形式（representations），就是结构树（tree），或图谱（graph），强调的是数据结构的一面。“理解”作为（智能性）动词，当然有算法的一面。所以周教授说是目标代码，才全面。

新人:
这样啊，受教了

答:
数据本身不一定是可执行的代码。结构树不过是“理解”的一种内部表达，无论是达成这个理解的过程（parsing），还是利用这个理解去落地到应用（semantic grounding to applications），都有一个NL算法的事儿。

前者（parsing）在我这里就是 cascaded FSA++ 的实现算法，后者（落地到信息抽取和数据挖掘场景）就是一个 subtree matching 的算法。这是就关涉算法的机制（formalism）而言，其实利用这个算法机制对系统各个模块以及模块中问题的处理过程，也还有个语言学算法的思路在内，不仅仅是在多层系统里面先做什么后做什么，还有各种数据流接口的设计等，如何防止错误放大，如何协调共性和个性，都与算法有关。

新人:
结构树是“理解”的一种内部表达，这个内部表达中已经包含语义的部分了吗？还是说语义包含在另一种内部表达的形式里，多种结构组成了“理解”的形式？

答:
结构本身就是最重要的语义部分。这是语言学的常识，也是多数计算语言学家的共识：学界术语叫 semantic labeling，在中国的NLP界，由于董振东前辈30年前的创新研究，这个语义被命名和普遍接受为“逻辑语义”。理解了一句话，最关键的就是要搞清楚一句话里面的那些语词概念的逻辑语义角色：【谁】（逻辑主语，施事）【对谁】（对象补足语）【做了】（谓语）【什么】（逻辑宾语，受事），【何时】（时间状语），【何地】（地点状语），【如何】（方式状语），【为什么】（原因状语）等等。

深度解析（deep parsing）所建立的结构树或图，就是要填写这些逻辑语义角色，填写好了也就是达成了语言理解的核心。

新人:
实体语义对于理解一个句子不重要吗？好像绕回了之前说的WSD那篇…（【NLP 迷思之四：词义消歧（WSD）是NLP应用的瓶颈】）

答:
什么叫实体语义？实体对应的是NE或NP，在句子中就是一个元素。在知识图谱里面，表达成一个画像（profile），uniquely 对应了真实世界的一个实体。

实体语义的重要是在领域落地的时候，而在领域独立的语句分析阶段，只要知道类别就好了，实体的语义或歧义（如果有歧义的话）可以先绕过去的。譬如，“约翰”这个实体，知道他是一个人名（NE）就够了，至于他究竟指的现实世界哪个实体，对于理解一个里面提到“约翰”的那个句子，并不重要。

但是如果要建立领域的知识图谱，实体语义就重要了，否则描述这个约翰的事件，张冠李戴到另一个约翰头上，语义落地的偏差就会把领域知识图谱（事件场景以及个人画像的语义网络）搞砸。

我这篇【NLP 迷思之四：词义消歧（WSD）是NLP应用的瓶颈】）文的本义是说：WSD 一般来说不是 parsing 的瓶颈，而是可以推后到落地的时候去做区分。

新人:
是，想了下，只有在具体场景下，才能讨论实体语义。

答:
换句话说，语言学意义的理解首先看到的是结构和角色（“项链”），然后才是角色里面的每颗“珍珠”。所以说 deep parsing 是自然语言理解的皇冠和核心，是自然语言落地的核武器。

新人:
感觉清晰了很多。终于不纠结实体了…

答:
关键是，实体的歧义通常不影响结构和角色定位（即逻辑语义），而一个语句与其他语句的语义区分，主要就是结构和角色定位。这里面细究的话，逻辑语义结构里面有核心和边缘的区分。核心就是所谓 argument structure，这是以谓词为核心挖的几个“坑”，需要实体参与者（萝卜）来填坑的的结构，表达的是语义主干：【who】 DID 【what】【to whom】这类。边缘的语义主要是可有可无的状语，可分为一二十种，表达的是语义的细节：时间，地点，条件，原因，让步，结果，程度，等等。

新人:
昨天插入语的那个badcase，是不是属于边缘的语义的部分？

答:
插入语当然是边缘语义，非常的边缘，提供某种语气。

新人:
感谢您愿意回答我这些基础的问题。我得赶紧补补课

答:
不必拘束。在你这个年龄段，保持好奇心和兴趣最重要，不要怕吃苦，一头扎进去几年，才能真正体味。我有个n万小时定律（《聊聊 NLP 工业研发的掌故》），虽然夸张了一点，但说的就是必须要有足够历练，才能一览众山小。

【相关】

【NLP 迷思之四：词义消歧（WSD）是NLP应用的瓶颈】

【NLP 迷思之四：词义消歧（WSD）是NLP应用的瓶颈】

【NLP答问：关于parsing 和自然语言理解】

【立委按】人工智能热潮下，进入自然语言领域的新人也随之增多。新人的好处是喜欢问问题。于是有了答问。

新人:
读过您的parsing方面的系列博文，parsing 及其落地应用的种种，很有意思的领域。把 parsing 这一块做好就非常 exciting 了，能落地就更棒啦

答:
必须落地。否则站不住脚。parsing 做好根本不是问题，已经做了N次了，been there done that（【谷歌SyntaxNet是“世界上最精确的解析器”吗？】）。NLP 是个力气活，但不是看不到头的活儿。达到接近专家的水平是验证过的。落地有所不同，落地需要找到切入点，需要有一套领域化的有效方法。

力气活指的是迭代：就是不断的迭代，每天迭代10次，一年就是3600次。设计思想和框架机制对路了，剩下的就是不断地根据数据制导，去修正系统，保证走在正路上，避免或尽可能减少 regressions，终会达到彼岸。

新人:
力气活是真的，我之前做 NLU badcase 分析，后来能看到准确率确实在上升。我相信迭代的力量。

现在的 parser 已经足够好了吗？您博客中提到的休眠唤醒机制，世界知识的引入，非确定性表达的问题都已经解决得差不多了吗？

答:
还没有，时间和人力的投入不够，一切重起炉灶，系统架构更加合理科学，但血肉不足。没关系，目标导向，急用先做。有些来不及做的，先放在那里。

新人：
想起您博客中各种奇怪的例子

答:
那是刁难系统的，多是语言现象的犄角旮旯，其实不值得太花力气。古怪的句子的好处是测试鲁棒性（robustness）或者测试有没有补救措施（backoff），主要精力还是应该花在统计性强的常用句子身上，不能被长尾牵着鼻子走。

做中文 parsing 特别让人兴奋，比做英语等要有意思多了，后者太缺乏挑战性了。

新人：
嗯，中文本身很有魅力

答:

看上去一个字符串人看着都头晕，如果能自动 parse 出结构来，很让人开心的。

新人：
“看上去一个字符串人看着都头晕”这句感觉对 parsing 挺难的？

答:
不妨试试：

这个当然有问题，但很容易修正。现在的序列是：NP，CL，AP，这个 CL 是一个插入语，最后的结果应该是在NP与AP之间建立主谓关系，把插入语附加上，就完美了。（CL 是 clause，M 是定语，R 是状语。）修改后的结果：

这个结果还合理吧？

新人:
是不是把“看上去”作为RP，就能fix之前的问题了？

答:
主要还是带有插入语性质的 “NP人看着（都）AP"，插入语“人看着”是 RP（副词性短语），“看上去”也是RP，但在句首，好办。

新人:
如果去掉“看上去”，整个句子是“一个字符串人看着都头晕”，改之前的 parser 能解析正确吗？

答:
不能，因为没有处理好这个插入语。与“看上去”无关。插入语在语言中是很有限的表达法，迟早可以穷尽，原则上不是问题。

你以前做过什么parsing有关的工作？遇到过什么挑战？

新人:
之前做parser的离合词这一块。例如“吃了一顿饭”这样的结构，可以从语料中很容易统计到，例如“吃不吃饭”这样的就相对少，只能靠观察。当时是这么做的。首先从研究离合词的论文里找出一个两个字的离合词列表，例如'AB'。然后用'A.*B'在语料中筛选句子，对选出的句子做pos，然后统计'A.*B'中间'.*'的部分的pos组合，但是“吃不吃饭”这样的结构在词性标注的时候就没法搞定了。

答:
这不是简单的离合，而是夹杂重叠。A不AB，是一个相当普遍的现象，对于所有 V+N 离合词都有效的。退一步，V不V 也是一个确定的选择疑问句式。

“对选出的句子做pos，然后统计'A.*B'中间'.*'的部分的pos组合”

做POS 后，你在统计什么？

新人:
当时的需求是，判断"AxxxB"是不是词“AB”的离合现象。因为想提高泛化能力，所以想从语料里产生词性级别的pattern，比如“吃了一顿饭”对应的pattern是“v u mq n”（限定 v 和 n 是单字）。比如“吃不吃饭”词性标注的结果是“吃_v 不_d 吃饭_v”，从词性的层面就不能用“v d v”来匹配了

答:
那两个v是重叠，需要unification机制的，单看POS，根本没戏。如果只是统计 POS-序列，没有什么意义，

新人:
做完了才发现，确实没什么意义。。

答:
是啊，因为就是一个动宾结构，这个 POS 序列，与 NP 中的修饰语序列应该是一致的。

新人:
当时就我一个人在瞎做，都是我拍脑袋想的方法，比较挫

答:
这个不用做统计，就可以想见的。

新人:
能想出来的是有限的呀，肯定有想不到的情况。。

答:
离合词不难处理，它是搭配的一种。搭配现象的本质都是词典的搭配规定与规则的实例化（instantiation）的机制，就是词典与句法需要平台机制上有一个灵活的接口。英语的短语动词 take NP off；put NP on；subcat 句型中对 PP 的 P 的要求（borrow sth from sb），汉语中量词与名词，这些都是搭配现象。

"能想出来的是有限的呀，肯定有想不到的情况。" 但那不是离合词的问题，那是 NP 的问题。NP 当然有很多种组合可能，拍脑袋是想不全的。所以要数据制导，要迭代。类似你上面的语言调查，也是一种。所有的语言现象，不仅仅是NP，都需要数据制导。都有想不到的序列。不过从 POS 序列着手，是远远不够的。POS 太粗，根据 POS 做 NP 或做其他现象，最后都是窟窿。

新人:
是的，最后做了个字+pos 的规则

答:
字太细，POS 太粗，加在一起，抓了两头的确会好很多。但是从字到 POS 中间还有很多，譬如【human】以及类似的一整套的本体概念网络（ontology）可以利用（譬如董老师的《知网（HowNet）》）。

新人:
【human】是什么意思？

答:
譬如 “演员”，“总统”，“那家伙”，。。。。就是语义概念标签。【human】是最常用到的标签了，比 N 细线条一些，比 “演员”这些关键词是粗线条了。所以说，一个系统不能光靠最粗的POS分类，也不能光靠最细的关键词，还需要语义概念的 ontology。

新人：
引入语义造成的歧义问题，是用句法来解决吗？比如“演员”是一首歌名

答:
引入并不造成歧义。要是有歧义，那个词不引入也还是歧义的。与引入无关。引入语义只会增加词的信息量，多一些可利用的手段。不是因为引入，所以需要消歧。歧义如果需要解决，也是那个词本身需要这么做。但很多时候，歧义是不需要解决的。

{演员 N}，这里有两个信息：（1）演员（2）N。{演员 N 【human】【song】}，这里多了两个信息。原来没引入之前，我们根本不知道 “演员” 是什么，不是什么。现在引入语义以后，我们至少知道了 “演员”不是人就是歌。它不可能是其他的1000种可能性，譬如起码，演员不是【furniture】，不是【sentiment】，不是【location】。所以引入新的信息不是增加歧义了，而是大大缩小了歧义的可能性。

新人:
明白了

答:
至于区分歌与人，那个任务叫 WSD，很多应用可以绕过去不做。我写过一篇，说的就是 WSD 很难，但绝大多数应用不需要做（【NLP 迷思之四：词义消歧（WSD）是NLP应用的瓶颈】）。

新人:
说实话我不是对 parsing 感兴趣，是对自然语言理解感兴趣，我想知道通用自然语言理解的道路在哪里，但是也不知道往哪个方向发力。

答:
parsing 与自然语言理解有什么不同？为什么对后者有兴趣，对前者无所谓？什么叫理解呢？

新人:
以前我一直觉得 parsing 和分词一样，是一种基础的组件。然后我觉得常识才是自然语言理解的核心。不过看了您讲文法和常识的那篇博客（【立委科普：自然语言理解当然是文法为主，常识为辅】），最近也在重新思考这个问题

答:
parsing 强调的是对语言结构的理解，WSD 强调的是对词的理解。粗略的说，语言理解至少包括这两个大的方面。既要知道这个词对应的是什么概念，也要知道这些概念在句子中表达怎样的关系。其实后者更重要。纲举目张啊。做一条项链光有珍珠不成，更需要的是串子，好把散落的珍珠连起来。

新人：
我说下我对自然语言理解的粗浅的想法啊。比如“我喜欢吃苹果”。从句法上很容易就能解析出来，但是计算机通过什么方式才能理解“我喜欢吃苹果”和“我讨厌吃苹果”的区别？虽然能通过词典知道“喜欢”和“讨厌”是不同的概念，那么要怎么这两个概念有什么方向什么程度的不同？然后要怎么表示这种不同？

答:
然后怎样呢？你前面的话没说完啊

新人:
我也不知道要怎么理解这种不同啊。确实，没有句法是不行的。

答:

1 计算机根本没有什么理解不理解。说计算机理解了人类，那是胡扯。说计算机不理解，也是高抬了机器。人类意义的“理解”根本不适合机器。

2. 所谓自然语言理解，那只是一个比喻的说法，千万不要以为电脑能自主“理解”（或者“不理解”）人类语言了。

3. 所以，自然语言理解的本质就是把语言表达成一个内部的数据结构，根据这个结构，比较容易地落地到应用所需要的方向去。譬如情感分析的应用需要区分正面情绪（如 “喜欢”）和反面情绪（譬如 “厌恶”）。

4. 换句话说，所谓理解，不过是人跟人自己在玩，与电脑智能没一毛钱的关系。

5. 既然是人自己跟自己玩，那就要看一个系统的内部表达（所谓理解）的设计能不能用有限的表达和逻辑，去捕捉无限的语言表达方式；能不能根据这个表达和逻辑，达到（或模拟）人在理解了语言之后所产生的那些效应。譬如人看了一句话可以判断是什么情感，情感的强烈程度，谁对什么产生的情感，等等，因此可以得出舆情分析的结论，计算机可以不可以也达到类似的分析效果？

6 因此脱离应用（理解以后的效应）谈理解，很难。应该通过应用来验证所谓理解。

7 所谓端到端的系统，就是直接模拟应用：里面的过程是黑箱子，叫不叫理解无所谓。

8 符号逻辑派的先理解后应用，不过是用人可以理解的方式把这个理解到应用的过程，透明化。透明化的好处，比较好 debug，可以针对性解决问题。这是黑箱子系统的短板。如果有海量带标（应用效果的标注）数据，黑箱子的好处是可以很快训练一个看上去很不错的系统。如果没有，标注数据就是一个令人生畏的知识瓶颈。

新人：
我是一直从类似微软小冰那种对话系统来考虑自然语言理解，所以不太能接受seq2seq的对话生成系统…

答:
闲聊系统，因为人的对话无时无刻不在进行，理论上有无穷的带标数据，其实可以训练出很好的以假乱真的闲聊机器人的。一个 MT ，一个闲聊，这两个应用具有天然的海量数据，是少有的知识瓶颈不严重的应用方向。多数NLU应用没有这么幸运。所以不得不组织成千的标注队伍，还是赶不上应用现场的变化中的需求。

新人:
MT 感觉和闲聊机器人还是不一样？闲聊机器人的系统在单轮的时候可以以假乱真，但是在多轮的时候基本都不能维持对话的连续性。

答:
多轮的挑战可能还是源于稀疏数据，这是因为虽然对话的数据是海量的，但是从 discourse 的角度看一个完整的对话篇章，数据就可能很稀疏了。每个对话都是一个特定的话题，以及围绕这个话题的对谈序列。从话题和对谈序列的角度来看，数据就不再是海量的了。突破口应该在对于不同对话序列从篇章脉络角度做有效的抽象，来克服稀疏数据的短板，学会篇章的应对技巧，easier said than done，这个显然有相当的挑战性。篇章（discourse）向来是计算语言学中最不容易形式化的部分。

新人:
我个人觉得如果是通用/闲聊场景，即使有海量数据，对话的话题和序列还是很可能大部分和可获得的数据集的不一致。

答:
那自然，组合就会爆炸。爆炸了当然数据就稀疏了。

新人：
很多场景还是有办法细分成小的垂直场景，然后通过在系统设计上做一些功夫来达到一个比较好的效果的吧？

答:
垂直当然有利多了。垂直了，就成了子语言，很多歧义也自动消解了。垂直了，就聚焦了，剩下的歧义也就好办了，词驱动（word-driven）也有了发力的场景。

【相关】

【立委科普：自然语言理解当然是文法为主，常识为辅】

【谷歌SyntaxNet是“世界上最精确的解析器”吗？】

【李白宋88：再谈量词搭配与名词短语自动解析】

白:
“所谓印太区域自古以来就是一个印太国家间互相交流、学习、融合的平台。”

一个-国家，赋予国家单数特征，与“间”矛盾。一个-间，不搭配。所以只好一个-平台。这是利用subcat相谐性的传导来排除不合适的量词搭配。

李:
这么做量词搭配感觉不大合算实现繁难还容易错。对于普适性量词如 “个” 和 “种” 最大的heuristic 是最大跨度原则有更有效的实现办法。

先说老办法容易错。容易错源于相谐的软性要求和排除法的脆弱性。举个例子：

“我们可以建造100个印太国家间互相交流、学习、融合的平台。”

利用 “间” 的相谐颇不容易。最大跨度原则最简单而且有效的实现就是见到 “一个” 先挂起来。然后该干嘛干嘛等定语从句和其他乱七八糟的前置修饰语都扫荡干净了一头一尾拼接一下就完了无需额外发力。所谓原则必有漏洞一定可以找到反例。但比起一个一个的相谐排除法感觉可靠性更大更符合国人的表述习惯。国人特别喜欢用这种跨度很大的左右边界搭配的np：

一个 blah blah 又 blah blah 的 N
这种 blah blah blah blah 的 N

写着写着突然觉得似曾相识好像就这个量词话题在某个时间点说过几乎完全相同的话相似的论点和论据。懒得查了也不好查这种感觉很真切说明聚焦一个领域唠嗑免不了会有车轱辘话也说明一个人的观点很难轻易改变尤其是实践中提炼出来的观点。

汉语中框式结构很值得利用。量词结构是一，前置词后置词搭配是另一个常见的框式结构。

白：
不搭配和搭配是不对称的。不搭配一票否决，搭配就近解决，这两个原则一点都不矛盾。

李:
“一个间还是两个间？”

一票否决如何鲁棒呢？这里牵涉好几个层面的方法论问题：

第一我们说的是强搭配还是弱搭配，“个” 与 “种” 通常被认为是弱搭配，基本上是一个名词的标配。

第二维护搭配词典是一回事，维护不搭配词典又增加了一个维度和工作。前者是系统标配知识后者要不要费那费力气可以讨论。

白:
一个间，有反例吗？可以探讨。遇到一个+NP+间，中间推理过程可以省，记住最终结果（NP+间结合，一个留下不结合）就ok。推理过程离线做，最终结果在线用。

李:
强搭配一票肯定基本不错。如果要考虑更细致的话大概是如果有多个强搭配最大跨度胜出。不过这已经有点吃力不见得讨好了，因为二分法的强弱搭配忽视了强弱的连续性。强不搭配如果维护的话，可以考虑一票否决。弱搭配或弱不搭配还是不如最大跨度。

白:
维护不等于人工维护。

李:
“间” 是方位词属于后置词。n+间基本上是 PP，做状语为多，通常还到不了要与量词纠缠的环节。

宋:
@wei 说的框式原则，或者说括号原则，应该是认知层面的规则，应适用于各种语言，确实有用。

白:
间是催化剂，自己不参加有关量词的反应，但偶尔可决定量词搭配的方向。就如“张三与李四的婚姻”当中的“婚姻”，决定了“张三与李四”是序偶（ordered pair）还是列表（list）。后者有分配性，前者没有。“鲁迅的书不是一天能读完的”通过谓语部分的周遍性补语“完”，确定话题主语“鲁迅的书”是“例”还是“类”。都是这个道理。不一定亲自下场子，但对别人的subcat特征取值有决定性影响力。特征不是专门为句法一个任务抽取的（否则确实有是否值得的问题），如果背后有N个任务等着要特征，搂草打兔子，何乐不为。

李：
做量词搭配很多时候是醉翁之意不在酒。怎么讲？我们知道，最常见的量词词组是不定量词组 “一个”、“一种”、“一类”、【一+量词】或有定量词组“这个”、“这种”、“这类”、【这/那+量词】。这些量词组本身语义很虚，除了不定有定的语义（大体上是英文冠词的语义）外，量词本身几乎没有意义（汉语用量词的地方，对应到英语往往是空白），它附着对了或错了，对其头名词的语义解读影响不太大。但是，量词组对于名词短语（NP）起到了左边界的作用，因此量词与右边界头词（head word）的搭配，这种框式结构，对缺乏形态的汉语搞定NP这种最基本最常见句子成分，具有非常重要的形式指征的作用。

从框式搭配结构的角度看量词处理，我们发现，对于比较长的往往内含定语从句的名词短语，人在交流的时候也利用了这个搭配，总是先来一个量词组，等于是跟听众说，注意，我这里给你打左括号了，下面我要说一个具有N多修饰语的实体名词了。换句话说，如果没有量词搭配这种形式标识，为了交流的顺畅和避免歧义，国人不会这么经常地使用长NP。

鉴于此，在短语抱团的浅层解析过程中，善用量词搭配，在最大跨度原则的范围里，容忍某些“出格”或不和谐的修饰语，是解决长NP的非常有效的know-how之一。

【相关】

洪:
徐英瑾评《人工智能简史》︱人工智能，真的能让哲学走开吗？_上海书评_澎湃新闻-

【李白洪87：人工智能，真的该让这样的哲学家走开】

李：
白老师在朋友圈转了一篇题目很吸引眼光的《人工智能研究中的“母语意识”刍议》，看了一半看不下去，太经不起推敲了。原来是哲学教授社会科学战线的。难怪。（说这话总有点对不住我社科院母校的感觉。）

白：
量词携带语义标签，与“条”搭配的一般是两维差不多短、一维明显长的物体。所以，苗条品种的狗（狼狗、牧羊犬等）论“条”，臃肿品种的狗（京巴等）论“只”才是地道的。要想挑战远距离相关的量词搭配，必须把干扰项放在合适的句法位置才有意义，文中构造的“条-狗”搭配虽然隔了21字之远，但干扰项“只”却并不处在合适的句法位置，也许正常的词法或句法处理就可以把它消化掉，从而起不到任何干扰作用。

李:
他是假设量词搭配的实现者没有 parser 和合适的分词系统，盲目寻找最近的直接量搭配。哲学教授的这种人工智能评论让人啼笑皆非。文中似是而非漏得像筛子一样的论点还有不少。譬如常识的自然语言偏见，要说常识与文化偏见还有可能有那么一丝丝纠缠的可能的话，说自然语言偏见带入常识就扯太远了。他还举例说计算机语言因为用了英语的一些词汇符号，因此也带入了英语偏见，这真是匪夷所思的论点。计算机语言的本性已经使得其词汇系统对任何自然语言偏见脱敏了。至于借用英语还是借用数字编号，不过就是个助记符的考量而已，与偏见何干？

洪:
@wei 作者徐英瑾复旦哲学教授，最近也写过篇评价尼克ai简史的文章

李：
@洪涛Tao 徐教授怎么评价的？无论臧否，凭他上文那样的见识，忍不住想到的就是，歪评三国。

谈人工智能，还是人工智能专家靠谱。哲学家企业家媒体人士包括名人（霍金等）很多不值得认真对待。最近有：CCCF：周志华 | 关于强人工智能，周教授这篇言简意赅是人工智能专家的科学普及。

李:
哈哈， quote：“该书的第九章《哲学家和人工智能》主要就是为了挤对哲学家而写的，特别是为了挤对那些对人工智能有话要说的哲学家。这很大程度上也是基于国内大多数理工研究者对哲学的某种深刻的偏见，即：咱们的地盘，哲学家少插嘴。”

看完了。这个长篇评论蛮好玩，作为拼命要介入AI的哲学家的百般自辩，首先气势上矮了半截。@Nick Zhang 终于惹怒了哲学，而且在哲学界得到了免费marketging的效果。

这样见识的哲学家挤对都多余了。但愿还有其他的哲学家高人在。读到最后，我倒是同病相怜地欣赏他的结句：“一切逆风而行者的坚定，均来自对风向转变的信心。” 但仅此一句而已。

【相关】

【语言学随笔：从缩略语看汉字的优越性】

董老师给了一个有趣的例子，发现对于汉语灵活的构词法带来的新出现的类似四字成语的简练表达，所有的巨头机器翻译系统都错得离谱：

“东方日报的上述评论说，以黑护商、以商养政、以政庇黑，警匪共治的恶劣政治生态，已经在一些地区出现。”

这里面很多表达法（以黑护商、以商养政、以政庇黑，警匪共治）蛮新的，很像是缩略语带来的新成语，人还没来得及做翻译样板让机器学，机器自然一头雾水。神经机器翻译的亮眼成就本质上还是人工翻译的成就，人工没翻译过的，再牛的机器翻译也抓瞎。其实这些新成语人理解没问题翻译还是费思量。等优秀翻译琢磨出来最好的翻译并在新语料中出现足够多次相信机器很快就取法乎上比翻译平均水平高是可以期待的（以前说过，成语的本质是记忆而记忆电脑是大拿人脑是豆腐）。问题在语料的搜集更新和重新训练能不能赶上新词涌现并流行的速度。

我自己来尝试翻译一下这里面的成语：

以黑护商、以商养政、以政庇黑，警匪共治

To protect businessmen by using black society
To sponsor politics by businessmen
To protect black society by politics
To maintain social order by police as well as black society

不知道及格否

郭兄说，@wei 我看不及格凡此种种十恶不赦之罪状，被你又是protect又是maintain，还有 sponsor 全漂泊了。中文四个字四个字的，那个味道，也被翻译得荡然无存。

可不是吗，用的都是正面动词（通常描述功能 benefit statement），至少不负面，而原句都是负面行为，满拧，肯定不及格。不急总有高人会信达雅翻译出来，结果机器远超我是铁定了虽然我也学了一辈子英语和语言学。

想起来当年，“抓纲治国” 是我英语口试前遇到的难题（1977年高考口试，抓纲治国的翻译困境在我的一篇《朝花》有记），后来发现官方翻译是：grasp the key link and run the country well，现在回看，绝对算不上高明四字新成语的味道尽失。今天想了半天终于为华主席的抓纲治国想出来一个可能更好的译法。请比较：

新华社翻译是： grasp the key link and run the country well
提议改成：Grasp the key manage the C

如果问什么意思，就解释说：Chairman Hua was following late Chairman Mao's political ideology on class struggle, but at the same time he wants to boost the economy. So he phrased his new strategy as above, which means we should grasp the key-link of class struggle and hence manage the country well,

类似套路的缩略语新成语层出不穷，老的有：

五讲四美（讲文明、讲礼貌、讲卫生、讲秩序、讲道德; 心灵美、语言美、行为美、环境美）
(哈，试了一下有道翻译，是：Five speakers four U.S.)

Five F's and four B's
5 focuses and 4 beauties

focus on manners, focus on courtesy, focus on hygiene, focus on social order, focus on morality；
beauty in mind, beauty in speech, beauty in action, beauty in environment.

三要三不要
3 do’s 3 don’ts

要搞马克思主义、不要搞修正主义；要团结、不要分裂；要光明正大、不要搞阴谋诡计
follow Marxism, do not follow revisionism;
unite, do not split;
be fair and square, do not play tricks

一带一路
官方翻译是： one belt one road

不得其解，昨天才搞明白是中国倡导由中国带头沿着古丝绸之路开发新的经济贸易开发区一方面帮助消化过剩的产能一方面带动区域经济实现共赢让区域内国家分享中国经济高速发展的火车头效益从而树立中国崛起的和平领军形象。

感觉还有更多也许更好的选项反正是成语反正光字面形式谁也搞不清真意总是需要伴随进一步解释不如就译成：

一带一路 ===》 one Z one P （pronounced as：one zee one pee）

怎么样，这个翻译简直堪比经典翻译 long time no see （好久不见）和 “people mountain people sea” （人山人海）了。认真说，Zone 比 Belt 好得多。

One zone one path.
One zone one road.
New zone old road.
New Silk Road Zone.

感觉都不如 one Z one P 顺口。

缩略语方面一般而言英语不如中文灵活多变而且不重样汉字作为独立词素载体的优越性突显了。英语缩略语也可以非常灵活任何常用的ngram术语都可以用首字母缩略简直太自由了但由于字母的本性不是词素而是临时借来代表词素而且一共才有26个字母形式结果是英语的缩略语造成的重复歧义多到了成为行业黑话的程度。

ABC 可以是（i）美国广播公司；（ii）人工智能大数据云；（iii）字母表的代称；（iv）起码知识；...... 以及另外一千种可能性。从术语到缩略语是直通道多对一反过来一对多则把人搞死也无法快速查对搞定徒增记忆负担。

汉字缩略语的撞车现象则急剧减少。虽然汉字缩略语也需要词典绑架才能真正搞清原意不大能从字面意义去蒙但第一，望文生义比两眼一抹黑让人体验好；第二也是更重要的是，基本没有歧义的缩略语查找方便随时可以查对绑架和纠正语义误差。比较：

共党 vs. CP
中共 vs. CCP
解放军 vs. LA
人民解放军 vs. PLA （其实“人民解放军” 中文完全可以缩略为 “人解军”）

为什么英语不能学中文用词素而不是用字母来做缩略语呢？主要原因是英文合成词里面的词素不如汉字词素独立没有汉字词素的灵活性：一个汉字往往对应多个词素语义，在缩略语的场合，汉字还有“变色龙”的词素特征，就是说一个汉字可以临时扩展自己的词素语义临时代表这个汉字本来不具有的语义。这后一个特征英文缩略语里面的字母也同样具有（临时代表的功能），但英语的问题在字母集太小比汉字少了两个数量级，这个表达能力的优越性被其不可避免的歧义性完全遮蔽，反而成了流弊。与汉字词素大体对应的英语词素的平均长度大约四个字母突然退到一个字母来代表可见问题的严重。

汉字使成的这种灵活的缩略语构成法在流行的网络语中被推向极端，譬如：普大喜奔（普天同庆、大快人心、喜闻乐见、奔走相告）。这类有点过分了，几乎转变成完全的黑箱子了（类似黑话行话了），但即便如此，也比英文用首字母缩略的手段高明，因为起码这种东西没有歧义，一查词典即可理解。

当然英语也可以变通，交叉使用字母和词（素），来多少规避一点缩略语歧义的缺点。People's Republic of China 的缩略语 PRC 就远不如混合式 PR China，上面的“抓钢治国”（grasp key manage C），“一带一路” （one Z one P），也是这个策略的体现。

把汉语归类成孤立语，总是带着点贬义似的，应该叫独立语。词素极少不独立和自由的，因此构词特别灵活多样能产。口语中的词素音节落实成汉字以后又因为汉字形式比起语音形式的更具有沉淀性加上汉字数量远多于音节数量使得汉字的表意性更少障碍（望文生义比听音生义更容易）使得其构词能产性和灵活性跨越了时代和地域。虽然说语言学中作为标记体系的汉字系统常被认为是第二位的不过是语言词素的一个载体而已，但汉字的确对汉语有一个非常正面的跨越时代和地域的反作用。汉字的这些方面的优越性是有根据的。

【相关】

谷歌SyntaxNet是“世界上最精确的解析器”吗？

【立委按】老友郭兄盛赞自动有道翻译，说强过我常用的谷歌神经翻译。于是小试一次，翻译一下我自己的英语博客，除微量技术性编辑外，基本保留原译。以飨同仁。

我们都知道，自然语言解析相当复杂，在自然语言理解(NLU)及其应用中起着重要作用。我们也知道，一个突破到90%以上，解析的准确性接近于人类的表现，这确实是一个值得骄傲的成就。然而，按照常识，我们都知道，如果没有任何附加的范围或条件，你必须有最大的勇气来宣称“最”，除非得到了吉尼斯等权威机构的认可。对于谷歌宣称的“世界上最精确的解析器”，我们只需要引用一个系统来证明它是不真实的或具有误导性的。我们碰巧建了一个。

很长一段时间以来，我们知道我们的英语解析器在数据质量方面接近人类的性能，并且在支持真实生活产品方面是健壮的、快速的和扩展到大数据的。对于我们采取的方法，即语法工程的方法，这是主流统计分析以外的另一种“学派”，这是基于架构师的设计和他几十年的语言专业知识的自然结果。事实上，我们的解析器在5年前就达到了接近人类的性能，在收益递减的时候，我们决定不再大量投资于它的进一步开发。相反，我们的关注点转移到它的应用上，支持开放领域的问题回答和对我们的产品以及多语言空间的细致深入的情感分析。

几周前谷歌发布了SyntaxNet，我受到了来自我的许多同事，包括我的老板和我们的营销主管的各种渠道的消息轰炸。所有这些都提请我对“NLU最新突破”的关注，似乎暗示我们应该更加努力地工作，努力赶上这个巨人。

在我自己看来，我也从来没有怀疑过，另一学派在深度解析上还有很长的路要走，才能赶上我们。但我们处于信息时代，这就是互联网的力量: 来自一个巨人，真实的或具有误导性的新闻，均会立即传遍全世界。所以我觉得有必要做一些研究, 不仅要揭示这个领域的真实情况, 但更重要的是, 还试图教育公众和来到这个领域的年轻学者，一直存在也将永远存在两个学派，在NLU和AI(人工智能)领域。这两个学派实际上有各自的优点和缺点，它们可以是互补的，也可以是混合的，但是一个不能完全忽视或替代另一个。另外，如果只有一个方法，一个选择，一个声音，特别是NLU的核心，比如解析 (以及信息提取和情绪分析等)，那么这个世界会变得多么无聊，特别是当大众“所青睐的方法”的表现还远不如被遗忘的那个方法的时候。

因此，我指示一位不参与解析器开发的语言学家尽可能客观地对这两个系统进行基准测试，并对其各自的性能进行一个苹果到苹果的比较。幸运的是，谷歌SyntaxNet输出语法依存关系，而我们的也主要是依存解析器。尽管在细节和命名惯例上存在差异，但在语言判断的基础上，结果并不难对比和比较。为了使事情变得简单和公平，我们将一个输入语句的解析树分解成二元依存关系，并让testor语言学家判断; 一旦有疑问，他会向另一位高级语言学家请教，或者被认为是在灰色地带，而那是很罕见的。

不像其他的NLP任务，例如情绪分析，在那里有相当大的灰色区域空间或标注者之间的分歧，解析结果其实很容易在语言学家之间达成共识。尽管两个系统(输出示例如下所示)所体现的格式不同，但在两个系统的句子树输出中对每个依存项进行直接比较并不困难。(对我们来说更严格的是，在我们的测试结果中使用的一种被称为“下一个链接”的修补关系在测试中并不算合法的句法关系。)

SyntaxNet输出:

Netbase 输出：

基准测试分两个阶段进行。

第1阶段，我们在新闻领域选择了英语形式的文本，这是SyntaxNet的强项，因为它被认为比其他类型的新闻有更多的训练数据。在新闻分析中公布的94%的准确率确实令人印象深刻。在我们的示例中,新闻并不是我们的开发主体的主要来源, 因为我们的目标是开发一个领域独立的解析器来支持各种类型的英语文本对于真实文本的解析，譬如从社交媒体(非正式文本)做情感分析, 以及用科技论文(正式文本)解析来回答“如何”的问题。

我们随机选择了最近的三篇新闻文章，其中有以下链接。

(1) http://www.cnn.com/2016/06/09/politics/president-barack-obama-endorses-hillary-clinton-in-video/
(2) Part of news from: http://www.wsj.com/articles/nintendo-gives-gamers-look-at-new-zelda-1465936033
(3) Part of news from: http://www.cnn.com/2016/06/15/us/alligator-attacks-child-disney-florida/

以下是分析上述新闻类型的基准测试结果:

(1)谷歌SyntaxNet: F-score= 0.94。
(P为精度，R为召回，F为精度召回综合指标）

P = tp/(tp+fp) = 1737/(1737+104) = 1737/1841 = 0.94。
R = tp/(tp+tn) = 1737/(1737+96) = 1737/1833 = 0.95。
F = 2 *((P * R)/(P + R)]= 2 *((0.94 * 0.95)/(0.94 + 0.95)]= 2 *(0.893/1.89)= 0.94

(2)Netbase解析器: F-score = 0.95。

P = tp/(tp+fp) = 1714/(1714+66) = 1714/1780 = 0.96。
R = tp/(tp+tn) = 1714/(1714+119) = 1714/1833 = 0.94。
F = 2 *((P * R)/(P + R)]= 2 *((0.96 * 0.94)/(0.96 + 0.94)]= 2 *(0.9024/1.9)= 0.95

因此，Netbase 解析器在精度上比谷歌SyntaxNet好了约2个百分点，但在召回中低了1个百分点。总的来说，Netbase比谷歌在F-score的精确-召回综合指标中略好。由于这两个解析器都接近于进一步开发的收益递减点，其实没有太多的空间来进行进一步的竞争。

第二阶段,我们选择非正式文本,从社交媒体Twitter来测试一个解析器的鲁棒性看处理“退化文本”: 很自然，退化的文本总是导致退化的性能 (对人类和机器), 但一个健壮的解析器应该能够处理它，数据质量只有有限的退化。如果一个解析器只能在一个类型或一个领域中表现良好，并且性能在其他类型中显著下降，那么这个解析器就没有多大用处，因为大多数类型或领域没有像资源丰富的新闻类型那样有大量标记的数据。有了这种知识瓶颈，解析器就会受到严重的挑战，并限制其支持NLU应用的潜力。毕竟，解析不是目的，而是将非结构化文本转换为结构的一个手段，以支持不同领域中各种应用程序的语义支持。

我们从推特上随机选择100条推文进行测试，如下图所示。

1.Input: RT @ KealaLanae : ima leave ths here. https : //t.co/FI4QrSQeLh2.Input: @ WWE_TheShield12 I do what I want jk I ca n't kill you .10.Input: RT @ blushybieber : Follow everyone who retweets this , 4 mins

20.Input: RT @ LedoPizza : Proudly Founded in Maryland. @ Budweiser might have America on their cans but we think Maryland Pizza sounds better

30.Input: I have come to enjoy Futbol over Football

40.Input: @ GameBurst That 's not meant to be rude. Hard to clarify the joke in tweet form .

50.Input: RT @ undeniableyella : I find it interesting , people only talk to me when they need something ...

60.Input: Petshotel Pet Care Specialist Jobs in Atlanta , GA # Atlanta # GA # jobs # jobsearch https : //t.co/pOJtjn1RUI

70.Input: FOUR ! BUTTLER nailed it past the sweeper cover fence to end the over ! # ENG - 91/6 -LRB- 20 overs -RRB- . # ENGvSL https : //t.co/Pp8pYHfQI8

79..Input: RT @ LenshayB : I need to stop spending money like I 'm rich but I really have that mentality when it comes to spending money on my daughter

89.Input: RT MarketCurrents : Valuation concerns perk up again on Blue Buffalo https : //t.co/5lUvNnwsjA , https : //t.co/Q0pEHTMLie

99.Input: Unlimited Cellular Snap-On Case for Apple iPhone 4/4S -LRB- Transparent Design , Blue/ https : //t.co/7m962bYWVQ https : //t.co/N4tyjLdwYp

100.Input: RT @ Boogie2988 : And some people say , Ethan 's heart grew three sizes that day. Glad to see some of this drama finally going away. https : //t.co/4aDE63Zm85

以下是社交媒体推特的基准测试结果:

(1)谷歌SyntaxNet: F-score = 0.65。

P = tp/(tp+fp) = 842/(842+557) = 842/1399 = 0.60。
R = tp/(tp+tn) = 842/(842+364) = 842/1206 = 0.70。
F = 2 *((P * R)/(P + R)]= 2 *((0.6 * 0.7)/(0.6 + 0.7)]= 2 *(0.42/1.3)= 0.65

Netbase解析器: F-score = 0.80。

P = tp/(tp+fp) = 866/(866+112) = 866/978 = 0.89。
R = tp/(tp+tn) = 866/(866+340) = 866/1206 = 0.72。
F = 2 *((P * R)/(P + R)]= 2 *((0.89 * 0.72)/(0.89 + 0.72)]= 2 *(0.64/1.61)= 0.80

对于这些基准测试结果，我们将它留给下一个博客来进行有趣的观察和更详细的说明、分析和讨论。

总而言之，我们的作为真实产品基础的解析器在正式的新闻文本以较小的领先 (不到两个百分点，两个系统其实都已经接近专家的性能)，在非正式文本中以15个百分点的巨大优势，均超过了谷歌的研究性系统SyntaxtNet。因此，可以肯定的是，谷歌的SytaxNet绝不是“世界上最精确的解析器”，事实上，在适应现实生活中的各种类型的现实世界英语文本时，它还有很长的路要走，才能接近Netbase解析器。

有道翻译 http://fanyi.youdao.com/ 自动翻译自我的领英博客：
https://www.linkedin.com/pulse/untrue-google-syntaxnet-worlds-most-accurate-parser-wei-li/

Is Google SyntaxNet Really the World’s Most Accurate Parser?

K. Church: "A Pendulum Swung Too Far", Linguistics issues in Language Technology, 2011; 6(5)

Pros and Cons of Two Approaches: Machine Learning vs Grammar Engineering

Pride and Prejudice of NLP Main Stream

On Hand-crafted Myth and Knowledge Bottleneck

Domain portability myth in natural language processing

Introduction of Netbase NLP Core Engine

Overview of Natural Language Processing

Dr. Wei Li's English Blog on NLP

【李白86：这是最后的斗争？】

宋:
“严正指出”中，“严正”有歧义；“严正说”中，“严正”无歧义，一定是人名。

李:
宋老师观察真切。这里面有什么说法怎样实现？

“说” 挖了个【human】的坑，人名就跳进去。“指出”也挖了个【human】的坑，所以，“严正”作为可能的人名也可以跳进去，是为歧义。

但作为副词的 “严正” 为什么可以修饰 “指出” 不可以修饰 “说”呢，虽然二者是同一个动词子类。通常的说法是，搭配使然。搭配说的是比类别（包括子类）颗粒度还要细微的词汇之间的语义相谐。“严正” 就是喜欢修饰 “指出”， “指出” 就是喜欢被 “严正” 修饰，对上眼了，之间有化学。这个倒也不罕见也有词驱动的实现方式。难点（或痛点）在为什么 “严正” 不可以修饰 “说”？

相谐的事儿一般认为是软约束，能谐自然好，不能特别谐的话，也可将就着，凑合一辈子的夫妻有的是。难道我们不仅仅要记住搭配，还要记住不搭配？实现的话，就是有无必要，既有搭配的白名单，也要有不搭配的黑名单（谁谁与谁谁就是互相看不上不共戴天）？开了这个黑名单的口子无疑给电脑处理也给人脑记忆增加了负担到底必要性如何？

当然还是大数据好说。如果大数据玩得转容易无缝连接的话，大数据中 “严正指出” 就是个 4 gram 出现频次很高，而 “严正说” 频次很低。但怎么知道前者是歧义后者不歧义？

“严正指出” 频次高因为副动组合出现多，外加少量的主谓组合。“严正说” 频次低是因为副动组合在这里遭遇不搭配陷阱，只剩下少量的主谓组合了。这些东西不是没有统计根据但要理清这些感觉好难。

白:
这里的搭配是词对词的，而不是特征对特征的。比如“老实讲”就没有办法为“严正说”的可接受性做任何贡献。虽然前者在大数据中频次不低。

李:
是搭配说词对词。
词与词搭配背后的关系怎么解？无监督大数据看得见搭配，看不见关系，除非变成有监督让人标注。如果 a 与 b 搭配只有一种可能的关系，当然就无需标注。有两种单看统计就难。

白:
有词典就可以看得见subcat，用不用subcat，（词对subcat或者subcat对subcat）由什么决定。

弹钢琴、弹琵琶、弹三弦、弹吉他、弹曼陀林

李:
打-酱油，吃-亏，...... 这些都是搭配，不用讲道理。

白:
这又离合词了。离合词不需要subcat。但是系统性的词对标签或者标签对标签，不一样。你词典里都有了，就是个拿来用的问题，也不用讲道理。

李:
所有词对词搭配离合不论都是词典绑架，要不要一个不搭配词典？里面全是例外是黑名单。好比两人结婚前请八卦先生算命，看相克不克如果克夫或克妻，坚决不能成婚。

标签对标签就是抽象语法条例。我们都知道那种东西就跟筛子一样到处是眼，但没有它也不行。要鲁棒要召回就要靠它。

白:
不要人来写

李:
于是可以把颗粒度变细，在抽象条例周围，前堵后补。也可以在条例里面做黑名单约束用逻辑与加逻辑非，难看一点但管用。词对标签同理，如果引入黑名单，也可以。这样来看似乎没有必要单单来个词对词的黑名单（不搭配词典）？

白：
否定的统计判断，是排除歧义用的。当没有歧义可以排除，这种东东还应不应该起作用，值得怀疑。

李:
我也怀疑。回到原问题：问题1，是要不要考虑加一个不搭配词典。问题2是，无监督情况下统计上相谐的词如果有歧义统计本身如何消歧？理论上后者也不是非监督就束手无策了。理论上，通过对类似的但不歧义的词与词的统计数据作为参照，可以计算出歧义词的歧义程度和歧义偏向，甚至不排除可以通过某种 propagation 来无监督地消歧。

白：
就算没标记，还可以根据embedding干点啥，还可以协同推荐。

李:
哈正是我想说的。
现如今 embedding 就好像上帝之手，啥事儿都可能，什么戏法都难保变不出来。

今天路上与郭老师还在说这些神奇事儿，翻译如今也不需要平行语料了，就在两个独立的语言语料里面训练，然后把句子一 embedding，二者就相互翻译了。（据说，一个双语的儿童就是这么学会两种语言，并自然切换或翻译两种语言的，儿童并不需要有翻译样板才学会翻译。）

更神奇的是翻译两端也不一定是自然语言， source 可以是语言，target 可以是图片，反之亦然。根据啥？ embedding。这么神奇的媒介语表达难怪人看不懂，人脑只能看懂 symbolic 的东西。

embedding 到底是不是真的这么神奇美妙先放一边，问题是其不可解释性看不懂怎么办怎么掌控怎么纠错。郭说谁让你看懂了？看懂了的东西怎么可能神奇？蚂蚁看得懂人类语言吗？人类读得懂上帝旨意吗？

也许我们天天鼓捣这些看得懂的符号逻辑，算计来算计去，全部是瞎操心，最多也就是过家家儿戏一样。

想想怪悲凉的。

白:
咋改抒情诗了？

李:
30年前入行的时候我们语言所有三拨搞 AI 相关的，每一拨都是中国AI的开山人物（现如今的中国AI史似乎抹去了这一页，其实这些老教授都是让人景仰的大师）：

第一拨是我的导师两位刘先生搞规则mt的，第二拨是范继淹先生的自然语言理解，是传统 AI 那套常识推理的符号逻辑，第三拨是语音合成，吴老先生和杨顺安。当年听马老师同学杨国文学姐介绍范先生小组的那套AI符号逻辑，心里很不以为然，觉得常识和推理很不协调，推理链条又显得太小儿科了，太脆弱（fragile）。无法与我们同属符号逻辑派的mt规则路线比，我们这边不用常识用语言学，接地气多了，而且分析语言也深入多了。那种 AI 果然没成气候几乎绝迹（很长时间 AI 成了一个笑话），规则派苟延残喘算是活下来了，但退一步想我们当年诟病试图利用常识推理的AI符号逻辑，也许就是（或者还不如）50步笑百步呢。符号也许根本就不是必要的手段，更不必谈什么两派大团结大融合。国际歌很悲壮说这是最后的斗争，等价的说法就是这是垂死的挣扎—— 如果世界的本质根本就不是符号的话。

白:
世界本质是波粒二象性

【相关】

【李白刘董85：汉字优越吗？】

李：
想到一个事儿，关涉词素这个议题，语言学基础课里面已经说得清清白白。但在大众认知中，甚至在专业人士的讨论中，还是常常概念不清。表现在那些流行的“汉字优越论”的各种演讲中。

汉字优越论因为与文化自信和民族自豪感搅合在一起，天然政治正确，因此无论怎样拔高、夸赞，无论符合不符合语言学基本原理，都容易大行其道深入人心。其中最流行的说法是，几千个汉字可以表达的概念，比几万个英文词汇表达的概念，还要丰富。

这种说法不能说完全没有道理，但本质上似是而非，经不起语言学基本面的推敲。

要害在，这是苹果与梨子在比较。

汉字是语言材料的最小单位，是词素（又叫语素，morphome）。英文词汇表中的词不一定是最小单位，里面也有复合词（compound：black-board），也有派生词（work-er）。如果是词素与词素比较（这才是 apple to apple comparison），语言之间在数量上的差别绝不会如此悬殊。上面的 blackbooard（黑板）和 worker （工人）就不是两个单独的单位，而是跟汉字一样，一一对应，应该分解为四个语素。

正确的符合语言学常识的说法是，几千个常用的汉字对应西方语言几千个词素（词根或词缀），它们可以合成几万个常用词汇，代表了日常语言中所需表达的概念的绝大部分。

这样一来不就是半斤八两了吗。显现不出汉字的优越性，还是心有不甘。

其实，真要深究，还是可以更加合理地为汉字优越找到一些语言学的根据，而不是人云亦云地拿自家的“字典”（词素表）与人家的“词典”做粗暴比较。

虽然世界上演化这么多年到今天的主要语言，无论东方西方，无论汉藏还是印欧，在这个信息飞速流转的地球村，都有足够的语言材料来表达所需要的概念了，但是汉字为词素的中文还是有一些额外的方便。这额外的方便可以算在汉字优越头上，只是要表达清楚这个优越性，需要一些语言学。

比较英语的词素（词根词缀），汉字为词素的中文，其造词法更具有产生性。

换句话说，国人可以更轻易地“造词”。这也可能是缺点，反正语文老师对小学生“生造词”一直是很不以为然的，过犹不及。他们的责任就是约束学生的造词能力，怕学生没必要地造出太多的词出来，行文不规范。但是，原理上说，这是语言的灵活性和适应性的体现，应该算是优越的语言学特点。

今天听中文网络广播，听到一个超出我的词汇范围的词（术语叫OOV，Out of Vocabulary，其边界因人而异，我的OOV词对于我来说就是“生造”词）“区隔”（后来查了万能的互联网，发现是一个被共同体已经接受的词），因为这词于我是第一次听到，我愣了一下，但很快就从汉字及其关联词汇（“区分”、“分隔”）意会到其语义。这说明什么，说明汉字组词有很强的随意性（明明有常用词“区分”，也不妨再造一个几乎完全等价的词来），对于听者和说者的顺畅交流通常不构成障碍。增加的是灵活性、多样性，以及从灵活性而来的新鲜感（谁愿意老“墨守陈词”）和从多样性逐渐带来的细微差别（nuance）。

为什么同为语素，汉字组合成词，比起英语语素组合成词，更加能产呢？

要起床了。先停下，以后再聊（老话说，且听下回分解……）。

刘:
@wei 我对汉字优越论也持怀疑态度。不仅仅是你说的原因。我觉得汉字的表义性对词义的理解有好处也有坏处。好处当然是可以减轻学习新词的负担，看到新词也容易猜测意思（如你所说英语词素也有类似作用）。但从另一方面来说也会带来坏处，就是容易望文生义。有些词义仅从字面解释容易造成误导，另外一个坏处我觉得是带来翻译的困难，这一定程度上阻碍了外语新词的传入。

白:
“电脑”的命名跟汉字的优越性不知道有没有关系。

刘:
前不久还见周志华在微博上吐槽把Robot翻译成机器人使得这个词在中文里面的意思发生了变化

白:
还有，intelligent和smart都翻译成智能，中国凑AI热闹的人群一下子大了好多。

魯:
嗯嗯，Robot建议翻译成“若博”，信达雅.... 哈哈哈哈

白:
“肉薄”貌似也可以。

董:
把翻译中出现的瑕疵或缺陷，都算在汉字的“不优越”头上，欠公平。别人也许会举出“可口可乐”、“出水芙蓉”等来说“优越论”。其实，一种语言都有自己的特点，有好的地方，也会有不足的地方。汉语重义，英语重形。在思考和研究语义时也许可以更多地借重汉语。

姜:
有个机构试图把“Internet”翻译成“因特网”并强力推广，但大家都不认，都觉得叫“互联网”好。“互联网”易于理解，不必另造新词，民间其实也早就一直这么说了。

李:
@刘群很同意，这正是我想要说的。

构词的灵活是很大的优点，也有副作用。不过，正反比较，我还是觉得，好处大于缺点。我这么说，除了源于汉字这个现象的思考，还源于我对世界语构词法的观察和研究。柴门霍夫对于构词法的设计，与汉字构词非常贴近，但更加“优越”。其结果是，学会几千个语素以后的世界语者，都可以随心所欲造词。副作用是，每一个造了新词的人，都留下了争论的空间。

根子在：新词所对应的概念到底是黑色的（必须最终通过词典注册来绑架），白色（透明）的（完全是compositional），还是灰色的（介于二者之间）？

譬如，电脑不叫 komputero，可以临时造一个词叫 kalkul-ilo（calculator），留下的争论空间就是，你到底是指的 “电脑” 还是 “计算器”？

再如筷子不叫 kuaizio，可以生造为 “mangh-ilo”（用餐工具），留下的争论空间就是，到底是 “筷子” 还是 “刀叉” ？

白:
我觉得望文生义出现误差是免不了的。

李:
对啊。
好在在说话的现场，这些误差和副作用会自然消解，所以，富有造词法灵活性的语言譬如汉语和世界语，还是长处大于短处。对于严谨的场合，譬如学科论文专利文书，这种灵活的透明造词法，常常让位于黑箱的新词，所以专业术语最好是音译（等价于生词）或直接用外文，或者起码在透明翻译后面再括号里注明外语的等价物，凸显其黑箱子特性。因为是黑箱子，留下的争论空间没有了。必须先给这个新词做一个定义，杜绝了望文生义的可能性。

白:
临时词就没有是否“地道”一说了。比如“马桶抽子”，是不是一定叫“抽子”不重要了，指出是疏通工具，就够了。

李:
所以，我同意董老师，汉字的表意性，及其汉语的自由度很大的造词法，大面上看是一个很大的长处。不求甚解，一般比两眼一抹黑好，至少对于人这点可怜的脑记忆量。到了电脑，再大的词汇都不是问题了，但词典是要“绑架”才有定义的，这个绑架的工作就不得了。好在最近有个深度神经的好东西，word embedding，有点神奇，可以在定义绑架这件事儿上发力。前提是那些个生词要有足够的大数据垫底。

白:
辅助望文生义的话，战斗机器人叫“肉搏”，对话机器人叫“若博”，那啥机器人………、

李:
需要的不是带标大数据，本质就是 clustering ，非监督的，所以还不真正构成太大的知识瓶颈。原理上属于 propagation，自动从有知推展到无知。

白:
非监督是正解

董:
说到翻译，还有“马桶”。一个不好的翻译例子是“抽水马桶”（flush toilet）--别误解为用来抽水的、像抽水机那样的用具。因为V+Nde结构，多数可以是用来V的N.

白:
往里抽不是往外抽

李:
马桶幸好是常用登录词，每个人的词典都内在绑架了，所以看上去透明的，其实是黑箱子。万一一个老外新学汉语，或者一个儿童第一次接触，就糊涂了，这与马这个词素有什么关系呢？

白:
@wei 跟“扎马步”不知道有多少关系。

李:
马桶为什么不给马用而是给人用呢？好处是半透明，即便老外不懂为什么有马在里面，起码能蒙对这是一个桶一样的物件。

沙发和软椅也是如此。后者黑箱子，必须扩大词汇量。前者不用，但。。。

白:
从“马拉松”到“半马”“全马”“北马”“厦马”，洋词儿变地道的土词儿了。
不是捆绑那么简单，有内生的能产性最恐怖了。

李:
“半马”“全马”“北马”“厦马”等，对于我还是要登录（记忆）捆绑才能理解。大概谁开始说大半马，也许我们不用捆绑也悟出来了。

白:
捆绑+派生+简化.

有了例子，后面就是泛化了。京巴，也有点这个感觉,其实“大巴、中巴、小巴”究其根源也是这种类型。

【相关】

【语言学随笔：汉字优越吗（1）？】

想到一个事儿，关涉词素这个议题，语言学基础课里面已经说得清清白白。但在大众认知中，甚至在专业人士的讨论中，还是常常概念不清。表现在那些流行的“汉字优越论”的各种演讲中。

这种说法不能说完全没有道理，但本质上似是而非，经不起语言学基本面的推敲。

要害在，这是苹果与梨子在比较。

这样一来不就是半斤八两了吗。显现不出汉字的优越性，还是心有不甘。

比较英语的词素（词根词缀），汉字为词素的中文，其造词法更具有产生性。

为什么同为语素，汉字组合成词，比起英语语素组合成词，更加能产呢？

要起床了。先停下，以后再聊（老话说，且听下回分解......）。

【李白王董84：再谈POS迷思，兼论 PennTree 的误导】

王:
动词名化确实不好处理的难办事，以前做词性标注，准确辛率不高，就栽在这，n，v，vN上了，还有区别词b。当然现在语法理论，一个小小助词“的“就有管住核心谓词的能力，使之由V变N。

白:
A、“粉红凤凰”，B、“红绿色盲”，C、“真假和尚”。
A、粉修饰红，粉红修饰凤凰。
B、红绿并列，但并不是用本意的叠加修饰“色盲”，而是用不能区分这两种颜色来定义色盲的具体类型。
C、真假并列，通过分配律把共享中心词“和尚”送给二词修饰，表示“真和尚、假和尚”。
修饰成分间的关系很不简单呢。

李:
我对 b 的第一解读是 c 的并列
看了讲解才悟出来也许还有 nuance
感觉差异已经细微微妙到很少需要在意区分的程度了

@wei wang 中文中的所谓动词名物化 nominalization
很大程度上是一个伪问题一个语言学迷思
强加到 POS 模块作为其难点更是一个自找的麻烦
工作学习睡眠吃饭下雨打雷
这些词类别很清晰

王：
@wei，对此我也迷惑

李:
（逻辑）动词万变不离其宗没有 POS 区分的必要性

Wang：
这点我同意李老师。所以，我说现代语法理论，是否需要调整一下？只是不敢妄论。
如果都能走对，倒无妨，就怕转得有对有不对，就确实是问题了

李：
在 POS 先于句法的通常架构里
把句法的不同用场强加到 POS 标签去是真实世界的天下本无事 x人自扰之。
真有好好的路硬是自己挖个坑然后就自己跳进去然后抱怨路不平。

王：
当然，我现在已经跨越POS这个，不使用POS而直接走句法了。不过对别人而言，这词性标注依然存在。即便标注，我也认为动词体征的，就一直动词体征走向去，比较好。

李:
汉语语法学界上世纪50年代的词类大争论，大争论当年没争出结果来，是时代的局限。

王：
我的看法是，也不去争论。

李:
词无定类（“词无定类入句而后定”）走向一个极端，无法服人，但其思想有闪光之处。

王：
而是拿到系统中去跑，能跑得好的，自然就是好的，至少这正是我们所需要的

白:
结构强制在技术上一点不复杂，问题是算句法还是算词法，但这都不是技术问题，是旗号问题。旗号与我何干？

王：
至于语言学方面，那是另外的一回事

李:
对于具有 consistent ambiguity 的词，
本体上就是无定类，但是一说“词无定类”就扩大化了，以为所有词都是必须要句法，要上下文，这就陷入了鸡和蛋的死循环，当然不能服人。
这个迷思从哲学上不难看穿。可是实践中却坑了人太多太久而且还继续在坑人。

王：
@白硕说的是，确实不是技术问题

李:
如果一个东西在有些场景下看着是红色有的场景下看着是黑色
自然的结论就是给个 X 的本体标签，让 X 统辖红黑两个标签，至少这个信息的外延是清晰的，是红黑的区域，不是蓝不是绿不是紫等等，这才符合事实恰如其分。

王：
这是否分两种情况？
1)本来是多义词，兼有多种词性的；2）已经定了就一种（比如纯动词），走着走着，变了，

李：
不说多义词。多义词（细微差别不算）那是两个词，凑巧长得一样了，其归属自然也可能不同。

王：
嗯

李:
只说 2）
2）没有 POS 半毛钱的关系。
汉语中的 POS 任务中纠缠了几十年，原来一开始就把任务定义错了。

王：
请问，那么怎么“ X 统辖红黑两个标签”

李:
对于我们讨论的动词名物化，这个 X 就是 V，可以读成逻辑动词。这个 V 是词典给的，没有歧义，何用区分？

王：
嗯

李:
到了结构里面做了主语或者宾语，它没有改变 V 的本性：词义没变，归属自然也没变。所改变的是句法 role。

王：
同意

白:
没有X统辖那么简单。以“出版”为例，被赋予了动词特有的零碎，比如加“不”，仍然可以再通过“的”强制为名词；但是反过来，已经被名词特有的零碎强制过的，不可能再被强制回动词。
本性是动词，强制为名词，然后就凝固了，不接受变回动词的再次强制。

李:
没问题啊。
这些个细节与标签没大关系，标签还是 X。只要词义不变，标签就没有道理变，这是本体 taxonomy 决定的。词义变了，标签有可能变。在同一个词义下给不同的POS标签，对于汉语这样缺乏形态的语言，是不合理的。

王：
我的看法是，不去改变词性
这本书的出版，----出版依然是动词，---可以看作是一个成句中谓词
这个成句，是一个小句（子句），可以做主语，或宾语，这样，句法上也顺上了，而且，词性也没去改变

李:
换句话说，汉语这样的语言，POS 应该用的是逻辑类

白:
问题是啥叫词义变。“真孙子”里面的“孙子”，我感觉词义变了。

李:
世界上所有的语言的词汇，都有逻辑类。这是语言共性。但是形态语言在逻辑类之上，经常使用形态变换，把逻辑类穿上不同的衣裳。穿得好的话，可以脱离场景做句法。例如俄语，morphology 很大，句法就简单了。极端来说，别说 POS 标签，就是本质上是上下文结构决定的 role，也可以脱离上下文在词上反映：宾格就是宾语 role。

王：
同意@wei 在同一个词义下给不同的POS标签，对于汉语这样缺乏形态的语言，是不合理的。

白:
填坑使用的不应该是逻辑类，应该是角色。比如“这本书的出版怎么没通知我”当中，“这本书的出版”填坑时就是N。“这本书出版怎么没通知我”当中，“这本书出版”填坑时就是S。

王：
这本书的出版----看作一个小句，小句也相当于名词作用。出版--作为一个事件出现
事件--->没通知我。

李:
填坑不外两点：
1. 句法上要的是什么形式（包括标签或子类，或直接量），这是输入条件；2. 语义上是什么 role，这是输出角色，是“理解”的形式化。不能混淆输入和输出。输入条件用逻辑类，没有问题。句法的工作，起点就是词典信息。逻辑类是词典信息的重要方面，是词典本体信息体系里面层级最高的那几个标签。

白:
但，“通知”的内容那个坑，就必须是个X，混儿。见人说人话见鬼说鬼话。

李:
“出版”的坑：
（1）第一个坑
输入条件：publication （本体链条属于逻辑名词）
输出角色：【受事】

（2）第二个坑：
输入条件：human_or_organization
输出角色：【施事】

这才是 “出版” 的真实面貌。至于语言应用中，上述类似 HowNet 定义出来的 subcat pattern，应该如何松绑输入条件来应对鲁棒与活用，那是另一层面的勾当。

王：
就是说，不能因为一个“的”字，把本来清晰骨架，垫走了样。

李:
“通知”的坑：

（1）
输入条件：thing_or_event

(这就是白老师所谓变色龙，其实本体链条上，不过是在逻辑n与逻辑v上，再抽象一个统辖的 n_or_v，thing 就是逻辑名词的通俗表述，event 就是逻辑动词的通俗表述）

输出角色：【content】

（2）第二个坑是施事【谁】
输入条件：human （具体语言还有格、词序、介词类的条件制约）
输出角色：【施事】

（3）第三个坑是对象【向谁】
输入条件：human （具体语言还有介词、格、词序类的条件制约）
输出角色：【对象】

回来总结一下：坑里面使用逻辑类或者逻辑类下辖的子类甚至直接量（等价于具体词义搭配）是天经地义的。至于这些条件的松绑，所谓 preference semantics 那是语言应用中的窍门。为了鲁棒必须松绑，松绑会一步步从具体逻辑子类，向高层的逻辑类去。

王：
同意李老师

李:
HowNet 是独立于语言设计的，它的最上层 top 节点其实就是逻辑类，event 就是 v
thing 就是 n。其实还应该再往上走一步，thing_or_event，但反正有 OR 算符，所以走不走也无所谓了。

白:
可以看成一个lattice，and就低不就高，or就高不就低。

李:
HowNet 其实是两个东西在里面。第一个是本体，董老师对人类认知和常识体系的总结和设计。第二个是语言落地（汉语，英语，......）。这第二步是通过给汉语词汇标注 HowNet 本体标签的方式实现的。这时候的本体已经落地到具体语言了。

白:
修饰语隐含的被修饰语和真实的被修饰语做or

李:
PennTree 在英语NLP中已经很多缺陷，时代的局限，误导了很多人。

白:
总感觉HowNet不完全满足这个架构

李:
PennTree 的那一套标准用到汉语更是误导，不如直接用 HowNet 来作为标准。

白:
想都不要想，肯定不会用PennTree

李:
至于选取 HowNet 顶层或者中上层的哪些标签作为中文 POS 的任务，可以再议。POS 选得细了，就几乎等价于 WSD 任务了（事实上，白老师很多时候在讨论中就是把二者看成同一回事儿，道理很显然，WSD 说的是词义区分，词义的taxonomy 链条就是逻辑词类）。

王：
现在很多评测都是以宾州树库来做基准的。我也想过，就算那个F值即便很高，那么真实应用就是那么高的吗。

李:
HowNet 在语义领域可以独树一帜，能够站得住，相信也能够经受时间，其中原因之一，是由于董老师是中国人，讲的是“裸奔”的汉语。裸奔的汉语与逻辑最贴近，有自然的亲密关系。这对排除语言的干扰，从逻辑的高度审视语义，有天然的好处。如果要讲中国人对世界文明作出自己的独特贡献，HowNet 可以是一个代表。

王：
李老师对其他语义词典是如何评价？

李:
哪些？

王：
比如wordnet ,同义词词林

李:
早就不用 WordNet 了，麻烦比好处多。擦不完的屁股，以至于用了两年后，不得不全部推翻，宁肯自己零敲碎打，不完备，增量积累做语义标签，也不愿意陷入 WordNet 泥坑。

王：
主要是想说直接是树状，而非网状的这类

白:
标签体系必须是DAG

王：
分类体系做得不好，还是后期建设不好，比如冲突出现？

李:
其实 WordNet 是可以改造得好一点的好用一点的，但只听说有人说改造，但没见到有人愿意坐冷板凳去真地改造它。

白:
标签体系的数学基础，一是type theory，一是lattice。lattice解决单类型的上下位问题，type解决复合类型的构造问题。

王：
上下位好理解，这复合类型就不好理解了，请白老师讲解

白:
@wei wang 带坑呗

王：
明白了，我还以为复合类型，穿插把不同上下位的分支。又结成了网

白:
上下位是为不带坑的type准备的，带坑的都是复合type。

王：
@白硕带坑是一个词带n个坑，这几个坑是另外的词

白:
@wei wang 对的

王：
是否有的词，本身就自己萝卜和都带了，这样的词如何分类？比如一些成语

白:
标签也分层。微结构，比如“扫地”，合起来是一个坑，微结构又可析出一个萝卜一个坑。

李:
subcat 既是子类（atomic 的标签），也蕴含了潜在的结构pattern，说 vt 其实是说有这类动词子类挖了个宾语的坑。

白:
地不扫，何以扫天下

王：
@白硕那看成一个整体，仍在统一分类体系，

李:
HowNet 开始用的时候也有问题（有些问题与 WordNet 类似，没那么严重），给董老师反映过。问题的根源在董老师需要一个逻辑完备自足的义元体系，为了这个自足和完备，标注的时候就务求细而全。

HowNet 中的一个个单字的标签特别丰富，特别细，把这个字（词素）各种可能语义都反映了，甚至包括只存在于 idiom或合成词中的词义。这其实给使用带来很多噪音。我一开始是试图删减。后来发现对于单字的标签，删不胜删，最后决定索性单字的标签不用。要用的自己临时增量式加入，宁肯 under labeling，不能 over

王：
@wei “后来发现对于单字的标签，删不胜删，最后决定索性单字的标签不用。”
单字，是义原的核心，就是不用单字最基本的，而直接使用信息能独立的，更有代表性？更便于处理？

李:
不好用啊。很多汉字看上去不过一两个词义，结果里面标了五六个词义，仔细想确实都存在。但是用起来就是眉毛胡子一把抓了。

王：
嗯，我觉得建造体系可以这样建，想怎么用就是应用来选了

李:
如果这五六个词义的确都是自由语素的词义，虽然统计上出现频率不同，但逻辑上这样标注没有问题。但有些词义从来不作为自由语素的语义出现，只存在于合成词中，那就没有理由标注了。这个问题，董老师后期版本有了 config，可以筛选。做了弥补。这个问题在 WordNet 中更严重。

王：
嗯，谢谢李老师，白老师的解答。时间不早，明天上班，我先拜拜。

李：
晚安 @wei wang

王：
晚安！真的我还没聊够的感觉，特别是，语义分到什么类别，很关键，对系统有很大影响，也深有体会

白:
据我的经验，先别说具体类别，先说长什么样，更容易把握。数学上什么样，计算机里什么样。实体、属性、关系、值，这是一个层面。事件是另一个层面。时间空间因果模态，又是一个层面。知网中很先知先觉地引入了“变关系、变属性、变状态”等事件子范畴，相当高明。真的很赞.

董:
讲一个真实的故事。1988年由日本发起的五国机器翻译项目正在进行。在一次饭桌上，日方的项目负责人内田裕士谈起该项目的语义研究落实问题是说："这个项目的语义研究，是不是请中方负责，具有中华文化背景的人对于语义有更高的敏感性。"
只是觉得只要由中方来负责，总归是好事情。我就表示同意了。可是对他的那句有关“中华文化背景”的断语，还真没有完全理解，但饭桌上也不适合讨论下去。后来时隔近20年，内田先生来北京，那次我们只是几个人一起吃饭。我问他：“你还记得20多年前，我们在讨论MMT的语义研究时，你说过一句话。你说'具有中华文化背景的人更适合做语义研究吗？我一直想问你你为什么会这么说呢？'”
他说的很简单："因为是你们有汉字"。那时候我已基本完成了HowNet的研究和开发。HowNet正是以汉字为理念依据的。前两天我跟李维讨论。说到洋人不懂汉语，跟他们讲深了他们不理解。

白:
这些要是落在知识图谱里，不得了。

【相关】