分类： 中文处理

白:

him为啥指he而不是the police officer？按照“最近提及原则”，the police officer在栈顶，“he”在次栈顶。但，语境（图片）表明，“he”在牢狱中，事理指向出狱（go）。事理决定了police officer可以决定he是否go，bribe可以左右police officer的决定。这些事理指向，一旦达到边界强度，可以压制最近提及原则的标配结果。

李:
"He bribed the police officer to let him go" is like "He requested the officer to find him". "him" cannot refer to "the officer", it has to be somebody else, either "He" or someone else.

cf: "He requested the officer to find himself"

"himself" refers to "the officer".

白老师的道理是说语境（事理）可以突破 heuristic。凡是 heuristic 都只是一种趋向，一种原则，也都有例外，都有被其他因素override 的可能。这个道理是对的。但这个案例，却不需要语境出场，这是句法绑定（binding）本身就决定了的。

"bribe" 的subcat 是：bribe sb to do sth, so "sb" is the (logical) subject of "to do",
the object of "to do" cannot refer back to the subject unless "self" is used following the Binding Theory.  So in the coreference list, "the police officer" is not even registered as a possible candidate.

句法就排除了这种可能，因此也就没有什么就近原则与语境发生冲突的故事了。这是乔姆斯基的绑定理论的一个典型表现。不确定绑定的是谁，而是确定不能绑定的是谁。

白:
穿透了

李:
显示了句法的有限但是有效的作用。

"She bribed the police officer to let him go", now the subject is "She", still "him" cannot refer to "the police officer".　It has to be somebody else.

白:
him就是第三者，非反身性。

“John asked Bob to wash himself.”
“John promised Bob to wash himself.”

当年德国老师讲过这两个例子

李:
right.
this diff lies in the diff in subcat patterns. "promise" is not associated with the standard subcat "promise sb to do sth" when "sb" is the logical subjecct of "to do", it is instead associated with another subcat "promise to sb to do sth" when the logical subject of "to do" is the same as the subject of "promise".

所以句型不仅仅是形式序列: Input 形式背后作为output的逻辑语义也是句型的一个必要成分。上述两个形式相同的序列，在句型上被认为是两个。分别用不同的subcats 在词典里面标识。可见，subcat 虽然是一个句法范畴，里面却藏着通向语义的钥匙。

语言学里的subcat 差不多是大半部句法了，是极为重要的概念。词典主义被公认为最有效的自然语言策略就是基于subcat。这是语言学隐性形式手段的最漂亮的体现，是上帝的杰作。

白:
“我答应你离开他”，“我要求你离开他”。前者是“我”离开，后者是“你”离开。在“答应”和“离开”进行“合并”操作的时候，“离开”没有饱和的坑向“答应”的逻辑主语开放复用。在“要求”和“离开”进行“合并”操作的时候，“离开”没有饱和的坑向“要求”的逻辑宾语开放复用。这种在合并时可以对复用指向提出要求的禀赋，潜藏在词典里。平时看不见，合并时露峥嵘。

李:
正是。这是语言（学）的奇妙。由于subcat是一种词典分类或标注，是隐性形式，这似乎是创造语言的上帝给人类理解语言出了一个小小的难题。在人类（语言学家）没有发现subcat或自主利用subcat机制之前，语言处理注定是混沌的、粗线条的。但无论发现还是没发现，人类千百年来一直在潜意识里利用它，无障碍地交流。

白:
“面包我答应你吃掉了，牛奶你就别逼我喝了。”　即使填后面动词坑的萝卜移位到前面，这个关系依然成立。即使“你吃掉了”这么天衣无缝也不许结合。

李:
这个句子很妙。

白:
binding在汉语里会有更广阔的发挥空间，而且和“词负载结构”的理念是如此之契合。残坑就是一种变相的指代。

李:
但是，coreference主体是discourse范畴，binding不过是想利用句法提供一点帮助，它还是局限于句法本身的范围，句内。句内能搞定的只有self, 句内不能搞定但是可以排除句内candidate的，句法也有一些助益。再多，binding 就无能为力了。Coreference在 binding 之外，仍然有很多 discourse 的挑战。是一个公认的 NLP 难题了。

白:
“你我不允许走，他么可以商量。”---如果后面的动词是不及物的，即使逻辑宾语提前了仍然受到与在原位同样的约束。

李:
什么约束？

白:
走的不是我，虽然离得近。

“一个嫌犯我们也不允许放过”，“我们”似乎要通吃呀……　难道“允许”是个双性恋？

李:
句型纠缠？　一个也不 Vt　＝＝　一个也不【被】Vt
“一个也不（被）买”，“一个嫌犯也不（被）放过。”

“一个嫌犯我们也不允许放过”
＝＝“我们不允许放过一个嫌犯”
＝＝　“我们不允许【ｈｕｍａｎ】放过一个嫌犯”
＝＝　“我们不允许一个嫌犯（被）放过”

这个【ｈｕｍａｎ】是谁，不知道，也不必知道。这是一种命令，常识上这个【ｈｕｍａｎ】可以是任何人（在domain里可能指某些“手下”）。任何人也就可以包括“我们”自己，但这不是严格的回指，而是包含。

“我们也不允许自己或任何其他人放过一个嫌犯。”
“我们也不允许任何人包括我们自己放过一个嫌犯。”

【相关】

【语义计算：李白对话录系列】

《朝华午拾》总目录

白:

“张三踢李四的两脚李四一直惦记着啥时候提回来呢。”

如果“两脚”填的不是标配的坑，这定语从句的反填就成了问题。目前我是把“两脚”这种动量词先处理成N，再升格成为+S，可以理解为一个自带宾语的虚拟后置修饰语。当对“两脚”使用定语从句修饰的时候，可以认为自带的宾语“两脚”与作为其母体的虚拟后置修饰语进行了某种分离：虚拟后置修饰语“+S/N”留在了定语从句内部，而它自带的宾语“N”则被甩到定语从句的外边，被修饰且可以反填残坑“/N”。同理，在“武松打死老虎的那三拳力道大得惊人”中，“三拳”也填不了“打”的标配的坑，只能理解为自带宾语的前置虚拟修饰成分（“打死”已经是述补结构不再能后置只修饰“打”的动量修饰成分，从而必须往“打”前面放）S+/N和动量结构N分离了。就是说，被定语从句修饰的动量词N，无法简单地升格为+S或S+，而必须要还原出一个带宾语坑虚拟修饰语+S/N或S+/N，把它推入定语从句。这恰恰才是N升格为+S或S+的本质。如果不是反填定语从句的要求苦苦相逼，这个本质差点儿被掩盖了。可以理解为先有“武松（凭借）三拳打死老虎”，而后有“武松（凭借）打死老虎的那三拳”，最后变成了“武松打死老虎的那三拳”。

说到“凭借”，想到了“借以”。后者是中间抽空了介词宾语的合成词。“武松借以打死老虎的那三拳”是“武松借（那三拳）以打死老虎”的定语从句形式。反填的坑，就在“借”和“以”之间。

李：
工具格，或 所凭借。

白:
有的时候，这个坑会显性化，“借之以”。
砍、剁、刺、砸等动作，工具格是标配。打、抢，工具格不是标配。非标配又不显性带介词的工具格，必须借升格处理之。

李:
工具格有搭配性与非搭配性两种：搭配性工具 因为其搭配 常常省略显性小词 如“凭借”、“用” 等。“打 两拳” 是搭配，“两拳”是工具。“用板凳 打”，则是非搭配性工具。

白:
“他抢银行的那把玩具枪”
意思是“他（用以）抢银行的那把玩具枪”

李：
“他抢银行的那个案底”

白:
“案底”是N/X，不需要反填，是动词填X。

李:
“他抢银行的那个同伙”

白:
“同伙”是N/N

李:

“他抢银行的那幢大楼”
“他抢银行的那个时间”
“他抢银行的那个缘由”
“他抢银行的那个后果”

白:
缘由、后果也是N/X。大楼、时间不是，但内置虚拟修饰语。必要时就分离出来，塞回定语从句。同伙、缘由、后果、案底，都带坑。时间、大楼、动量，则是内置一个随时可以分离的坑。或者叫虚拟小词。

李:
“他抢银行的那个x”
对于非搭配性（标配）的工具，也分为两种，一种是这个实体本身具有比较典型和普适的工具性。算是一个名词子类吧。另一个是不在这个子类的名词。对于后者 如果想表达工具这个逻辑语义，就必须用小词。否则它就没有证据或痕迹显示自己的工具角色。“他用希特勒主义去抢银行”。这个 “用” 不能省。因为 “希特勒主义” 第一不与 “抢银行” 有搭配，第二它自己也不属于工具子类。语言必须要用显性形式，譬如次动词“用”，或者俄语的工具格的词尾形式，来标记其逻辑语义，否则心里的语义无以传达。

白:
“抢银行”换成“治理国家”，“用”就可以省了。

李:
那是因为 “主义” 与 “治理” 有某种搭配的呼应。

白:
且不说逻辑语义，统计就支持这样的搭配

李:
没有统计的搭配不存在 除非说的不是大数据。

白：
不说“主义”，就说“那一套”，也可以省掉“用”，因为“希特勒”已经是足够强的搭配因素了。

李:
“他用那一套糊弄谁呀”
“是啊 那一套糊弄谁呀”

白:
“那一套”隐含“方法/无形工具”
所以，对于从名词反推虚拟修饰语的“升格-分离-反填”机制，形式规则只提供可能性，统计搭配才提供现实性。

上面说错了，“升格”都应改为“降格”。降格虽是普适的机制，但只能紧邻被修饰语使用。分离是受统计显著性搭配条件才激活的，只有成功分离，才能在后续纳入正常的反填渠道处理。

被定语从句修饰的中心语，N/N与N/X的区别。前者从N栈依次寻找搭配的词语填坑。后者从N和S混合栈里的依次寻找搭配的词语。二者都服从“最近提及原则（last mentioned principle）”，但针对的栈不同。因为都在定语从句辖域内，这些填坑的萝卜都是使用的免费额度，无论S还是N。

李:
在我的体系里，arg 降格为 mod，【工具主语】 降格为 【工具状语】。如果 topic 是人，subject 是工具，topic 可升格为逻辑主语 arg，工具 subject 则降格为状语 mod.　“他一巴掌打了她”，“他”是逻辑主语，“一巴掌”是工具状语。

总之，逻辑语义虽然放之四海而皆准，自然语言却老在升格降格、显性隐性形式中变化多端。语言世界因此诡异而多彩。

白:
话头是宋老师“达成的一致”引发的。“一致”在宋老师的例子里确实是“升格”，但后续关于动量词的例子里，讨论的都是“降格”。N+到N、S+到S是升格；N、S到N+、S+或+N、+S是降格。一个是萝卜皮变成萝卜，一个是萝卜变成萝卜皮。

李:
“达成的一致” 就是 “洗的澡”

白:
？学的习
？高的考

李:
不好
有如 * “浏的览”

白:
洗的澡是自指，达成的一致是转指。

？收获的丰硕
？贪污的巨额

最后一个接近于能说。

取得的圆满

这个就完全没问题了。“圆满”基本可以类比宋老师例子里的“一致”。

赶过的时髦

“时髦”比“圆满、一致”还顺溜。几乎不是临时借用N而是固化的N了。

【相关】

【语义计算：李白对话录系列】

《朝华午拾》总目录

刘：
【在中国被二奶搞成少数几个男的开会被嫌弃的车型之一】哪个句法分析器能把这个长定语分析清楚我就服我自己都看了好半天才明白过来

董:
别说分析，这句子看着就已经服了。

梁:
我看了好半天也没明白。

白:
关键是“开会”分词错误会干扰。

董:
“知识图谱实际有国界说”的例子耶！我想在别处，没有那么多二奶的过度，就完全不理解了。所以是有国界的。就算没有了句法上的别扭，没有二奶的国度的人一定也会莫名其妙的。

白:
这句子的坑，一是分词错误的干扰，二是“开”与“车”的远距离强关联被紧密结合成词的“车型”所冲淡。

刘:
【在中国被二奶搞成少数几个男的开会被嫌弃的车型之一】几个陷阱：1.“开会”应该切开成两个词；2.“开“的受事是车，离得太远；3.”几个男的“，几个是指车型，跟男的没有关系；4."被嫌弃的车型”，被嫌弃的是男的，不是车型。
太复杂了。

白:
看见了“车型”，有多少分析器还能同时看见“车”？
还有一个干扰，就是男的被谁嫌弃。“二奶”是先行词，而且是“男的”的相对词，所以产生“男的被二奶嫌弃”的短暂错觉。其实句中的意思是，买了送二奶开简直成了标配，男的自己开反而成了异类，受到其他人的嫌弃，
各种干扰，谁攒出来的，牛啊

“在中国被丈母娘搞成少数几个男的不送房就结不成婚的大城市之一。”

刘:
微博上真实的语言例子

严:
@刘 【在中国被二奶搞成少数几个男的开会被嫌弃的车型之一】，除了你说的四个陷阱，此句在“车型”之前还达到了七块临界。1搞成2少数3几个4男的开5会6被7嫌弃8的

刘:
七块临界我理解是指理解句子的时候记忆负担的一个阈值，应该只是心理学上的经验值吧，不知道有没有理论依据？这个句子如果画依存树我怀疑可能是非投射的

严:
陆丙甫教我的，发现遵循得很好。那些难懂的法律条款常有此通病。

梁:
我体会翻译或写作时，应该尽量把长句子 breakdown 成若干短句子，尽量把头重脚轻的句子变成 balance 的，尽量把一层一层嵌套的从句简单化。 语言表达的简洁清晰，应该是一种追求。数学语言，无非是表达方式之美。文化基因，如果想让它们容易传播出去，一定是简单的和自明的。做科学传播的，也许应该注意这个。

白:
@严 “被”，和“嫌弃”，是可以结合的，被，在省略介宾的情况下直接做状语。所以数目可能没超。

Me:
数目超不超 那都是一个极端的例子 离开 “不是人话” 不远了 不值得花太大力气。

白:
一顺手就灭了也未可知

Me:
遇到此类句子 我通常采这个态度：

1 看看极端例子能有什么功能性启发
可以实现新功能或加强已有功能 但不必一定要灭了它

2 现有的parser 做一遍 结果错了 但错得 “有理” 就好。

所谓有理 是按照系统设计 所走路径 是预期之内。譬如“开会”的强搭配距离近，系统就不给远距离的“开-车（型）”以机会。这类“错误”就是预期中的正常表现，如果不这样“错”，反而要警觉了。总体来说，对这两个“人也觉得很绕”的句子，分析器表现要正常。原则上不需要为这些outliers特地去“改进”：不仅是费功问题，更主要的是要严防弄巧成拙。关键是 预期之外隐藏一种危险，无论结果好坏。其实很多乍看出乎预期的好的表现，其实还是预期内的，可预期性是符号系统的本性吧。狗屎运是玩笑话 多数狗屎运 心里明白不是狗屎 也不是运。稍微思索两分钟 其实还是在预期之内的。符号主义的实质是 系统可解析。不能解析的符号主义行为 表明系统处于失控的边缘。

姜：
请教一下李老师何谓“符号主义”？

Me:
nlp 是 ai 之一种，nlp 所谓规则系统，归类到ai的符号主义，当然 ai 里面有一个重要成分是推理，nlp 系统较少需要推理。另一个重大区别是，在貌似已经没落的 ai 逻辑符号派诸流中，多层nlp规则系统是少有的最接地气和靠谱，在不少nlp关键应用领域（譬如 named entity tagging, shallow parsing, deep parsing, information extraction, sentiment analysis and question answering）可以胜过或匹敌深度学习质量的流派，虽然已经不在学界主流的视野之中。

白：
这里面有这么一个方法论：1、站在后知后觉立场上，当这个谜底揭晓，它是一个在系统所依据的句法理论下合理的解析吗？2、如果是，那么它一定会被暴力搜索出来，没搜出来一定是系统做了剪枝，可以评估剪枝策略是否合理。3、如果不是，可以评估系统所依据的句法理论是否合理。4、如果改进句法理论，系统是否要推倒重来。
好的句法框架可以容纳这种改进，坏的句法框架容纳不下这种改进。我可以肯定地说，CFG容纳不下。

句子有“不确定性过剩”和“不确定性稀缺”两种情况。过剩时好使的剪枝策略，用在稀缺的场景，很可能会栽。为了应对稀缺，过剩时又搞不定了。所以好的剪枝策略应该是随着不确定性的程度而动态自适应的。不确定性稀缺时，并不害怕暴力搜索。

Me:
白老师说的极是。不愧为山中高人。

白:
“张三的分数和李四的分数的差是李四的分数的两倍。”
只有一个正解，其余都是伪歧义。这是不确定性过剩，大胆剪枝。但到了“人话”的边缘，如果还是人话，还是暴力搜索管用。

Me:
为难之处在于百利一弊的策略。因为百利 不能轻易动它 但是那一弊就是那啥脚后跟，一旦出现了 或者容忍它 或者补救它 终归不能动大手术。此句的关键在 “开会” 这个词条 是个伪词。一切传统的词典查询都是最大匹配，这就断了补救的路子。

在应对了离合词的系统，这个 “开-会” 倒是从词典层面被当成两个词，因为有 “开什么会”、 “开个鸟会”、 “会开得一塌糊涂” 等变式。这似乎给解决这个问题留下了可能性。但是，即便是内嵌了离合词处理的系统，也难以抵制把 “开会” 提早处理的诱惑（这就是白老师说的“剪枝”，排除了远距离“开车”的可能性）。这种诱惑是实用主义的，是的的确确的百利，但难免一弊。

白:
真凶在休眠

Me:
英雄所见。对，真要补救 机制上可以是休眠唤醒。“开-会” 作为动宾合成词，从词典得来，可保留。但词典内部可以预留被唤醒拆分的种子，这从休眠唤醒机制上可以实现。

董:
一句破小编写的破句子，让我们这么讨论，太抬举他了。

Me:
哈。而且还不像人话。
借题发挥罢。

白：
还是有启发。比如“车型”这样的复合词怎么承载词素“车”的特征，跟“开”远距离搭配，这样的机制应该不是个案。

“空客380是他这么多年来坐过的最豪华的机型。”

“坐”和“机型”。前两天说的“增长率超过了联想”，是相反方向的脑补。

Me:　“开会” 的问题 是早已熟知的最大匹配原则的百利一弊 以及 hidden ambiguity 的休眠唤醒机制 的体现（如果真要解决的话）。

白:
“机型”是“飞机”的属性名，“车型”是“车”的属性名，“增长率”是“指标”的属性名，“指标”是“公司”的属性名。“联想”是“公司”的instance。空客380是“机型”的instance。如果“顺杆儿爬”或者“顺杆儿滑”能够找到相谐的搭配词，也是一种广义的相谐。早有人提过使用图而不是线性序列的方式作为分词的输出。如果输入是词图，WSD结合当前已分析结果和后续待分析词语，作出动态优选，比直接分词算法说了算，会进一步。

Mo是修饰关系，Ma是填坑关系，Me是合并关系，Up是升格（修饰语提升为被修饰语），Sh是shift（移进，暂不处理）。

这个分析结果还有一点不满意的地方，就是“车型”填了“嫌弃”的坑。按说“男的”填这个坑最理想。

Me:
“坐过” 与 “380” 相谐呀　无需借助“机型”，无论大数据　还是通过本体。再者 这里还有一个 等价结构：o 是 s vt 过的 n。

白:
坐-机型 vs 搭乘-机型，无关380

Me:
380 是我坐过的。
380 是我坐过的玩意儿
这澡是我洗过的最糟的
这澡是我洗过的最糟的一次体验

“坐过” 与 “玩意儿” 很难说 谐不谐　还是要落实到380。

白:
“我坐过的最豪华的机型非空客380莫属。”

Me:
一个道理。有些词 譬如 玩意儿　机型　体验，可以作为类似指代词，它要从抽象落实到具体　然后才可以验证本体关系的 appropriateness。

白:
从结构看不能绕过，而且具体不是必然具体：“这是他坐过的最豪华的机型”

Me:
这句擦边

白:
不能说“这”的相关性比“机型”还高。

Me:
严格说这句有点犯规　除非认为是 有类似 380 的实体被省略

白:
句法没毛病。这就是，不确定性稀缺，不相谐的猴子称大王　犯不上在稀缺的时候进行严格的相谐性检查。

Me:
所谓语义犯规 本来就可以是合乎句法的，不然就没有乔老爷的绿色思想了。

白:
1、句法OK。2、本体里顺杆儿爬可以爬到相谐的节点。3、相谐的节点是真正想要的。
这比绿色思想还有意义得多，“增长率超过了联想”也是同理。

Me:
逻辑上是：这个机型是他坐过的飞机中的属于最豪华的机型。
逻辑啰嗦的时候 语言就偷懒 走捷径，语言表达偷逻辑的懒 案例比比皆是。惰性是人类的基础本性。

白:
前提是稀缺，如果伪歧义密集，再偷懒，就要自讨苦吃了

“男的”和“车型”争夺“嫌弃”仅剩的一个坑的逻辑：“车型”是基于定语从句所修饰的名词的反填；“男的”是基于“会”作为情态动词对填入自己的谓词宾语“嫌弃”的穿透。通常穿透的是逻辑主语（我之前也是这么理解的），但是这个例子里，逻辑主语已经被“被”的无名介宾所捷足先登，实际是穿透到逻辑宾语，所以穿透踩空了。

看来穿透的只是一道墙，不要绑死在墙里面的特定标签上。如果墙里面两个坑，逻辑主语可以优先；如果墙里面只有一个坑，那就逮谁算谁。

这算语义？已经是言外之力的层次了。以言行事。
语言三境界：以言指事、以言行事、以言成事。

郭:
@白【在中国被二奶搞成少数几个男的开会被嫌弃的车型之一】　"我可以肯定地说，CFG容纳不下"，可否展开说说?　很想知道那个G在你心目中的样子。也只有知道了那个G，才能判断是不是CFG。

你以前举过一个例子: “张三、李四、王五的年龄分别是25岁、32岁、27岁，出生地分别是武汉、成都、苏州”。

我理解你心目中的G是那有名的（a^n b^n c^n）for any n, which is well known to be outside of CFG。

同样的话，在@wei 那里，我理解就是三型文法有限状态机，因为他有个“事不过三” “超过三个就不是人话”的trick。就算三步太少，那个“七块临界”限制，也把那个G带回正则文法。总之，只要那个n有个上界，就可穷举。

白:
这里面被定语从句修饰的中心语反填回定语从句中的动词所挖之坑的机制，一个成分多个爹，首先它长的样子就不是树。既然不是树，就谈不上CFG了。反填其实造成了“环”，即：名词-动词-的-名词。七块是栈的深度限制。至于放在栈里的东西怎么用，不同的G差别很大。不是说它一被常数界定，就肯定是三型文法了。这套机制的外面，还有语义中间件，把基于subcat的和基于统计的相谐性检验封装起来。面对伪歧义，这个中间件会做出筛选。这个CFG也没有。

Me:
PCFG （probabilistic CFG）是不是就带有了中间件的意味？@白
那玩意儿一度呼声很高。从我的角度看 是大锅烩的一层parsing 还是多层 parsing才是关键。

白:
@wei 有点。

Me:
一层去做cfg 不仅爆炸 没有线性算法　而且很难做深。螺蛳壳里怎么做得出一个像样的道场来。

白：
分析结果长什么样决定了格局。在这个大框架下，数据改变不了格局。

Me:
parsing 的尴尬在 自然语言现象太复杂 千丝万缕 分而治之吧 不知道这几刀怎么切。一锅烩吧 根本就顾不过来周全。

白:
太松，伪歧义就溜进来；太紧，就不robust

Me:
分而治之是显然的上策 只是没有一点经验和功力 往往不会分。我觉得。伪歧义的问题在多层系统中几乎就不是挑战，原因就是 松紧掌控也被分而治之了。每一个可能的剪枝行为可单独去调，数据驱动 假以时间 偏差就会从一个一个局部解决 ，从而获得全局最优。

白：
话说，形容词向左做补语和向右做定语，在你那里谁优先？
比如“做好男人”：

Me:
除了 定中合成词在词典外，词典的下一层是 “一字”补语，再下一层才是定语，现在是这样切的刀。因此 假如 “好男人” 不进词典，目前的分析是 【做好 男人】，但是如果一字以上 就不了。

白:
到处可见标配-例外的逻辑。
补语与时态助词呢？“哭肿了”是“哭肿-了”还是“哭-肿了”？

Me:
无所谓。爱谁谁。

白:
同级？

Me:
我是说对这种不预先特别设计，赶上哪个算哪个。

白:
分层，了总有个落脚之处吧……

Me:
目前是 “哭肿” 在先，因为 汉语有双音趋势:

白：
又不做语音合成

Me:
两个汉字的组合 看成是词典的延伸 处于非常底层

白：
照此说来，“折腾惨了”就该是“折腾-惨了”？

Me:
没问题呀，但遇到小词的时候（譬如“惨-了”的“了”），也不绝对。然而，“哭-肿”　chunk 成（open）合成词了，但“折腾”-“惨”则仅仅是补语联系，而不是合成词。

白:
有点以貌取人啊……

Me:
必须滴。这个世界有完全不以貌取人的吗？何况句法乃是关于形式的系统，以貌取人，理所当然。 只是在句法语义的理解过程中，“貌”占多大比重的问题。 句法当然不仅仅追求心灵美，心灵美理应是语义的追求。当然，句法的最终目标还是语义（理解），所以句法语义接口的时候，外表美与心灵美需要一个平衡才好顺利过渡到自然语言的理解。

白:
“东西放忘了地方”，合法吗？经常有人这么说。但是“放忘”似乎没有因二字组合而产生成词的倾向。东西-放-地方，忘-地方。忘了-地方。

Me:
成词的趋向在 只是这个 bigram 的频度还不够高，用的人多了 就成词了 。

白:
这个不是大问题，皆可。吃光、用光，俨然就是词了。动结式动词

Me:
不太一样：

放x忘y
吃x x 光

动结的逻辑宾语常常出现在主语位置 不需要用显式的被动小词 “被”，这是共性。不同的是 ............

白:
“打疼了手”
别人的手疼，“打疼”是紧组合；自己的手疼，“打疼“是松组合？如果打xx疼和打xy疼能决定这个区别的话.

Me:
“打疼了手”，默认是自己的手

打他打疼了手 不是他的手。
伤透了心 是自己的心
伤透了脑筋 也是自己的脑筋

除非“操中南海的心”。把标配给冲了。

白:
这个问题在于手、心、脑筋都是部件，有坑的

郭:
“这里面被定语从句修饰的中心语反填回定语从句中的动词所挖之坑的机制，一个成分多个爹，首先它长的样子就不是树。既然不是树，就谈不上CFG了。”“反填其实造成了“环”，即：名词-动词-的-名词。”

撇开“句法制导的语义分析”，也撇开具体的句法分析过程，就纯句法描述而言，这无非就是: X -: N V 的 N

具体的“相谐”判断，用基于挖坑填坑的一致，或基于特征的合一，或基于统计的搭配，或基于经验的标配，只有分析的颗粒度和精度的差别而已，无关语言表达力。有了 X -: N V 的 N，怎样画内部的依存结构，是个“句法制导的翻译”问题。我们大可以说“在这样这样的坑/特征/统计/搭配/标配下”“V既是N的儿子又是它的老爸”，但这都不影响这个N作为X的代表一致对外。

我想探讨的是，如果把过程性的具体剖析方法从语言表达分离开，这个“描述性的”“纯”语言长什么样子。我是在找类似上面的 （a^n b^n c^n），如果这里的n是个任意值，它就是上下文相关语言，如果n是一个有界的值，它就是一个正则语言。这是一个纯描述性的语言，无关其分析方法，也无关其语义解释。

白:
先说“分别”这件事，也有粗粒度的处理方法，就是使用“列表”。不管长度，只管收拢。收拢对收拢。还有，如果描述指的是大边界。里面的小细节都归功于语义，那我指定一个全集岂不更痛快？功夫全在细节啊。我这里用的不是句法制导的方法，而是词负载结构的方法。一条显性的句法规则都没有。还有，仅就｛x^ny^nz^n｝这个形式语言实例而言，它的判定可以有线速算法，跟一般二型语言的判定复杂度是完全不在一个量级的。

【相关】

【语义计算：李白对话录系列】 

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

白:
“他拿了你不该拿的东西。”谁不该拿？

Me:　妙句。

他拿了他不该拿的东西。
他拿了人不该拿的东西。
他拿了不该拿的东西。

默认主语是 “人”， 其次是 “他”。这个 “人” 指的是 一般的人，正常的人，有底线的人 （decent human）。当默认主语的位置出现了 “你” 字，奇异的事儿发生了：

1 按照常理 “你” 取默认主语而代之， 这就造成了 “你” 与 默认的 decent human 或 “他” 的下意识比照。言下之意可以是：他拿了你不该拿（但他可以拿）的东西。这是一解，或可以想象的场景。

2 根据法律或规章面前人人平等的普世原则 上面的解读虽然合语言学的法 但不合现代社会的法。这就迫使默认主语 继续有效，“你” 于是不能雀占鸠巢， 不得不另寻他途。 于是“你”的定语角色 instead of 主语的可能进入理解：

他拿了你（的）不该拿的东西
== 他拿了他不该拿的属于你的东西。

3 一时想不通1与2的语义落地场景的人 会觉得这是个病句。

白:
其实，“拿”有三坑。谁，拿谁的，什么。
如果“你”进入定语从句，就少了一个萝卜，坑不饱和。所以，“完形优先”的策略会倾向于使坑饱和的分析结果。

Me:
我觉得“拿” 有两坑，通常不认为作为孙子的 “谁的” 可以提上来做儿子。

【谁】 拿 【什么】

【什么】有没有定语的坑　要看是什么名词。一般专名（如人名机构名）　材料（如　石头　钢铁）或产品种类（如智能手机　数字电视等）就无坑。但产品专名（如ｉＰｈｏｎｅ）可以有拥有者　算是有坑：“我拿石块”。石块不能算有坑，没有预期。如果强加了定语，那个定语是随机性的，不是语义必需的：“我拿了他家的石块”。

我拿ｉＰｈｏｎｅ７
默认是：我拿我的ｉＰｈｏｎｅ７。要是拿别人的，那可能就是窃了。

白:
拿人东西手短

Me:
还是有儿孙之别，长幼有序：

[human] take [thing]
[human] 's [thing]

“[human] take [human] 's [thing]” seems a bit too flat，cf: buy

[human] buy [thing]
I bought an iPhone7

of course we can say: I bought Apple's iPhone7，but Apple does not need to associate with "buy" directly

白:
表“取得”义有一大批动词，拿、捡、取、抢、夺、偷、窃、娶、借、买……，都有三个月坑，无需搞两层。间接宾语就是原所有者，逻辑主语就是新所有者。

Me:
定语一直很灰色（介于arg坑与随机mod之间）。如果这么说坑，也可以有四个坑五个坑:

【1 谁】　【2 从哪里】　拿　【3 谁的】　【4 什么】
【1 谁】　【2 从哪里】　拿　【3 谁的】　【4 什么】　【5 到哪里: 目标地】

白:
“所有”义由动词自带，无需借助其他手段。到哪里不是标配，谁的和哪里合并。给予类，给谁是标配。

Me:
从双宾　“给予”　开始，带两个实体的坑就逐渐处于灰色。“给予”　的　【接受者】　是公认的坑。到了另一种间接宾语　【为谁】　买　【什么】：
ｂｕｙ　ｓｂ　ｓｔｈ　－－》　ｂｕｙ　ｓｔｈ　ｆｏｒ　ｓｂ
就有点从ａｒｇ的坑向ｍｏｄ的随机成分移动了。

白:
自洽、能产就好。

Me:
其他的实体角色几乎都可以或者看成是　ｍｏｄｓ，或者是孙子辈。ａｒｇ　ｓｔｒｕｔｕｒｅ，除了这两种间接宾语，宾语以外的坑通常是非谓语动词，也就是动词的右嵌套或者是形容词做补足语。当然这多少受欧洲语言句法框架的影响。如果超越句法，还是看　ＨｏｗＮｅｔ　的坑怎么定义的比较靠谱。这样一来，句法的ａｒｇｓ不过三，就需要突破了。

所谓“坑”，根子源自常识语义的本体，体现却在各个语言的句法。由于句法体系有个语言学共性，即我所谓ａｒｇｓ不过三的普世原则，结果，有些常识语义的“坑”在句法就被降格成　ｍｏｄｓ　了。这里面自有上帝造语言的玄机在，我以为。幸亏有上帝在，自然语言乱中有静，冥冥之中自有其不变之法。语言学家就是法师，可以直接与上帝对话，而普罗　ｎａｔｉｖｅ　ｓｐｅａｋｅｒｓ　呢，只是下意识遵循，或试图不遵循：但也还是逃不过如来佛的手掌。你可以偶然违规，你不能永远违法，也不能连续不断地违规。语言可以灰色，但不可以黑色。社会媒体可以乱象丛生，但还是可以捕捉到舆情。中文可以裸奔，但不能无法。不管怎么裸奔，也还是个人形。无法的裸奔，那就成怪物了。汉语无文法论，可以休矣。无法，人如何把握，又如何能理解？

白:
怎么可能无法，最多就是一叶障目

【相关】

泥沙龙笔记：汉语就是一种“裸奔” 的语言
【李白之21：萝卜多坑不够咋办】 

【语义计算：李白对话录系列】 

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

Bai:
“老李把手不听使唤的徒弟骂了一顿。”
看点1、“把手”分词错误
看点2、“把+手”介词短语错误
看点3：谁的手？谁的徒弟？
“不听招呼”是非自主性状，和“把”天然矛盾。

Me:
这种东西没做过统计 究竟有多严重。统计性 值得不值得投入资源做 先放一边。可以从这类问题得到什么启示？有一个启示就是 也许我们可以适当地引入自顶而下（top down）的处理策略。很多年来 我们尝尽了自底而上（bottom up）的好处 以至于把它视为理所当然。Note 这里说的自底而上与教科书上的算法有所不同，教科书上的算法，无论自底还是自顶，指的是一层 parsing，我们说的是多层的自底而上处理。自底而上层层parsing 的好处包括鲁棒稳妥 靠谱接地气。层层推进有利分层和模块化 也有利打补丁。这些都是复杂系统难能可贵的重要品质。Having said that, 上面这类含有某种远距离搭配或关系的 cases 却可以设想一个 top down 的策略：

骂（一顿）【human】
--》把【human】骂（一顿）
--》把【rel-s 的 human】骂（一顿）

这个optional的定语从句 rel-s，可以自顶而下扩展为 【Subj Pred】，如此等等。这样一来，“手 不听使唤” 就中招了。

当年我们反潮流 反对 top down，根本理由是 top down 与主题先行一样 主观主义严重，隐藏的假设是说出的话都是合法的，所谓规范的句子。那么 我们从非终结节点 S 　出发 根据有限的句式层层下推 就可以囊括所有句子。这种 top down parsing　是教科书上经典路数，但我们面对实际语料的时候，很快就举步维艰。后来把各种 subcat patterns 嵌入到 VP 里面，用词典主义（lexicalist） 细线条（ fine-grainedness）来缓和矛盾，但仍然捉襟见肘，直到探索出多层的自底而上的 parsing 路线，才柳暗花明。
但必须承认，自底而上虽然条分缕析细致入微，却带有与生俱来的见树不见林的缺陷，对于远距离的结构把握不好。于是我们用拼拼凑凑或者打补丁，甚至休眠唤醒推倒重来的各种方法对此缺陷予以补救。

也许到了认真考虑如何“巧妙”结合两种路线的时候，bottom up为基础，适当穿插 top down。

【相关】

【立委科普：结构歧义的休眠唤醒演义】 

【李白对话录：从“把手”谈起】 

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

白：
“他蔬菜要用清水泡过的才敢吃。”

这里面，“泡”的逻辑主语是不是“他”？保险策略：不做定论，悬在那里。激进策略：是，如有必要，拓展对“逻辑主语”的解释。“他”主导了“泡”的启动或者“泡过”的选择，即便不是亲手“泡”，也算是逻辑主语了。落地时可以有个开关，决定“算是”的逻辑主语是否映射为真实的施事或当事语义角色。个人认为激进策略也是可行的。

董：
我的语感是“他”是topic。说的是他这个人。而不是一个行为动作的事件。

白：
“他衣服总是穿得笔挺。”
“他衣服总是要穿得笔挺才敢出门。”

里面的“他”也不和“穿”挂钩吗？
这里的“穿”和那里的“泡”有何不同？

李:
转了弯的逻辑主谓

白:
董老师框架下要直接确定语义角色，我和伟哥是分阶段的。

李:
解析的目的何在？
能想到的好处是可以提供更多的案例 帮助挖掘本体知识。对于语句的语义 其实没啥意义。语句要表达的语义 大多不绕大弯。这也是为什么非谓语动词 常常有坑没萝卜，或者即便有萝卜 填坑不填坑无关宏旨。事实上即便填上了，也大多不是事实，不是发生的事儿的语言表达，而只是本体的潜在逻辑关系的语义相谐的一种体现，此所谓“非谓语”。

白:
绑上了放掉很容易。放掉了再绑上有点返工的感觉。在没有竞争候选的情况下，建议绑上。这是依据封闭世界假设。如此填上的萝卜，如果语境中有其他活跃萝卜，可以override。

李:
顺手的话 当然绑上。

白:
把link标记为“可覆盖”，就可以兼得。

李:
如果知道不十分确定，绑的时候做个标记，说这是个 candidate 不是绝对的。

白:
就是这样：soft hypothesis，遇到更hard的candidate，立马让贤。

“他衣服要烫得笔挺才肯穿出门。”

fallible reasoning，“僵尸萝卜”和“鲜活萝卜”结为兄弟

李:
这句子很绝。各种坑。可以列数一下
（1）possessive：他-衣服
（2）aux-V: 要-烫
（3）动宾：烫-衣服
（4）主谓：衣服-笔挺
（5）计划类V带动词宾语（也可以看成是 aux-V）：肯-穿
（6）candidate 主谓：他-烫（衣服）
（7）主谓：他-肯穿
（8）主谓：他-出（门）
（9）动宾：出-门
（10）动宾：（肯）穿-衣服
（11）述补：穿-出（门）

还漏掉啥填坑关系？总之，短短一句，各种纠缠。

最后这个【述补】好像随机性强一些，预示性弱，就好比 【得字结构】 的补语：
“烫-得（笔挺）”，它们更像 adjuncts 不像 args。

白:
parser都要做，补语不是填坑，是坑共享萝卜，是动态确定的

李:
不需要词典subcat驱动，而是一般性规则。

白:
不是词典化的。坑共享萝卜的另一个说法就是坑的合并

李:
好，parse parse：

做到一半了没有？论句法，约莫八成；论全体逻辑语义，也就做了一半吧。

今儿较真一次，列数一下，看到底做了几层关系出来：

（1）Mod (possessive): 他-衣服
（2）句法主谓（其实是逻辑动宾：算是做了一半吧）：要烫-衣服
（3）aux-V（表现在 vg chunking 里了）： 要-烫
（4）大主语，又名 Topic（其实是逻辑主谓，也算做了一半吧）：他-要烫
（5）主谓：他-肯
（6）V带动词宾语：肯-穿
（7）Next 耍了个流氓（算是做了一小半，至少直接联系是搭上了）：肯-出门
（8）补语：要烫-笔挺

白:
很牛了

李:
自评： 是八成熟的 parser 吧，差强人意。偶尔露峥嵘。
关键是，这句没做任何微调，所见即所得。隐式的逻辑语义，譬如 “衣服-笔挺” 就没顾上了。隐式逻辑语义目前在语义模块只是做了个样子，没细究。

白:
我说的僵尸萝卜和鲜活萝卜，就是分别指“穿”和“出门”。

李:
句法细化为逻辑语义，也没做全。譬如，流氓 Topic 和 Next 还没教化。

白:
坑者有其萝卜，是NLPer的共同理想，就像耕者有其田一样

李:
哈。
为顺口，可以提这个口号：坑者有其苗。 跟植树造林似的。一个坑一棵苗，终成句法森林。双音语素 “萝卜” 不知怎么个来历 居然是黑匣子 无法缩略为单音节。还不如 “蝴蝶”， “蝴蝶” 略为 “蝶” 没啥问题。

【v者有其n】，这种成语句式 要求 v 和 n 都是单音节才好：

耕者有其田。
劳者有其工。
行者有其车。
食者有其鱼。
学者有其书。
棋者有其go （不是 alpha go）
nlp者有其tree

坑者有其萝卜？？
赌者有其麻将？？

“麻将” 也是双音节黑匣子 不好。牌九呢，也是双音语素，但似乎可缩略为 “牌”：

赌者有其牌

共产大同了 哈。

白:
“一切不拿自己当大数据入口的端设备都是耍流氓。”

董:
AI，也是智者千虑必有一失。

白:
拿……当……，句式没搞定。把“当”翻译成“when”，后面的都失去准星了。

白:

“机器人送快递还有多远？”

怎么知道这里的“远”实际指的是时间而不是空间？

宋:
时间空间常混淆。

梁:
时空一体

李:
词汇总是有歧义，有不歧义的。

“机器人送快递还有多久？”

多久 无歧义； 多远，有歧义，但标配是空间。结构也是如此，有歧义的，有不歧义的。形态丰富的语言，结构起来，就较少歧义。汉语就显得到处都是歧义。所以那些争论语言优劣的口水仗，缺少的是一个双方公认的测量标准。常常鸡同鸭讲。如果从较少歧义，以显性形式为主要手段来避免歧义这个角度看，汉语是劣质的，这个应该没有多少疑问。但是，歧义也好不歧义也好，现存语言都达到了人类交流的工具目的。不过是，歧义多的语言，人类在交流中下意识利用了常识或领域知识的帮助而已，而这种下意识，对人类一般不构成负担。既然知识在语言理解中的引入不够成负担，那么比较优劣当然还可以有其他的标准。譬如语言表达的灵活性、丰富性、微妙性，甚至模糊性。从这些角度考量，可以 argue 说汉语是世界上最牛逼的语言。

词汇的歧义（wsd）属于 hidden ambiguity，通常不影响结构分析。wsd 真要解决的话，绝大多数都可以在句法后的语义模块或语义落地模块去做。

wsd 和 hidden 歧义 通过上下文消歧 可以利用句法结构的帮助 也可以不用。但既然绝大多数这类歧义都可以留到句法后进行 不利用白不利用 两条腿走路总是更踏实。其所以wsd 研究 利用结构不为多数 不是因为大家不愿意两条腿走路 而是因为多数研究者缺乏得心应手的 parser 的支持 我以为。另一个原因是为模型的纯粹。两条腿一起来，在学习模型中，等于增加了另一维度的 heterogeneous 的 evidence，难缠。

从休眠唤醒的角度看 wsd 的多数都休眠了 常常也不用唤醒 如果落地语义无需聚焦到那里的话。到了需要唤醒的情形 譬如某个应用需要解读 多远 可不可能是说时间的话 结构条件加语义或常识就可以出场了。

“机器人 - 送外递” 这个主谓关系的行为 是一个热炒的话题 现实中很多家在尝试 但还没有成熟。这个知识介入了，才好确定 “多远” 是指向时间的。可这个知识如何搜集、表达和恰到好处地代入，目前看来还有不少挑战。

梁:
汉语比英语更高层次，你更简洁。

李:
简洁的另一说法就是裸奔。

本来穿衣主要不是避寒 而是为了体面，为了百分之五不到的避寒需求 每天都要穿得笔挺 的确显得麻烦。譬如 欧洲语言的一致关系在形态上的表现，主谓一致、形容词与头名词的一致（agreement），性数格人称等形态，看着就眼晕。 这些一致的形式有如西装革履，百分之九十五的场景就是摆设，因为没有穿戴它们 语义的相谐也不会让我们产生误解。但的确有不到百分之五的场景 就好比坏天气来了一样 没有穿戴 就会冻坏；没有一致关系 理解就发生困难。 汉语的简洁和裸奔，是以牺牲百分之五的理解畅达性作为代价的。这就是为什么汉语不如欧洲语言严谨，突出表现在写合同和法律文书的场景。欧洲语言之间 严谨性也有不同 大致都可以用穿衣的繁琐程度来度量。国人能省就省 很多小词（功能词）说没就没了，常裸奔到无语。

梁:
Okay, 更裸奔更放任自己，更让 Wei哥难受。

詹:
我常听到这样的说法，说英语的parsing都百分之九十多了，汉语差十个百分点云云。如果方法相同，分析结果总是差着这么多，是不是可以推测，汉语的模糊度就比英语高着十个百分点呢（相当于试题难度高了十个百分点）？

白:
连parse结果长什么样都糊涂呢，说什么多少个百分点？

李:
那天在linkedin上 有人建议：你不是parsing牛吗 打败谷歌 为什么不去用标准集做大规模测试对比？我说 你要说服CEO给我资源 我不妨一做。 往标准集上靠 工作量不小。本来那集就走歪了，非得把走正的 往歪去靠 。

宋:
不止是时空混淆，其他度量空间也有问题：“机票从7折变成8折”，折扣是升了还是降了？“人民币汇率从7.0升到6.0”，居然是升。纽约时间比北京时间早13个小时还是晚13个小时？

李:
宋老师对语言 眼真毒。
回@梁 汉语裸奔对我不是难受 而是福气。太好受了 人皆可做 我如何寻找存在感呢？语言不幸语言学家幸啊。

宋:
@wei 不是我眼毒，真的是说不清楚。涉及到出国的事情，解释两地时间差别，只能具体说：北京现在是25号凌晨1点，纽约是24号中午12点。各位老师，你们如何表达这个关系？也许可以这样说：北京时间减去13个小时是纽约时间。反正不能说早晚。

梁:
真是好问题，北京和纽约时差13个小时。我有时跟朋友说，＂北京在纽约前13个小时。＂我真不知道怎么说。

李:
自然语言会有些莫名其妙的表达 gap 存在的。譬如 汉语是 第几 和 老几 ，在英语就没有简明的对等物。理论上 不就是序数词的wh疑问式吗？应该是 *how many-th
但就是没有。遇到这类翻译 英文总是转弯抹角：

What is your place in blah blah 这类

梁：
不可翻译，只能解释的情形挺多的。

董:
什么测试集、标准集，什么召回、精确，还没玩够呀？汉语分词现在似乎没人玩了？那个正确率是怎么算的？ 语言不是可以这么玩的。看看这个分词：中国力避朝鲜遭到致命打击。

百度翻译：China in stead of North Korea was a fatal blow.
Google翻译：China's efforts to avoid North Korea have been fatal blows.

对于这个句子，这个分词的错误率，就是100%。

汉语什么是“词”，词频统计能像英语一样吗？还要计算分词的正确率，还要测试，比赛，如何能靠谱？老外玩他们的语言，我们不一定要跟着玩。你玩扑克，我推牌九。

李:
如果没有标准集的话 可能一多半玩parsing的专家就抓瞎了。其中看不起或看不懂语言学的 不为少数。带标数据是他们的命根子，至于这个“标”合适不合适，靠谱吗，有多少用，他们不管。雾里看花，只要有个花的模样，就可以绘画比赛了。就是如此。

董:
前些日子，机译群在聊，说今年的ACL，是深度学习的一统天下。我想起了20年前，如今统计似乎已经风光不再了。30年河东，用不了30年就河西了。

张:
坚持原则的勇气是智慧的全部就是崇拜中

【相关】

【李白对话录系列】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

白:
“牛肉我要八分熟的。”
“他蔬菜要用清水泡过的才敢吃。”
“牛肉”和“八分熟”有subcat的相谐关系，但不是离合词。
“蔬菜”与“泡”的关系更加松散。

李：
前者主谓相谐。后者动宾相谐。“牛肉-熟”。“泡-蔬菜”。
顺便一提 先帝诗云 土豆烧熟了 再加牛肉。不知他老人家怎么想的。牛肉烧熟了 再加土豆 这是料理常识吧。反过来 土豆怕连泥都吃不着了。

白硕:
某次吃过韩风的凉拌生牛肉
@wei 做做看吧，不只是相谐那点玄机。

李：
好，先来一个难看的，等慢慢整形，看能不能成美人：

白:
水泡，名词

李：
改了。貌似好点儿：

白:
他和蔬菜没有mod关系啊
另外吃的逻辑主宾都没登场……

两句中的“要”，pos貌似是不同的。
前句向实，为动词（want之义）；后句向虚，为连词（与“才”配对，表only if之义）。

李：
前者是 want+NP，后者是 want to + V，可以看成情态动词

白:
看成副词最方便，与“才”搭配，不一样。意思是，只有出现怎样的情况，才会如何如何。

李：
有些勉强。要+V 很常见。only if是 “要是”。

要用清水泡过的才敢吃。
用清水泡过的才敢吃。
要用清水泡才敢吃。
用清水泡才敢吃。
搭配性不强。

白:
“你到底要怎样才对他放手啊。”

李：
怎样 是 V 的疑问代表：

你要怎样？我又能怎样。

白:
雨要在旱天下才好。

李：
雨在旱天下才好
雨要是在旱天下才好
雨能在旱天下才好
雨得在旱天下才好

哈，原来。

白:
葛优的广告词：面要弹

雨是下的直接成分，不是“能、得、要”的直接成分，没有穿透继承关系，这种配置下的情态动词都可以当作副词。这时填坑关系少了一层，无比清爽。

It is preferred that S. S的内部填坑结构跟这个prefer一毛钱关系都没有。没有穿透，没有继承，完全就是松散的一顶帽子。用副词干这样的活儿最为顺理成章。It is possible that……同理。在逻辑上叫“模态算子”。但是，“他准备搭一个棚子”里面的“准备”不是这样。搭的过程中，“他”还要身体力行。这对谓词就是（外层）穿透（内层），对名词就是继承（施事角色）。不穿透的，当副词很好。

李：
情态词 是助动小词 与 副词 基本上是一个意思 尤其在汉语。只不过 副词 修饰 动在外 情态修饰在内 这在短语结构中 表达略有不同。从依存关系看 等价。副词总类太杂 情态单挑出来 有益。“洗个澡” 与 “【能洗】个澡”，搭配关系不变，因为“洗”是短语的 head，是 “澡” 的parent，而 “能” 实际被吃掉了。【能洗】作为 base 短语结构 与 【好书】作为名词短语，对 dg 是类似的 psg 表达的引入。x bar 理论上 前者比后者 少了一个杠。因此我们只好叫 vg （verb group）不叫 vp。后者指的是 动宾这类 saturated subcat patterns。基本短语因此是 三个p 一个g：np ap pp vg。（还有一个 rp 副词短语 有时也可以捎上， very rapidly 之类。）

白:
与副词唯一不同的是可被副词修饰：今天不会下雨吧？

李：

very 修饰的也是 副词 rapidly 呀。“不会” 就是情态词的否定式。情态词的肯定式 否定式，还有一个特别的中缀表达 在动补合成词里。

能睡着 和 不能睡着
睡得着 和 睡不着

这些统统是 vg，后者词典解决。用所谓 lexical rule 去扩展词典，把 head 确定在 “睡” 上面。

白:
我的意思是从句法上看，情态词可分两类，一类像副词没坑，另一类有坑而且有穿透性。在写pos标注的时候就是不同的：
“准备动手，进行动员……”
准备动手，head在“准备”

李：
计划 类一般不归入情态小词，而是动词的 subcat，带 vp：

当然 在汉语 情态小词 与 计划 类动词，有个模糊过渡地带。灰色地带的 靠哪边 系统内协调就好。在欧洲语言 界限是明确的。英语 plan 带不定式 加 to 的。can 后不加 to，possibly 与 can 语义同 但它是副词。到了汉语 这些界限都模糊了。

白:
准确说是带体谓两可：准备早饭，准备吃早饭

李：
一个词 有 n 个 subcat patteens，是 norm:

白:
能做，有可能做，八成做，说不定做

李：
都是封闭小词，标签或mod或adv，都差不多:

白:
“他准备唱歌”，“准备”是head，“唱歌”是宾语，“他”做“准备”和“唱歌”两个谓词的逻辑主语。“他会唱歌”，“唱歌”是谓语head，“会”是“唱歌”的修饰成分。是这样么？

李：
是的：

白：
汉语副词修饰副词的情况有合适例子吗？

李：
副词修副词 主要就是 very 类程度副词

白：
“我奇怪他们为什么要走这条路。”这里的“奇怪”是什么词性？

李：
奇怪 心理谓词，subcat 带从句，至于叫动词还是形容词 无所谓了。
英语等价物 wonder:

白：
我标注为S/N,S
“我就奇怪了，一个大活人还能被这事儿给难住？”

李：

白：
汉语，“很”能修饰副词吗？“很迅速地撤离了”里面，是“很迅速+地”还是“很+迅速地”？
“很迅速”还是形容词，加上“地”才变性。
“很+迅速地”，语感不对。

李：
无所谓。这些大多属于系统内的规定与协调 无关大局。

白:
“云不会永远不散。”这里一个变通做法就是把“不会”整体看成一个副词，避免出现副词修饰副词的问题。对于封闭集合，这是可穷尽的。

还有，多重否定与结巴，怎么区分：“你不不不不是个溜子，是个空子！”

Me：

（为了与其他的 Adv 区别开啦，有意用 X，为的是后去处理双重否定的便利，都是系统内协调啦。）

嘿嘿

白:
看不出来肯定否定

李：
当然是否定，那个 vg 就是【不是】，POLARITY: negative

只有你想不到滴，没有我做不到滴。开玩笑啦。
其实，对于重复和强调，可以单单处理。
very very very very very veryyyyyyyyyy good
这个我们在英语单单处理了，汉语还没。道理同。

【相关】

【李白对话录系列】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

梁:
记得以前阅读，有人说，人在语言里玩，就像鱼在水里游，鸟在天上飞一样自然。

李：
结巴和哲学家除外。前者器官障碍，后者思想太过微妙，语言不逮。

白:
“原因被李四冷落多年的张三找到了。”
“张三被李四冷落多年的原因找到了。”
前几天抛出的句子，还没有回应。

李：
一个都不对，各有不对的缘由：

后一句不难debug，也值得 debug，前一句也许就拉倒了吧。

白:
“多年”也可以是人名
但即使是人名，也没有体现“被”

梁:
白老师，"原因被李四冷落多年的张三找到了" 是 “原因被张三找到了”，我看了半天才看懂。

李：
白老师出那种句子，我老怀疑有 hidden agenda，就是误导大众，坐收渔利。
那样的毛刺刺的句子应该从测试集刻意排除出去的。否则积累效应，可能留下后患。

白:
模型对头，都是顺手的事情

李：
那类句子最多算毛毛虫的毛刺。不仅灰色，而且罕见。strech 的不仅仅是系统的弹性限度，也是人类表达和理解的限度。

李：
这大概算 debugged 了吧：

顺带把毛刺也抹平了。

白:
“他脚这么大，能穿得下这么小的鞋子吗？”
“盖子这么小，能盖得住这个箱子吗？”

李：

白:
做理解，原则上不需要考虑排斥性；做生成，最保险的方法就是问大数据。实际上，文学家的功底往往在于，既和大数据构成显著差异，又和大数据训练出来的神经网络不冲突。就是“人人心中有，人人笔下无”。就是说，假如“大数据中的裸出现”是初一，“基于大数据的推荐”是十五，文学家就是典型的“躲得过初一，躲不过十五”。
躲过十五，就是前卫作家了。

李：
理解和生成 我的理解是：理解单位之间是有区别性特征的。不需要克斤克锚地给一个语言现象画圈 不需要画得恰如其分。只要在需要区分的现象之间划线（大多可以模型成非常多的种种 classification 的问题）。因此 确定标配很重要，因为标配是娄底的 本身不需要条件 是 free ride 的大路货。也因此 数据驱动是开发的正道，因为在非标配的现象之间划线 没有数据 没法确定一个中庸的全局最优的边界。也因此 没有一成不变的系统 系统总是随着数据逐步逼近。

白:
这就是毛毛虫。
句法解决毛毛虫的“包络”，大数据解决毛毛虫的细节。

李：
所以一个适合 debug 的模块化而且不太纠缠（譬如 弯不过三）的系统架构，极端重要。

生成不同。生成可以回避灰色地带 回避鸡零狗碎。如果一个思想有n个表达，其中m是规范清晰的，没必要去管 n-m。 在 m 中排序选优就够烦了 根本不用淌混水。一般来说 生成比解析难度低一个量级。以前的mt系统，生成的代码量比 parsing 的代码量，小太多了。分析完 目标语词汇代入以后，拼拼凑凑也生成了不赖的译文，特别是中文是目标语的时候。由于中文无形态 加上表达上的裸奔性灵活性，生成与分析完全不成比例。如今大数据了，nmt 生成根据数据决定，就显得更顺畅了。鸡零狗碎的那些表达，分析要对付的长尾，到了生成，根本浮不上水面。

白:
鸡零狗碎在理解可以中粗线条应对，在正儿八经的生成中可以粗线条绕行。只有在刻意求变的文学创作尝试中才会触碰到毛毛虫真正的毛刺的微妙所在。

朱德熙先生有一次跟我们讲，他的小孙女偶然说出一句“花灭了”，被他听到，顿感特有诗意。虽然当时说者处在对语言还未熟练掌握的阶段。这就在毛刺的微妙部位了。

消岐、纠（容）错、修辞三者的关系很有文章可做。更何况有一种修辞就叫将错就错。话说，有些组合，比如“烧脑”，不会是早就静静地等在那里供大家飙新词的，中间一定经历了若干铺垫，使得“推荐”已经到位了，但是语言实践还差临门一脚的状态。谁能破译这个推荐的密码，谁就有了创造新词的主动权。机器写作如能成功创造流通度很高的新词，才算真正的“写作”。目前只能算“套路”。在歧义资源没有用尽之前，修辞和纠错浮不上水面。在语用环境许可范围内，修辞资源没有用尽之前，纠错浮不上水面。如果语用环境排斥修辞或者修辞资源用尽时，才能引入纠错。纠错用早了，会让用户觉得系统“自作多情”。

李：
比较明显和容易的是词法纠错 对于形态语言 这个功能有助益
另一个有助益的是 习惯用法和搭配的纠错
这些都是很实用的。

白:
词法纠错是浅层技术就可以解决的。

记得一个有意思的案例。我输入“南摩”（“南京摩托罗拉”的简称），百度偏要把很多“男模”的搜索结果推给我。再不济，来自上海本地的搜索对“南模”（“南洋模范中学”的简称）也应该偏向程度更高吧？

鲁迅用搭配习语的纠错得气死：“屠戮妇婴的___”

李：
如今的纠错已经很友好了 都是交互式 而且一点儿也不 intrusive ，全自动纠错基本没有人买账。半年前装了英语的 Grammarly ，很实惠。虽然用的时候总在想，这玩意儿我要是有时间做，肯定做得更好更贴心。中文的 Grammarly 这样成熟的对等产品，还没见到，将来应该是个巨大的市场。虽然由于中文的毛毛虫更难缠，文法更弹性，纠错难度大很多，但是只要有 resources，这个工作是有把握做好的，只是有很多很多细活要磨。不知道 Grammarly 目前的盈利模式到我大唐可以不可以维持，来 justify investments。当然，帮助人写作，像 Grammarly 那样的 plugin 装了，可以随时随地，无处不在，做得好的话，这是惠及几亿人特别是几千万学生的功德无量的事儿，不仅仅看钱。我会关注这个领域的机会，最不抵，也可以退休以后做。

【相关】

【李白对话录系列】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

李：
问一下各位老师 “没的吃”、“没的喝” ，算是个什么结构？与 “没吃的”、“没喝的” 有何异同？“没的害臊”、“没的不要脸” 这类大概是口语习惯表达法 不在此列。

没的 vt == have nothing to Vt
VP 动宾结构 否定式宾语前置

“没 vt 的” 或者 “没的 vt 的”，也是 动宾结构的 VP，但否定式落在 v 不落在宾语身上，而且是 的字结构 做后置宾语。

梁:
“没的” 应该是方言吧？wei老师，闽南话。

李：

不仅是闽南 好像各地都有 至少是都能听懂的句式 .

“没的吃” = “没有可吃的” = do not have anything to eat.

没吃的 意思有差别吗？

do not have what to eat ?

没的 vt == 没的 可vt ？

问：“过得怎么样？” 答：“不怎样，这些年没的折腾。”

“没的折腾” 怎么回事？跟 “没的害臊” 类似 也是成语用法 而不是有产生性的用法吗？？

白:
没的折腾，不懂啥意思

李：
觉得就是 “净瞎折腾” 的意思。字面是 “没什么可折腾”。

没的害臊 是 真害臊
没的不要脸 是 真不要脸
嗨 别提了 没的生气呢，是 生气生不过来 的意思，太多气生了

咋回事 本来是说 nothing：没的生气 == 净生气了

白:
没的any more
先说这个“没”是副词还是动词。副词不好接名物化的“的”，所以是动词。如果“的”是“得”之讹误，更不具备结合条件

李：
“没” 是状态v，没有动作性，通常不带 【得字补语】

白:
这俩人有的一拼，这俩人有得一拼

李：
“没的 vt” 中 “没” 比 “vt”， 谁主谁副？
“没” 主，那就是 v：have nothing to eat；Vt 为主的话，可以看作否定式 “的字结构”做前置宾语：nothing to eat，eating nothing

白:
没的，更像是存在量词的否定
对比：有人来了
有和来，谁主？

李：
我处理成 “来” 为主。“有” 虚晃一枪：
有人来 = somebody 来

白:
我是把他俩合并，共享坑（不需要那么多萝卜），其他事情落地时再说。

李：
形式上看，自然是“有”为句法的主要谓词。带 【宾+宾补】的 subcat pattern 结构。但实际中，把宾补当做主要谓语，把句首的 “有” 当做小词，处理起来有诸多便利，也更靠近语义实质。

白:
当小词，处理变式需要当心

李：
有前条件的：必须位于句首。严格说是，跳过副词类小词，“有” 居于句首。有这么个约束。

白:
“酱油有买的吗？”
有时又及物，有时又折腾出一个主语状语两可的萝卜

李：
“有” 是个很讨厌的词。台湾国语可以表达完成体，倒是与英语平行了。这个台湾国语的用法如今已经推广到整个华人世界了，算是丰富汉语时体系统的一个小贡献。

白:
闽南话

李：
“我有学琴过，就是一直没上路。”
“你有看《长城》吗？据说巨烂，老谋子的好莱坞滑铁卢。”

还好紧随着动词，这种用法不太难识别。

白:
当助动词好了

李：
查了一下，“我们没得吃，没得喝”，还真是用 “得” 的，比用 “的”的多。想不出来，这 “得” 怎么冒出来的。

白:
没得到吃，没得到喝。
没东西得以吃，没东西得以喝

李：

我们没的（or 得）吃，没的（or 得）喝，已经好几天了。
这地儿没的（or 得）吃，没的（or 得）喝，我们来干啥？

从上例看，没 de Vt 作为谓语，可以要求一个 【human】 的主语，也可以要求一个 【location】 或 【org】 的主语。【human】或【location】常做主语。

【human】 have nothing to eat vs. 【@location】 there is nothing to eat

“没的 Vt” 相对于 “有的 Vt”：

入伙吧，保你从此有的吃、有的喝。

可是除了 “吃喝玩乐”，这个 Vt 也不好延伸而无歧义（歧义表现在“有的”做逻辑宾语还是作为不定代词【human】做逻辑主语，其实这种做逻辑主语歧义在上述吃喝玩乐的用法中也休眠隐藏在内，不过可能性较低而已）：

有的喜欢，有的不喜欢：
1. there's some to like and some to dislike;
2. some (people) like it, some (people) dislike it

没的学习？？？
nothing to learn？

白:
没的项目做，散伙算了。

李：
想得脑仁疼。就为对付这么个简单的破说法。

有一个简单的办法就是，对于这些个模模糊糊的结构，产生性不强，介于习惯用法的成语与非成语之间，见一个扔一个，统统进词典。“没的Vt” 也就不用琢磨这个 Vt 集合到底有多大了，哪些该词典化，哪些该规则化，各自的标配分析和休眠的种子又是怎样。譬如，大数据挖一把，trigram 频率就搞定大部该词典化的现象及其合适处置。而鸡零狗碎里面琢磨规律性，真心难，不值得也没时间花那个力气了。

嗨，奏酱紫了，好歹它了。

白:
“酱油有买的吗？”这里有坑:

第一，“酱油”和“有”没有先结合，而是选择了Sh。第二，“有”和“买”没有立即结合，而是选择了Sh。

李：
买的 = 买的人？
如果换成“卖”：卖的 == 卖的东西，回指 “酱油”。

“酱油有卖的吗？”
“没有卖的，有赠的。”

白:
哈，卖的、送的，买的、偷的、拿的，

李：
酱油有买的吗 == 酱油有买的人吗？== 酱油有人要买吗？
这是最常见的理解。但不排除：
酱油有买的吗？ == 酱油有买来的么？（还是全部是赠送的？or 全部是抢来的）。
这里，“买的” 回指 “酱油”。

有意思的是，如果是“买”，指人的概率大（hence 标配理解），回指的概率小。
如果是“卖”，则反过来，回指是标配理解，指人概率小。

白:
在我的处理里，都模糊掉了。

李：
hidden 歧义，句法模糊掉，是对的。

白:
在“卖”的场景下，不完全是回指，存在“整体-部分”关系。也许还有留一部分自用的、送人的。先行词是整体，含省略的搭配词+的是部分：

礼我只收脑白金。

也是同样。

李：
我所谓 “回指” 包括 整体部分的关系。是我用词不确。以前说过类似的： hit sb on the head：hit 的是人 还是 人的头？其实都对：hit 了头 就 hit 了人。头”回指到人。

白:
白马非马

李：
i love iPhone for its screen
I love the screen of iPhone

喜欢的是手机还是屏幕？我们做 sentiment 的认为 都算。喜欢部分就是喜欢整体。

白:
Among the horses you gave me, I love the white one.

讲点逻辑的话，不算。爱屋及乌是有的，只爱屋不及乌也是有的。

说某些议员是狗婊子养的是骂人，说某些议员不是狗婊子养的也是骂人。

李：
逻辑是这样的：

I like the screen of iPhone and hate its battery life

so this person has 2 votes for iPhone：1 positive and 1 negative。只有这样 sentiment 的统计才真正具有舆情的意义。世界上没有完美（脑残粉的视角不算）。喜欢一个 object 永远是喜欢它的（让人喜欢的）部分。有时候这个部分（Aspect）被明确表达出来作为理由。有时候不表达出来。从舆情的角度，就是投票。喜欢一个部分，就是对整体的正面的一票。喜欢整体，没有明确表达喜欢的部分，也算是一票，因为他心里其实是有部分的，理论上不可能是百分百从头到脚到细胞到令人讨厌的部分都喜欢。前者除了计入褒贬情绪（即舆情）的统计票数外，还提供了 actionable insight，具有具体的情报价值，后者只是舆情的发泄而已。

白:
往往，喜欢一部分而不提另一部分，就是委婉表示不喜欢另外部分

李：
那么想，就没法做舆情统计了。你那是言外之意，正话反说；不是没有，总体是少量。

有一次应邀到一家公司给个 sentiment 的 talk，听众有问，讽刺如何识别，我说，讽刺的确是挑战，不仅对我们是挑战，对大家都是挑战。讽刺中的形式痕迹，也有可以识别的，但更多是缺乏形式痕迹的，或者形式表现在语气和表情这些 text 以外的方面。

可以识别的形式有：

1.  thank you for 【BAD behaviour】
2. 【BAD behaviour】，great！

【BAD behaviour】是各种具体的负面表述或吐槽，而句首或句尾的正面情绪 thank you 或 great，形成反差，因此构成了形式上可捕捉的讽刺。通常的逻辑总是拿具体的正面（反面）证据来支持正面（反面）的情绪或评价。如果这个范式被打乱，就可以传达讽刺。

接着我说，但是很多讽刺是没有显式的文本痕迹。对于人的理解有时也构成困难，比较木的人或情商较低或经验不足的人，往往也无法 decode，对于机器自然也就难了。譬如 刚谈恋爱的愣头青 往往听不懂对象的话。但对象说 no 的时候，他不知道其实不一定是 no，很可能是 yes。

达令，给你买个你一直超喜欢的名包吧？
No，这包太贵。

这个傻瓜居然就真地不买了。三个月后，对象跟隔壁阿二跑le。阿二不仅仅有钱，也有心，懂得察言观色 body language，善于 read between lines，尤其擅长 decode 女性的话语。

马:
看得懂这标题吗？ "曝国王将考神交易至鹈鹕 联手浓眉组双塔" 也许有背景知识的能秒懂，我是没懂，看了正文才懂

白:
这个例子好
“联手”的逻辑主语怎么确定很有看点。

李：
我完全看不懂。不知道我的 parser “看懂了”没有：

从模拟domain专家理解的角度，几乎肯定错得离谱，因为根本没有domain的知识训练和词汇外挂。我们 domain-independent parser 的是语言学分析的“合理”。在 domain 化（domain porting 90% 涉及的是词汇表术语及其本体的引入，其次才是边缘规则的微调）之前，上面的这个parse，看上去应该说是合理的。

白:
需要知道，“国王、鹈鹕”是org，“考神、浓眉”是individual，联手individual的只能是individual，等等。“a联手b组c”，有兼语的味道。组，是动词，组成的缩写。

李：
“浓眉组和细眉组，分头出击。”
“浓眉组双塔顶不过细眉组单塔，真是不可思议。”

白:
语义场在起作用
球队、球员、转会交易、阵型，暗中互相支持。这些命名实体很可能不用定义什么，就可以自动获得这些标签。大数据太丰富了。还需要知道，在NBA场景下，“浓眉组”是超低频的。

【相关】

【李白对话录系列】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

“张三把眼睛哭肿了。”
眼睛都被张三哭肿了
张三眼睛被哭肿了
张三眼睛哭肿了
眼睛张三哭肿了
哭肿张三眼睛了
张三哭肿眼睛了
哭得张三眼睛肿了
张三哭得眼睛肿了
张三眼睛哭得肿了
张三的眼睛哭得肿了

眼睛 一句是主语 一句是宾语 句法不能说错。supposdly 到语义模块去统一到逻辑语义上去。

Me:
这一组图献给@刘群 老师
我们曾经争论过汉语语序的自由度问题，我说汉语语序除了极少数对svo有直接冲突的OVS（正解SVO）不被允许外，其自由灵活，到了几乎随心所欲、想啥说啥、有法无天的裸奔的程度。
刘老师颇不以为然，坚持孤立语的本性就是语序固定，汉语不会例外。

刘:
谢谢@wei 把这些图献给我
换个例子：猫咬了狗，狗咬了猫，猫狗咬了，狗猫咬了，咬了狗猫，咬了猫狗，……语序自由吗？

Me:
自由度是一个区间，不是二值吧
ovs 不被允许，是其不自由的一面，不过数量上不自由的变式远小于自由的变式。
总之，不看数据的话，我们不会相信汉语如此任性。

刘:
我那个例子，osv，sov，vso，vos都不行啊

Me:
猫狗咬了，狗猫咬了
听上去没啥问题啊，还是我耳朵有问题？

刘:
不知道谁咬了谁

Me:
不知道也没啥问题啊
都是合法的

刘:
意思变了，就不是语序自由了。语序自由的前提当然是意思不能变。

Me:
拿语义或常识来纠缠句法语序自由, 不是一个好的辩护汉语总体语序不自由的路子
窃以为。这样辩论的话，我就给你： 鸡我吃了，我鸡吃了。自由还是不自由呢？

刘群:
你也是用例子来证明语序自由啊？并没有统计数据
规则都有反例，个别反例不能推翻整条规则
语言规则吧

Me:
你举的更像是反例，弄了个猫和狗，恰好是本体上平行的概念，都食肉，也都被食。
这种例子更像是反例 而不是 norm，所以我以子之矛可以还给你否。
当然 到目前 控辩双方都还停留在例句阶段。都还没有统计数据。

刘:
我的例子一点都不特殊：特朗普会见安倍，俄罗斯占领克里米亚，……

Me:
克里米亚俄罗斯啥时占领了
特朗普安倍会见了吗？
安倍特朗普真滴会见了啊？
会见了安倍特朗普还见了谁呢？

我的例子也不是 outliers 呀。说出来听起来都那么接地气

刘:
就用这个例子吧："我的例子也不是 outliers 呀"：我的例子outliers也不是啊，outliers也不是啊我的例子，outliers我的例子也不是啊，也不是我的例子outliers啊，也不是outliers我的例子啊。

Me:
谢谢 & 欢迎刘老师站到我这边来！
这不正是语序自由的现身说法吗

刘:
嗯？你觉得上面那些句子都成立吗？我觉得大部分都不成立。
我是反驳你的说法

Me:
不成立？

刘:
不成立

Me:
看样子得 crowdsource 给 native speakers 去投票决定了。

我听起来无障碍，都理解了不算，感觉还蛮顺，至少是接地气：老百姓就是这么说话的。社会媒体更甚。

当然如果给新闻系教授, 他可能会教育学生不能这样写。在有很多个表达（不仅仅是语序自由）的时候，技术文献和新闻工作者会被教导去选择所谓规范的表达法。但语言事实和普罗通常不听这些指教。

其实 坚持汉语语序自由得不像话的观点，不是为论点而论点，而是提醒自己和同事，我们在写 parser 的时候，必须把语序自由作为一个重要的角度来看汉语。 否则无法做出一个鲁棒和召回率高的汉语解析器。

刘:
不管哪种语言，在社交媒体上，都不太讲究语法的，特别是短句子。这不能成为汉语语序自由的证据。英美人说话，口语、短句子、社交媒体上，不合法的句子比比皆是，不能因此说英语语法就要废除了。

Me:
我们当然希望语言都是语序固定的 这该省多少力气啊。线性pattern就是以次序（linear ordering）为基，语序灵活了，patterns 就成倍增长。非语序的其他因素可以在既定的pattern里面调控，无需增加patterns，唯有自由的语序是一件躲不过去的功/工。

刘:
即使是汉语，我们表达稍微复杂的内容的时候，一般都会用svo的，不会随便改语序，否则给自己添加麻烦

Me:
汉语操蛋就操蛋在这里： 你本来就没有形态，小词也是能省就省，你还要语序灵活自由，你还让人活不活？国人的投机取巧甚至在语言表达上也如此彰显。可是我们还是要面对现实。

刘:
没有这么可怕，汉语parser的准确率比英语并没有低太多

Me:
汉语 parser 比英语没低多少，是在新闻上么？
新闻是语言大海的三滴水。

刘:
其他领域没有确切的数据可比较。

Me:
还是可感觉的

这一回合，算是打平了，如果刘老师不坚持要我举白旗的话。

刘:
不能靠感觉。
@wei 老师客气了学术讨论，有争议很正常。
我也没有数据说服你。

【相关】

【语义计算沙龙：语序自由度之辩】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

李：

至于基本短语的 Phrase Structure (PS) 边界迷雾（【长大的战友】），除非发现碍事（譬如不加修整地在产品 display这样的xp结果），不管他了。说到底，pure dependency grammar tree representation 本来是没有显性边界的，没有短语结构(PS) 的牵扯，一切都发生在词与词（terminal nodes）之间，只不过我们在实践中，把乔老爷的短语结构的概念，有限度地在 shallow parsing 阶段带入，成了一个 hybrid tree, 这才有了这个所谓的边界的问题。换句话说，这是一个系统内部在模型化过程中“人造”出来的问题。

白:
这是“坑”和“坑的坑”不加区别地混同的结果。

李：
这种 hybrid 的表达法的好处太多了，以前论过 (e.g.《语义计算沙龙：基本短语是浅层和深层parsing的重要接口》)，带来这么点副作用我觉得可以忍受。但我们应该记住，dependency 的本质原本就是独立于短语结构的（属另一个 very competitive 的 syntactic representation），所有的边界都可以通过父子关系，间接而完整地事后确定。譬如上图中“已经”和“儿女”都是【长大的战友】的children，“长大”也是 ，边界事后确定校正就包括了这些儿女，if needed。不影响核心逻辑语义及其理解是关键。

白:
如果站在填坑的角度，区别二者是理所当然的，并不需要刻意多做什么

李：
白老师是，站着说话啊。

白:
这只是说明“树”这种结构不如“坑-填坑”这种结构更接近语言的本质

李：
白老师上面这句话很妙啊：我个人的翻译就是，乔老爷的短语结构那一套（PSG及其表达法），不如词（概念）与词之间的依从关系更接近自然语言的（逻辑）本质。I honestly cannot agree more.

所谓坑与填坑的结构，就是依从关系建立的条件匹配与满足。“不需要刻意多做什么”是你心中的 approach。我现在的patching就不是这样了，在我这儿，为了人看着舒服的事儿，可以做，但不是必做。必做的事儿是在应用的时候碰到了不想要的后果，那就回过来再把屁股擦干净。

白：
他那些杀红了眼，刺刀上沾满血的战友们可管不了那些了。

“儿女”有坑，把“战友”捎带上还可以解释。“刺刀”的坑是“枪”，“枪”的主人是human，这弯儿拐的。句法非标配的坑，靠语义中间件凌空凿开一个坑，才能把定语从句的钩子钩上。

第一个“那些”如果去掉，好像不通了，或者说链条断开了：

？他杀红了眼，刺刀上沾满血的战友们可管不了那些了。

所以，凌空开凿的坑无法填装远距离的“友元”。

李：

白:
“刺刀上沾满血”是自足的，弄个S出来，似乎不能自圆其说。

李：
有那么自足吗？

战友们刺刀上沾满血
战友们沾满血
刺刀沾满血
刺刀上沾满血

这个后置词“上”字把本来可能的一个主语降格了，变成更像状语了。这就为 “战友们” 出场做主语创造了条件或坑。

白:
S，一定有填坑的关系。“战友们”究竟填了什么坑，不深究是看不出来的。
好像“刺刀”和“战友们”通过这种结构浑然成为了一个整体，“刺刀”成为了“战友们”的一个部件（body part）。

李：
虽然董老师那一层的逻辑语义，可以不管这些表层的 trigger 而保持 【human】 和 【physical object】二者的逻辑地位的稳定，但是 parsing 过程中，这些句法痕迹及其引致的句法“坑”的动态变化还是有迹可循的：PP 把潜在主语降格，让位给其他 NP：

他沾满血了？哪里沾满血？
他在（他的）刺刀上沾满血，身上滴血不沾

“战友” 是大物体，“刺刀” 是小物体。“刺刀” 在这个场景，就是大物体中的一个小物体，与 body part 功能很接近。“他刺刀上沾满血，可手上却没有”，这与前一阵子讨论过的英语表达 "hit sb on+bodypart" 类似，到了汉语就成为所有关系的表达了:

他击中了我的头

击中 的是 “我” 还是 “头”？ 沾血的是“人”还是“刺刀”？当然，“上”也是一个讨厌的小词，在接近成语的表达法中不一定降格，譬如 用“组织上”代替“组织”做主语的情形。

组织上批准了你的建议。

对于战士，刺刀就是手脚的延伸，成为一个战士的不可或缺的部件。

白:
地方上，县上，州上
甚至“今上”

李：
这现象是词典化的了吗 还是相当地开放？

白:
他衣服上残留着油渍。他工位上挂着两条领带。他单位里流传着很多绯闻。
他桌子上永远整整齐齐。

可以肯定，1、这是一个系统性的现象，不是偶然或者活用。2、到底是主语还是应加但未加“的”的定语，似乎有个连续的谱系。3、一个具体用法在这个谱系中的定位，与形式状语和形式主语整合为一个整体、或者说形式主语延伸到足以包括形式状语的可接受性有关。整合越不可接受，形式主语越像定语；整合越可接受，形式主语越像逻辑主语。

李：

语言学理论中 主语与定语 地位很接近，虽然前者属于 arg 后者属于 adjunct。它们都是 external 的成分 有很多相通之处。乔姆斯基xbar 理论的起因之一就是要统一主语和（部分）定语，在句法结构的理论上给一个统一的说法（参见 乔氏 X 杠杠理论 以及各式树形图表达法）。

【相关】

【李白对话录系列】

《泥沙龙笔记：漫谈自动句法分析和树形图表达》

乔氏 X 杠杠理论 以及各式树形图表达法

【语义计算群：句法语义的萝卜与坑】

《语义计算沙龙：基本短语是浅层和深层parsing的重要接口》

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

我:
朋友终于装上了赫赫有名的谷歌 SytaxNet 中文自动分析器。随手试了一个例子。From syntaxnet, we have this parse:

From yours truly, this is the result:

To laymen's eyes, they look alike.  They are both dependency trees. Of course. They seem to have used the same or similar tools for drawing trees.  But beyond these, they are so different.  天壤之别 in data quality.

For the SyntaxNet：(1) the link between 啥 and 体验 is wrong: it is not conj；(2) subject is also wrong，公司 should not be subject, subject is 投; (3)object of 投 is wrong, it is not 人去楼空, it should be 公司; (4) 投-VP is 定语从句，where syntaxnet is wrong too.  Out of 8 dependencies, only 2 can be judged as right (了 is linked right; 的 might be judged as right as it is linked to 投 as relative clause marker) and they only involve 小词, all notional words are linked wrong and the function word 家 is also incorrectly attached, it should be linked to 公司.  This is from the parsing system which claimed most accurate a few months ago.

白:
这里涉及几个细节：1、凭什么断定“家”是量词而不是名词？在扫一个处理一个的工作模式下这很有些勉为其难，因为真正强关联的词“公司”可能隔着远距离才能看到。要明确大家的工作模式都是可以等到不管多远的距离才出现的，大家一起比才公平。

1、凭什么断定“家”是量词而不是名词？在扫一个处理一个的工作模式下这很有些勉为其难，因为真正强关联的词“公司”可能隔着远距离才能看到。要明确大家的工作模式都是可以等到不管多远的距离才出现的，大家一起比才公平。2、“投”和“体验”各空出一个未填充的坑，但这两个坑是有关联的----谁投，谁体验。两种分析结果都没给出这个结论。

2、“投”和“体验”各空出一个未填充的坑，但这两个坑是有关联的----谁投，谁体验。两种分析结果都没给出这个结论。3、“是”接受谓词主语时，对宾语（表语）进行了一次约束，即宾语要么也是谓词，要么是对谓词有概括能力或者收束能力的名词。最后进入宾语位置的，到底是动词“体验”还是名词“体验”，是有讲究的。

3、“是”接受谓词主语时，对宾语（表语）进行了一次约束，即宾语要么也是谓词，要么是对谓词有概括能力或者收束能力的名词。最后进入宾语位置的，到底是动词“体验”还是名词“体验”，是有讲究的。“什么”可以把动词强制名词化，也可以自然修饰一个本色名词。但这对“是”语义是有区别的。谓词 是 什么 + 谓词，说的是两个谓词在时间上的叠合、因果上的联系。谓词 是 什么 + 名词，说的是用后面的名词对前面的谓词进行分类。“投”与作为名词的“家”，有那么格格不入吗？如果语料中投张三家、投李四家、王家赵家都OK，这里仅看到“投了家”就断定不OK，也太武断了点。既然不能断定不OK，起决定作用的还是与“公司”的强连接。对于静态文本处理的场景，一次吃进一堆，把强关联的量名搭配挑出来不难，对于语音或动态文本处理的场景，确实需要等。即使是静态文本处理，如果确定pos和做match是两个分离的步骤，pos的确定不依赖于match的阶段性成果，那么确定pos需要用到的窗口就必须足够大——大到可以把远距离的量名搭配容纳进来。否则，“家”的名词义项会在概率上占优，同时在局部找不到推翻这种优势的硬证据。

wang:
白老师，这里引出了2个问题  1），POS 和match ，如何走的问题？ 2）不同情形下，窗口多大要拉多大的问题？

本人的主张，是POS和match协调走 。或说是WSD和Parse协同进行。若不依赖match阶段性结果，单靠pos自己，可能窗口再大，效果也不见得好，除非支撑的语料能足够大。

“投了家去年还是公司业务额超过同行二倍，而今年公司利润却几乎是零的公司”

这里的“家”与最终的关联的“公司”，实在距离太长，而且其中还有干扰型的两个“公司”。要支撑这样的窗口长度的数据，--太难白硕:

白:
有“公司”出现就可以被wsd加分，真正修饰哪一个“公司”，只能靠matcher独立判断。除非构造一个受“公司”干扰、后面居然还不取“家”的“量词”义项的例子。比如，“没有家的支撑他不可能把公司做这么大。” 或者再离近一点，“没有家的支撑公司不可能被他做到这么大。”wei wang:

wang:
窗口长了，内容的处理只好粗糙些了白硕:

白:
如果是纯粹基于规则，可以耍个流氓，把“家”归入一个变色龙词类，见人说人话 见鬼说鬼话。但是基于关联，耍不得这样的流氓。N+和N不能用X来做wildcard。wang:

wang:
嗯，明白。基于关联的方法，虽然有点难，但走远还是有望的。白老师的例子，“没有家的支撑公司不可能被他做到这么大。”，感觉“家”也不能被“公司”挟持着
想了一下“没有家”做特征也不妥，“没有家支持公司开辟海外业务的保险公司”
这里“家”--又变了“量词”。解析不决问谷歌，或百度：Without the support of the company can not be done by him so much.

Without the support of the company can not be done by him so much.
wei wang:
谷歌解析，--把“家”弄丢了No home support company can not be so big.

No home support company can not be so big.
百度，家倒是出现了，“家”字面翻译wei wang:

“投了家人去楼空的公司是啥体验？”
百度：The family went to the floor of the empty company is what experience?
wei wang:
谷歌：Voted to empty the company is what experience?似乎，谷歌对量词“家”还是可以的

似乎，谷歌对量词“家”还是可以的
-----看来“家”是量词和名词，结果也是不尽人意

我:

@wang 你造句的时候能不能普罗一点儿？不带这样的。

wang:
李老师，第一个句子分析不错。第二句子是为了拉长“家“和关联的“公司“的距离，而造的，确实有点难为机器了。只是说明，距离长可很长。

我:
我是说你缺乏同情心, :=)

wang:
第三个句子，那个“家”没处理出来，有点遗憾。
认错，同情心对机器。“开辟海外业务的保险公司” 独揽了，导致断链。

白:
还没有见到用干扰项“公司”把“家”成功引走的例子。

wang:
说明这抗干扰能力，不是一般的强啊。

这家早就成为公司的临时办公室了。

刚才仔细模拟机器分析句子，“没有家支持公司开辟海外业务的保险公司” 分析出“家”为量词，这个确实太难了。好几处匹配都几乎坐实了“家”为名词，而翻盘的力量实在太微弱。当然基于规则的方法，可能会另有春天。
谷歌的翻译确实了！

There is no insurance company that supports the company's overseas business

以上这是百度的翻译

No home support company to open up overseas business insurance company

以上是谷歌翻译。百度的表现，真心不错

白:
本群就有百度的好几位大牛哦。
“难道就没家给公司提供像样的办公用品的公司吗？”

很赞！

wang:
向百度大牛学习！

白:
好几位百度从事NLP的专家在本群潜水。

“百度”没逃过去这个远距离相关的陷阱。

1024位素数作为模，应该够安全了。

digits没翻出来，prime也没用复数，捣浆糊啊。
模翻成model, 数学上也不算对。

三位整数做密码，太不安全了

又是捣浆糊。
但这里明显是三“个”整数的意思，只不过语法错了。原文是一“个”整数，有三个十进制位。

量词兼其他词类的情况，是很细的细活儿。
调戏完毕。

【相关】

【李白对话录系列】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

白宫命令司法部申请紧急冻结今天华州政府在西雅图联邦法院申请到的总统冻结穆斯林七国入境EO的临时冻结令。
如果成功的话，临时冻结令将被紧急冻结令冻结，穆斯林七国入境继续冻结
#自然语言理解太难了#

wang:
李老师这是要把机器累吐血啊！
不太理解为何要和这类超长难句对上了。
以前只顾着忙着单句，对篇章理解终未敢有奢望。
恩，到时句法分析，感觉可以分成若干小句来分析也不错。
只要把前继跟准了，把大树搞成森林，由若干棵小树构成，而每个小树分析结果表达清晰准确。也是一种选择

我:
不是跟难句过不去，是 parse 着玩。现如今凡是遇到 “绝妙的中文”、，#自然语言理解太难了#  这类标题，就忍不住想，我 parse parse 会怎样呢（e.g. 《立委科普：机器可以揭开双关语神秘的面纱》）。是一种类似于软件工程上 stress test 的心态，人说难，偏试试，看极限在哪里。哭笑不得的结果有之。喜出望外的也有，以为难仔细一想其实不难。总之都会有启发。不特意为这些 outliers 去动手术。不值当。

特别心烦意乱的时候，啥招都不管用，只有调系统可以安神。明知系统是个无底洞，以有涯对无涯。killing time，一点儿也不殆。

白:
“这些泡沫包装糟透了。”
“这些水果包装糟透了。”

我:

“泡沫包装”作为合成词词典化了。

白：
“这些学生宿舍都没回就一头扎进了图书馆。”

我:

第一句差强人意，层次纠缠。知道病源，不敢确定该不该修理。分层这事儿，你不能占尽了它的好处，一点不吃亏啊。主要是衡量亏的大小，值得不值得去打补丁或做高危微调的动作。观望。有时候需要时间和新的数据去驱动和决策开发和维修。

【相关】

【李白对话录系列】

《立委科普：机器可以揭开双关语神秘的面纱》

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

李：

这一句有点难有点难。

难在“相比”作为副动词，这口气太长了：里面混杂了并列小句的定从。

这句 tricky，实际上是有两个被动式：一个是“被关押”，一个是 “被...打死”。汉语中被动态可以而且经常不用显式“被”。这样一来，如果两个动词前面出现了一个 “被” 字，这个被字可以给第二个动词，近水楼台不得月的第一个动词没得到这个被，也并非就不可以是被动。

有点操蛋。算了，拉倒：就近原则，作“被关押”解。否则容易顾了东头顾不了西头：

wei wang:
是否有些武断？
双“被“不能同时出现在一个句子，不顺口，区别还是在“病死“or“打死“，语义制导了句法。若是“夹伤“又如何？可能夹伤己，也可能夹伤他，打死，病死排他性强。

李：
对，病死 vi；打死 vt。

白:
病死一个坑

动结式动词，两个坑都相谐的，只说一个，一般认为是逻辑宾。“张三赶走了”意思基本等同于“张三被赶走了”。

李：
动结式 被动态的常规是省略“被”，而且这种宾语提前，比宾语后置更常见。汉语中的 可能情态 也具有这个特点：宾语提前，或者说，隐性被动，更常见：

他可雇
== 可雇他
== 他可被雇

尽管 “雇” 是两个坑，而且都要求 【human】，但是 “他可雇” 里，只有一个 NP 处于主语位置的时候，常常是填逻辑宾语的坑，而不是逻辑主语的坑。机关就在这个“可” 上面。

白:
所以，处理到动结式了，可以把已经入瓮的“被”踢出来，让其重获自由。

记得有个古代的故事，别人给皇帝送的吃的，宫里守卫拦住了，问：“可食否？”送的人回答：“可。”守卫拿过去就把送来的东西吃了。

李：
这个故事妙。汉语的 【可+V】 是一种构词法，其实就是合成（or 派生）形容词（deverbal adjective：derived adjective or compound adjective）了，但是词源上来自动词的情态式。问的人是当动词情态式问的，回答的人是当形容词理解的。拧了。其实是历时语言灰色过渡阶段的现时反映，颇有意思的汉语语言学。

白:
可造之材，可塑性好，高可用

李：
类前缀“可-”，可比较英语的后缀派生词：-able

readable：可读
可行性，可读性：feasibility，readability

这是从形容词通过后缀“-性”进一步派生为名词了。非常有意思的现代汉语“类派生”现象（词法上介于 compounding and derivation 之间的语言发展苗头，我博士论文中谈到汉语类语缀现象时，特别论过: PhD Thesis: Chapter VI Morpho-syntactic Interface Involving Derivation）

白:
要，也是：“已经放下武器的敌人不要打”

李：
对

白:
这些都带有决策性质，决策者就是说话者，执行者就是听话者，不言而喻。所以再有指名道姓的萝卜，一定填逻辑宾语的坑。执行者（听话者）是隐含的逻辑主语

李：
决策的语义对应的是语法的祈使句。当然祈使句在孤立语中有概念，少形式，也不好区分。

白:
如果特别对听话者指名道姓，往往用同位结构：你们三团要狠狠地打。

李：
“你们” 第二人称，可以另算。“我们”第一人称也算有痕迹 （lets）

白:
这是旁证

李：
“咱们” 就更棒了，作为祈使句形式痕迹，更加彰显。

白:
那是套近乎

李：
“咱们” 开头，几乎都是祈使句。

wang:
你们三团要很很打
这句，主动，被动都可能。刚才白老师说的“要打”一被动也成立：
部队一定要打压一些有骄傲的风气的单位，你们三团要狠狠打。
这个例子没举好，
还是不存在被动？只能是主动缺省宾语？看来得求教二位老师

李：
逻辑宾语的解读对于这类句式是一个蛮明显的趋向、heuristic, 总是可以找到反例

wang:
嗯，谢李老师解答，我这边太晚了，有空聊

【相关】

【李白对话录系列】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

李：
董老师的例子。

勉强回答了谁逃票翻墙。还有 谁进入 谁被咬死，暂时搁置。貌似汉语“连动结构”可以很自然一路顺下来。

白:
一路顺下来，是因为另一个坑都不是人。
那个“被地主放狗咬伤了腿”可以试试

李：

动宾离合词 “放狗” 带了个句法的 O “那个” 貌似矛盾，原来事出有因：放狗 带上了 passive 特征，于是前置NP就做了 O，已改正：

这里遇到一个层次纠缠的问题。语言中的直接引语，或括号里面的附加成分，不能与外部一锅烩。parser 应该有机制分别处置，然后再拼接。真要实现也不难，但貌似多数系统（包括我们）没有做。假设内部由 blahblah 代表，那么外部应该是酱紫才对路：

白老师，“被地主放狗咬伤了腿”有什么玄机？

是 “腿” 找不到主儿吗？哦，是 谁“咬伤” 的问题。
句法不必管那么多。不影响总体结构的，原则上句法开始都不管：谁咬伤了（腿），谁的腿，这些问题可以推后，后去也许做，也许不做。

白:
什么叫影响总体结构。

李：
譬如上面的 parse 图，就不受影响。没连上的节点在句法上都有直接或间接的联系，而且句法上说得通。后去的语义模块顺着这些直接间接的联系，可以把漏掉的逻辑语义补全。换句话说，句法关系和逻辑语义在这里是可以分开处理的。能分开的时候不分开，就是把句法拖进泥坑。实在分不开了，句法引进语义、甚至常识（碎片），都是合理的。

白:
狗和咬是应该做出来的

李：
“狗”和“咬” 分开了，是因为 “放狗” 是一个分离合成词。“狗咬” 也可以看成是一个合成词。两个合成词相交了，句法原则上不进入词法，这时候，没出来在句法上情有可原，语义模块要想再挖出，条件是具备的。同理，下面的“同事”、“邻居”、“儿子” 都有人与人之间关系的坑。句法阶段只要不影响大局，不用纠缠这些关系的语义细节。都是 mod。先连上再说，这个parsing 还是脉路清晰的。

白:
太死板了

李：
汉语句法已经够麻烦了。个人的体会是，能简化就简化，尽量给句法减压。这对系统的鲁棒、维护和周全，都有好处。后去爱做多深做多深。反正条件只是更好，不会比做句法的时候更差。

白:
狗和咬连不上是硬伤

李：
以前说 parsing 是可以见底（tractable）的事儿，主要指的是句法总体。如果把逻辑语义的每一个细节，包括隐含的，都一一解析出来，就很难说是可以见底的了。所以，总体上的感觉是，句法模块基本可以做周全、完备，而语义模块则是一个 optional 的渐进的（incrementally enriched）。开发NLU产品的时候，语义落地模块应该以句法模块为基础，可以借力慢慢完善化的语义模块，但不要指望语义模块的完整性。所以我以前把句法后落地前的语义模块叫中间件，意思之一是可有可无。

白:
狗和咬，不是语义问题。

李：
狗和咬不是语义问题，那么吃与饭也不是语义问题。HowNet 是语义词典，不是具体语言的词典。查一查 HowNet，应该可以看到 【狗】 和 【咬】 的语义联系。

白:
不对，我说的是本句里狗和咬的句法联系是明显的。
离合词脱离句法后患无穷。

李：
来了来了：

“狗” 倒是 连上 “咬”了，可是与 “放” 的联系切割了。这在句法都没什么，另一边漏掉的，语义模块可以补全，如果需要的话。

白:
本来就是俩爹的结构

李：
兼语结构。不错。如果没有离合词的纠缠，就是一个句法内搞定的兼语结构。
真地无所谓。并不是做不出来。只是系统决定在哪里做方便而已。再如：

老师批评了谁，这也不影响句法总体框架，因此也可以搁置。

发现了什么？不影响，也搁置。(发现的是抄袭事件还是卷子？似乎是前者)

“打一巴掌” 句法动宾（也有一说是动补），逻辑语义是【方式】。“打李四” 句法动宾，逻辑语义【受事】。当二者同时出现的时候，前面的NP降格为 Mod，也是一途（cf：【李白之21：萝卜多坑不够咋办】）。句法结构仍然在：后去语义模块可以解析出【受事】和【方式】，if needed。

wang:
头一天上班，晚上又朋友吃饭刚回到家，看了李白对话。李老师的系统对以上句法解析不错。

句法解析的目的是给后面语义分析使用的，那些句子，如“发现“了什么？“批评“了谁？“躲”过了什么？谁“躲“的？在句法结果后，都是要解决的，也是最有价值的，白老师正是要去解决这些问题的，我定为”句法树（图）后“的问题。

李：
我以为然。

wang:
我在句法树阶段，李老师也许句法（图）阶段，但白老师是在做这之后的深挖。
李老师，我个人认为那个长句分析怎样，意义不是特别重要，纯个人观点.那句可能还存在语病，何况说者不喘气，听者（读者）也得歇口气吧！

【相关】

【李白对话录系列】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

白:
“这桩打得头破血流的离婚案真是蹊跷。”
量词兼其他词类的情况，是很细的细活儿。

李：

:

白：
“这碗花纹很别致的冰激凌其实并不好吃。”“这碗花纹很别致的你可别错过了古董。”
这有难度了。“碗”的窗口要很大才能确定它是名词还是量词。

李：

感觉第二句是灰色句法，拗口，罕见。

白:
把后面从“你”开始截掉试试。
“这碗花纹很别致的。”

李：

白：
看起来是句法一本道。但是花纹是有坑的，大小主语结构同样说得通。但是前者量名搭配不相谐，后者大小主语相谐。好的分析器应该搞出后者。但是如果pos在别处做出来，无法利用大小主语信息，就不好说了。这里就存在一个问题，在pos意义上而不是在分词意义上的休眠唤醒。一本道被语义不相谐打断链条，转而寻求另一pos。这是matcher和wsd之间的双向互动，而不是单方向的上下游工序。

“这碗花纹精美。”

所谓一本道是在确定了pos之后的一本道，而pos恰恰是有可能翻盘的。遇见一本道与语义不相谐叠加，不应是如乔氏green ideas般强行闯关，而应是回头检视pos的其他候选。另外，大小主语之间，小主语往往是大主语的body-part、亲属/关系词或者是某个侧面特征（sentiment中所谓aspect），这个subcat层面的联系和相谐是十分明显的。要想pos不回头，就必须使pos“变相多态”，事实上承载多个pos。

李：
算对还是不对？我被绕糊涂了。

白:
分析出大小主语算对，分析出量名强制搭配不算对。
我是在揣摩你的pos是在什么地方确定的。为了得到正确结果，确定pos的那个环节该做些什么。是不是需要某种广义的休眠唤醒

李：
我基本不做 pos，以前专门论过：【中文处理的迷思之二：词类标注是句法分析的前提】

白:
那此处的“碗”到底是不是量词？

李：
也是也不是。
论点是 pos 作为独立模块 也许对汉语 parsing 可以有些帮助。但是 第一 不是必要；第二 即便做 也不要做多做全，最多蜻蜓点水就够了。多做无益有害。

白:
不讲一般理论，就讲这个例子

李：
这个例子没看出 pos 的必要

白:
实践中，不做多做全，就必须留反悔的口子。

李：
词典里面 碗 是 【container】，也是 【器具】。这就够了。这是词典信息 不是上下文的 pos tagging。

白:
不管怎么说“这碗”是做了“花纹”的mod

李：
不错呀。mod 是句法关系，可以表达多种逻辑语义，【拥有】、【性状】、【色彩】、【材料】、【施事】、【受事】、【对象】等等，当然也包括【部分-整体】、【数量】。parsing 的句法阶段不细究属于何种逻辑语义。

白：
当然“这碗的花纹”在你那也是“这碗”做mod，小词被过河拆桥了。

李：
这不很好吗？同体后 要细分也是可以的，到语义模块去磨。

白:
感觉是耍了个高级流氓

李：
句法耍一耍 是正道。到了后面的语义模块 就要讲究 love 了，要有 chemistry，句法不到不得已 不谈恋爱。

白:
都勾搭上了，还不说自己是男是女的感觉
李：

李：
【新智元笔记：中文处理中的POS、搭配和句法】, FYI for those who came to this group more recently

白:
到了今天这样鲜活的例子才知道这等原则落地是啥意思。

【相关】

【新智元笔记：中文处理中的POS、搭配和句法】

【中文处理的迷思之二：词类标注是句法分析的前提】

【李白对话录系列】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

白:
“每人选一种动物做研究。”“每人选一个小伙伴做研究。”

我:
好吧，来两颗圣诞奇异(歧义)树，祝各位圣诞快乐！

当树长得不像树的时候，我们开始怀疑。人可以做研究，动物可以做研究吗？都可以。不过一个主动，一个被动罢了，但汉语的被动不必用显性形式（“被”）。汉语做研究比英语难。
== 汉语被做研究比英语（被做研究）难。
== 对汉语做研究比（对）英语（做研究）难。

总之，“做研究”有两个坑：施事和对象，前者要求【human】or【institution】
后者无要求：无事不可研究。

宋:
有些情形不好办：小王带着哥哥到北京看病。谁看病？
老王带着老伴回乡创办了一所小学。谁创办了这所小学？

我：
parse see see：

宋:
连动结构后动词施事的确定有时是模糊的。

我:
这种模糊貌似不是语言自动分析的问题。因为可以假想有一个没有歧义的表达形式，人要用这种形式去表达上面的两句自然语言语句，我觉得表达的人自己会感到困惑。换句话说，人的表达有时候需要模糊，人的理解有时候也不在乎那个模糊地带的定点。这时候，如果一种表达形式不给模糊留下余地，人就会手足无措，会被逼迫得精细起来。从这个角度看语义计算，有时候我们对这个计算有不合理，也不切实际的要求。人自己都模糊的东西，不能指望机器去黑白分明。人自己需要有模糊区间的表达的时候，不能说这个语言应该清晰到区间的定点。

白:
问题不在于有模糊性，而在于模糊性其实是限制在一个精确的范围里，我们如何把精确范围的表达纳入句法结构的表现？比如这一句“丁丁拉着妈妈去了少儿图书馆”
还有宋老师的两个例子
“小王带着哥哥到北京看病。”“老王带着老伴回乡创办了一所小学。”
“丁丁和/或妈妈”、“小王和/或哥哥”、“老王和/或老伴”
这样的表达应该在句法结构的表现形式上有对应物。
“跑不了是两个之中的一个或两个”
这样的填坑逻辑要能够体现在句法结构的表达之中。

我：
丁丁那句目前是酱紫滴：

我:
白老师说得对。
目前还没有公认表达法 来区分句法关系的两种 or, 但要想加 也不难

白:
next也好，合并也好，说的都是两个谓词有坑要共享，而且共享的位置可能只有一个。现在来了两个候选（就算前一个谓词有一定引导作用但也往往不明确，除了兼语），在没有更多语境信息的情况下，只能是一个有明确嫌疑范围的悬案。

准备了一个坑，两个萝卜都有资格进，弄不好其中一个还可以免额度。这就是“和/或”算子的由来。如果语境能提供进一步的知识，它可以锁定为“和”，也可以退化为“或”，甚至可以精确落地到两个候选当中的一个。

“张三在答辩中回答问题正确。”此句的root在“回答”还是在“正确”？
“回答问题正确”“问题回答得正确”“问题回答得正确了，才能获得奖品”
感觉“回答问题正确”有主谓结构的倾向啊。“回答问题”做主语，“正确”做谓语。可是被后面那些“正确”做补语的出来一搅和，又不坚定了。
“问题回答正确了，才能获得奖品”
“回答问题正确”的最外层说的是“回答问题”还是“回答正确”？我认为是后者。
“正确”是比“回答”高一阶的谓词

单独定性怎么都好办。关键是如果主谓结构成立，那么得字结构的“补语”地位就至少要动摇一下了。或许“得”的作用就是把前面的谓词名词化（降格），以便后面的谓词上位呢。那么，“正确”这个谓词就是个高也能成低也能就的主儿：遇到带“得”的谓词，它当名词吞了；遇到不带“得”的谓词，它当谓词吞了。这是个“变色龙”坑, 我们把这种坑表示为“X”，类似扑克牌里的“混儿”（wildcard）。

当然，root统一为“正确”

这样，跟汉语“张三回答问题正确”或“张三问题回答得正确”对应的英语是 “Zhang San's answers to the questions are correct”。而跟汉语“张三正确地回答了问题”对应的英语是 “Zhang San answered the questions correctly”。

宋老师例子里还涉及到亲属词，亲属词带坑，但坑这里也有一个前置的逻辑门，标配是小王，例外从语境中找小王之外特别提及的说话人乃至外号叫“哥哥”（如张国荣）的命名实体。

【相关】

【李白对话录系列】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

【立委按】核心成分 args 不过三 句型不过百 是我们语言学家对于世界主要类型的语言观察到的普遍规律 或曰普遍文法。语言的奇妙 莫过于此。可是思维没有这么简单 一个事件可以有很多成分。这个矛盾 语言怎么解决的呢？模型语言的 parser 又有怎样的对策呢？不骗你 做个语言学家真好 可以洞悉很多上帝和人的奥秘。

白：
你那个打铁的图，不大对啊

李：
白老师眼毒是出了名的。是的，“打-铁” saturated 在强搭配中了，就不应该再去外挂另一个宾语，这跟娶两个老婆同罪。系统目前没那个严苛，执法不力。但也说明了，后一个老婆也许应该降格，降成姨太太。如果宾语是大房，那么 complement 就是二房，打的是正室的铁（morphology 的 compounding），打的结果就是二房的钉子（syntax）。用逻辑语义的话说，一个是受事宾语，一个是结果补足语：是为打铁成钉。

众所周知，句法的宾语其实可以有很多不同的逻辑语义。默认标配的逻辑语义是受事。但对象、结果等都可以的。“打铁” vs “打钉子”，前者是标配的【受事】，后者是【结果】，但都可以以宾语的身份或分布现身。

白:
如果给盖房子的盖规定只有两个坑的名额：我，房子，木头，怎么填？
“他考清华研究生数学八十五分”
不止四个

李：
这是说的萝卜多，坑不够，是吧？

白:
“这些木头可以盖很多房子”

李：
这个不用试我就知道：目前就是主谓宾。将来细磨逻辑语义的话，“木头”是【材料工具】类的逻辑语义坑，房子则是【结果】。

白:
“这些木头我可以盖很多房子”

李：
这个也可以预测到，耍个流氓，不是 Topic 便是 Next，将来细磨 ontology，也可以让流氓从良。

白:
topic是温吞水，上不着天下不着地，既不是标配的成分，又没说填谁的坑

李：
不过一步之遥啊。但是 Topic 或 Next 所直接连接的 token，通常没错。换句话说，坑是填了，不过妾身不明，不知道跳进了啥坑而已。妾身不明是因为 knowledge poor，一旦有了大数据或有了 HowNet 类的本体知识，knowledge rich 了，也就可以验明身份了。

白:
穆斯林比旧中国好。说好了四个就不可以多。再耍流氓也只能在四个范围里耍。

李：
其实不是。这个问题我想过很久：世界上的语言五花八门，主要类型的语言都有一个突出的共性：就是句型非常有限，不过百（主要句型不过二三十个） 。主要原因是，句法上 arg structure 的坑是有严格的数量限制的,不过三。超过的部分肯定属于另类，那就打入另册 mods 。但实际上，语义层面的 args 和 adjuncts 的界限，比句法上的 complements 和 mods 的界限 要模糊得多。这就是为什么 hownet 里面的坑，比 句法词典里面的 subcat 的坑，有时候更多。本来二者是有映射呼应（correspondance）关系的，但从纯粹语义角度考虑，有些 mods 需要被拉进坑来，语义的本体定义才完整。这是我看 HowNet 董老师的处置得出的体会。

考清华那句也是醉了。语义上的 args 包括：

考-清华 【school】
考-研究生 【graduate program】
考-数学【knowledge】
考八十五分【RESULT】

加上主语 ”他“ 就是 5 args，即便把补语“85分” 当成后置 mod（当成谓语亦无不可），也有四个 args，这不符合 arg structure 原则上不过三的普世句法（UG）。我认为，正因为普世句法有这个args不过三的原则，才使得人类的语言的结构变得 tractable，人类语言因而可理解，方便了交流。三个 args 的排列组合可达 6 种，加上其句型变体可控制在百种之内（常用句型也就二三十个），几乎达到了人脑短期记忆的极限，哪怕再加一个，就几乎不可收拾了。人脑很可怜的。不得不佩服自然语言架构的恰到好处：说语言背后没有上帝是很难让人信服的，难怪乔老爷坚持普遍文法是人天生的、普世的。

可是逻辑语义上，同一个谓词可以有很多 args 的，这就造成了思维内容与语言表达的矛盾。自然语言又是怎么解决这个矛盾的呢？思维上的多坑，到了文句的句法不允许有这么多坑，怎么办？

白:
这是理论问题不是技术问题。技术问题是，准备了俩坑，来了三个萝卜，怎么处理？

李：
有了理论，技术还不好办？纲举目张啊。
技术就是：
syntactic parsing： 耍流氓
semantic parsing：根据 HowNet，教育流氓从良。
也就是，没知识就耍流氓，有了知识立地成佛。

白:
技术就是，其中一个萝卜历史上做mod居多，果断降级

李：
历史不历史，那是语言处理的时候，选择谁 out 的一个数据依据。关键是降级：萝卜多了坑不够，不降级还能怎么着？这才叫：英雄所见略同。

你那一路也行，但是还是重负前行。这个从大数据来的历史 不管怎么表示和使用，都是一个很大的 overhead

白:
在中间件里，matcher是极其轻装的。

李：
中间件庞大。call 它一下，等价于一次信息检索？？这个也许 overhead 不大，可是怎么对付优选语义呢？不是相谐还是不相谐，而是多大程度相谐？或者比较另一可能，更相谐还是更不相谐？多大程度相谐是个无底洞，不说它。更相谐与否，就是一个是否判断。这时候提交的是两对。两次在线检索 才能在线比较计算大小，是不是？在线是因为无法预知哪两对需要比较，无法预先计算好。

回到白老师上面的问题：盖房子的“盖” 句法上似乎大家都认为就是两个坑：一个主语 一个宾语，who 盖了 what，但是从语义的本体定义和结构看，至少有三个坑： 【who】 盖了 【what】 by【what materials】。我常把这种多出来的语义坑看成是处于 args 与 mods 边缘地带的东西。还有一个典型的例子 translate：绝大多数动词最多有三个 args：主、宾、补足语，但是 translate 四个比较合适：[who] translates [what] [from what source] [into what target]。语言实践中，PP（from）常被当成状语，而不是arg，有人把 PP（into）也当成状语。这就是 args 降格为 mods 的结构处置现象。

面对萝卜多坑不够的语言表达困境，一般而言，主要是两个路子，（1）一个是迫使语言把多个 args 分散到不同的句子去表达，这样一来每个句子的结构还是在限定的坑数之内，subcat upto-3-arg patterns are very tractable；（2）给 args 降格：降格为理论上随机的 mods。由于（1），于是产生了句法的主语、宾语，可以对应10几个不同的逻辑语义的坑。

刚刚 parse 了白老师的句子，看看目前这个根据语言学句法原则制定的parser怎么对付多于3的萝卜, 结果是：

哈，果然。遵循普世文法来模型自然语言的 parser 采用的是降格，策略（2）：“清华”的 arg 和 “研究生” 的 arg 都被降格成mods，只剩下 “数学” 作为 head N，堂堂正正填了宾语的坑。作为句法 parsing，这种处理是符合语言架构原则的，非常合理。但是作为深度分析和语言理解，句法被降格的成分，应该重新“升格”到 args 的逻辑语义 slots 去，语言深度解析才比较完美。逻辑升格了，其他句子的 “考清华” 或 “考研究生” 的说法，就会与这一句的说法语义一致，可以 unify。这个升格的任务，也应是语义模块的任务之一。语义模块不仅要填写句法上省略的 hidden args，而且要把部分mods升格为 逻辑的 args。这些 mods 是人类语言表达的时候被 UG 下意识降格的成分。

假如自然语言不是上帝为人类交流而设 假如我们为机器设计语言 我们完全可以扩展坑和句型的数量。Hownet 几个坑, 句型就几个坑 一一对应。不用现在这样，先句法句型入手 然后再 role labeling 填逻辑语义的坑。

白:
其实我并不关心上限是几，只关心超出上限了怎么办。hownet坑的供给比较充分，但是也很难说一定不会超出上限。（董老师可以试试“这场火多亏消防队来得及时”）

【相关】

【李白对话录系列】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录