立委NLP频道

白:

“是他杀的张三”是一个完整句子吗？

主谓宾都在哪儿？

李：

shi S Vt de O ==》SVO

很常见的句式，主谓宾齐全，

是 S V 的 O == S V 的 O == SVO

不过其中 “SV的O” 有歧义，因为与带定语从句的NP同形。

不过加了强调小词 “是” 在句首以后，似乎歧义就消失了。

白:

“是”当什么？自己没有主谓宾？

李：

是数学我不喜欢。

是在北京他们开的董事会。

是1990年我毕业的。

句首的“是”，是强调小词。

类似于英语的强调表达法： it is X 。。。。

it was in 1990 when I graduated
It was in Beijing where we got the deal

白:

可否认为“张三是他杀的”，然后“张三”后移到句尾。

李：

张三是他杀的 ==》 是他杀的张三 ？

张三他杀的 ==》 他杀的张三

白:

“是他杀了张三”可以这么做。“是他杀的张三”不能。

“是他杀了张三”跟“有人敲门”是一个性质，在坑论里是两个谓词合并，共享一个萝卜。

但“是他杀的张三”不好套用这个结构。没办法把二元关系进行到底。不仅“的”捞不出来，连“是”还得搭进去。

李：

“的” 字的两个用法：1 定语标志（或所有格）；2. 肯定语气

表示肯定语气的 ”的“，通常位于句末，也常与表示肯定或强调的 ”是“ 搭配使用： 是 XP 的

貌似由此衍生出表示肯定的  ”的“ 用于谓宾之间。

“是他杀的张三” 说的是对过去或完成的肯定，但是却不允许用助词 ”了“ 或 ”过“，原因可能是这个位置被 “的” 占据了。另一个原因是 这种肯定语气蕴含了完成。肯定的行为动作不可能是没有发生的事件。

在 pattern 中，只要能列举出这种即可，很容易捕捉，除非是歧义。

白:

表达什么先不管，谁跟谁有关系是首先要解决的。

李：

没有句首“是”的pattern  “SV的O” 的确有歧义，但是这种歧义是 consistent 的。对于consistent 的歧义，其实不难处理，可以将错就错。直到错到某个点，系统觉得应该校正了，就校正。现在的处置是，开始 parsing 的时候，一律做定语从句看。

白:

有套路，就把构成套路的词摘到二元关系之外，语言学上不够简约。

前面说到的踢出机制试了几个例子，很好玩，基本通了。

李：

有套路，就把构成套路的词摘到二元关系之外，没有问题啊。因为小词已经在套路（patterns）起到了该起的条件作用，譬如 “是+S+V+的+O”，在这个 pattern 中，没有歧义， SVO 被确定，逻辑语义被解构，一抓一个准，完事了，把 “是” 和 “的” 这种句法辅助小词挂起来。这是pattern的天经地义。pattern 比起二元关系环环相扣的 parsing 有不同的优缺点：pattern 可能比较长，上述 pattern 是个五元组，实词的元是XP，所以实际的跨越可能是很长的 string，用的是长度来换取确定性，牺牲了某种抽象性，或换句话说，带来了一些规则的冗余度。二元关系环环相扣的做法，可能更加简约和概括。

白：

做系统咋都行。做句法。感觉非常实用主义，理论上不连贯。

李：

句法标配说的是 sv 语序，多数系统都用的。你的系统先不用，是例外。

白:

我这不用。至少matcher不用。以后语义模块用另说。

李：

虽然汉语语序很操蛋，孤立语中它自由得简直不讲道理，但是 sv 是默认，有统计性依据，也有心理认知的依据。这一汉语句法标配的形式痕迹，不用白不用。

白:

用了也有误导的时候。

我在尝试踢出边的功能：一个强搭配萝卜进来，在坑饱和的情况下，踢走一个已经进坑的萝卜，自己跳坑。如果没有不占指标的额度的话。一进一出，不破坏结构，不重构结构，也不改变结构对外部的联系。与所谓“回溯”大不一样。拔出来的萝卜再进什么坑，全看后续发展。

李：

所以句法结构的时候 可以不利用语序，因为这个结构的标签暂时不不用给出。其实这是跳过句法标签，直接在下一步进入逻辑语义标签。但传统做法是区分 arg1 arg2 arg3，现在是不区分 只说这是arg，有别于 mod 就可以了。

白:

但是各个arg如果subcat不同的话，需要锁定，免得互相串了。

李：

所以是标签隐藏在后面，暂时不露而已。

对，免得互相串了 是必须的。

白:

如果连另一个可能性都没有指出来，焉知落地想要的不是另一个？

李：

这个问题哪里会有？是落地的需求 drive 开发呀。世界上哪里有飘在天上搞开发的呢。何况开发这事儿也不是一锤子买卖。今天没有的可能性，明天加上可能性也是可以的。系统不可能是一成不变的。pattern 不变的话，在结论上增加点什么，连重新测试都不需要就可以搞定，有何难哉？更何况 我们 patterns 用完小词以后，还发扬了革命人道主义，并没有扔掉敲门砖，还用 X 把小词给挂上呢。所有的痕迹都在，过河没拆桥。不过是不让过了河的桥和敲了门的砖占据我们的语义核心地位而已。

小词负载结构，我的理解，本质上也就是一个过渡，一个粘结剂，一个特定的 parsing 算法所依赖的一种手段，并不是一种必需。小词成为条件，则是一种通用的必需，因为没有小词，结构关系就很难搞定，这是小词存在的理由。

白:

“杀人犯把卖盐的杀了化妆成卖盐的在那卖盐。”杀人犯是卖盐的？

李：

那句话一时看不懂，但 point 明白了。你是在诘问 把“S是V的”处理成 SV 的做法。它们不等同，不仅仅是 affirmative 的差别，还有另一个差别在。这个差别是，“S是V” 的 可以回答 “S是谁” 的问题，而 “SV” 不能回答 “S是谁” 的问题。好，这是一个典型的语义落地决定如何表达的例子。现在的问答系统的语义落地有对这两种结构做区分的需求，那就让第二个pattern在输出表达中，把这种需求满足即可。譬如，可以让第二个pattern （S 是 V 的）输出这样的结果：

arg structure： S V

feature： affirmative

answer： who is S

白：

杀人犯不是卖盐的VS杀人犯不卖盐

这些零碎副词加在affirmative上还是加在普通谓语上怎么区分？

李：

bottom line is pattern1 和 pattern2 是两个独立的捕捉，二者该怎样处理都可以，加在哪里都可以。加在哪里落地好用，落地觉得有用，就加在哪里。这都不是事儿。媳妇都娶回家了，怎么打扮还不是男家一句话吗？

白:

那就是说实际上做了两个谓词，简化成一个谓词是伪命题。而小词负载结构，只不过把两个谓词显性化而已。

李：

早早年的parsing，其原始定义记得是没有parse tree的表达的。什么都没有。就是一个合法非法的结论。所谓合法的结论，就是 parser 把那个句子从头到尾都吃进去了。

白:

判定问题

李：

后来的 tree representation 或其他的表达，全部是 parsing 过程留下的痕迹，或副作用。这样看parsing就明白了娶媳妇是核心，打扮媳妇是具有任意性和功利性的副产品。小词负载结构如果能在语义上表现出贡献，那么这种贡献可以等价地由 pattern 给出。换句话说，如果某种用小词作为枢纽来区别谓词的表达法，对于语义落地有益，那么没有人可以阻挡pattern的编写者，输出同样的表达。但实践中，我们知道，其实绝大多数时候，这些小词丢掉了，核心语义没啥损失。譬如 小词 “把”点名了宾语的所在，借助它表达出宾语的核心语义以后，“把”的使命也就完结了。

白:

“把”和述补结构连接，绝不是只有“宾语”这一个含义。参照“他把眼睛哭肿了。”

李：

小词负载结构的语义贡献注定是有限的小词的本质就是句法的显性形式，在句法走向逻辑语义的过程中，形式走向内容。表层走向深层。言语走向逻辑。这种趋向决定了小词负载结构基本是边缘的语义。换一个角度看这个问题，小词是 language specific 的，而语义的本质是人类共通，language-independent 的。language specific 的东西不会在语义里面唱主角。

30 年前，董老师提出，以人类共同的逻辑语义作为机器翻译的基础，而不是在句子表层实施转换。这样一来，不仅用了不同小词和词序的主动语态和被动语态被认为是相同的，而且动词与deverbal的名词也被认为是相同的。因为其 arg structure 的核心逻辑语义都是相同的。用它指导 MT 就是：

I translated A from B into C

== A is translated from B to C (by me)

== my translation of A from B to C

==> 我把A从B翻译成C

当时觉得董老师的做法的确抓到了要害，但也觉得表层的小词和细微差别（譬如语态）也不能就这么扔了。最后的体会和结论是： 在语义落地的时候（譬如MT），逻辑语义是主要的，表层结构是辅助的。做到了逻辑语义的转换，基本任务可以算是完成了。但是要想做得更好一点，还可以参照表层结构或features，再做一些细节上的调整。譬如 英语是被动态的，也许也翻译成被动态更合适（其实，由于两个语言的显性被动表达形式具有不同的使用频度，只能说，部分的被动态用汉语的显性被动为宜，其他的被动态可以用隐性的被动形式，最后还有一部分被动其实更合适用汉语的主动态来翻译，这个要细细研究的话，可以针对不同情形结合表层和深层结构写一大篇来）。

总而言之，小词和表层，顾不上来的话，扔掉了也没啥大不了的。这些边缘的语义色彩，对于语义落地的不同场景或许可以有参照作用，但不是核心。

白:

实际情况是，逻辑语义也是人参照表层写出来的。本族语表层研究不到位，就只好迁就着走。就好像grandma不知道是姥姥还是奶奶。并不是他们说英语的人逻辑上不能定义和区分爸爸的妈妈还是妈妈的妈妈。我们要高频率地使用，就不能绕着走。

李：

这样看也是一个角度，有其道理。

理论上，逻辑语义应该是参照多数的人类语言提出来。基本立足点就是，人类的概念和思维是共同的，理解也应该是共同的，只是表达的时候穿了不同的外衣。当然，语言对思维也有反作用，因此人类思维和理解的共同性，只可能是大同小异，而不可能是完全一致。

白:
共同性体现为外衣的并集

如果主要外衣缺失，就谈不上共同性了

【相关】

【李白对话录系列】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

白:

“认错的人我原谅了”“认错的人原谅我了”
“这场雨来的不是时候”“这场雨来得不是时候”哪个对？
“这场雨来的不是时候”、“这场雨来得不是时候”，感觉前者说“来”不是时候，后者说“雨”不是时候。个人倾向前者。

李：

谁原谅谁，句式蛮普通的。这里面还有其他的 catch 吗？

白:
两个不同的“认错”：一个是承认错误，一个是认错人，负面sentiment在不同主体身上。原谅的方向不一样，可以反推是哪个“认错”

李：
我很木
没想到第二个认错（人）。

白:
在“认错”与“人”之间，至少一个S，一个O。

李：
两句都理解成“承认错误”不行吗？

白:
一个大概率，一个小概率
把后者标成O，都是大概率。

李：
明白了。（当然那是在受教以后在明白）

我的问题是，普罗百姓更多人跟我似的木，还是白老师一样敏锐？
第二个问题是，这种不影响句子大局（大结构）的微结构里面的hidden args：decode 出来或不理它，decode 对了或错了，对一般的语义落地目标影响多大？

白：每个都不大，加起来不小。

李：
下面这组更看不出区别了：

白:
的/得，对错别字再加点容忍度，肯定是你这结果

李：
这一组，几乎肯定老百姓对区别无感。
“得”、“的” 混用已经如此普遍，以至于正式文字里面也不少见了。
实践中的体会是，遇到 “得” 就遇到了救星，因为基本可以肯定，用 “得” 的人是有文化的，是有意为之。由于 “得” 的补语标志性很强烈，加上 “的” 用法太多，系统不用担心 “得”，但是对 “的” 不得不格外小心。无论怎么小心，也还常搞不定。现代汉语该死该诅咒的东西很多，“的” 肯定是 top 3 可以千刀万剐的。恨得不止咬牙。

白：
“他菜炒的不够熟练”“他菜炒得不够熟练”呢？前者说的“炒”不够熟练；后者说的“他”不够熟练。其实用哪个字倒在其次，关键是结构不同。不同的萝卜来填坑。

李：

其实第二句的离合词“炒菜”也抓着了，不过显示的时候与 “得字结构” 撞车，没显示出来，这是显示的bug，不是parser的bug。有意思的是，炒菜也可以是名词：

白:
“生的伟大死的光荣”还是“生得伟大死得光荣”？
我觉得谓词的体词化+comments谓词，和谓词与谓词共享坑，根本就是两个结构。
我其实想说，“圈画de圆”和“圈画de慢”是两个结构，不管用“的”还是“得”。
前者是双爹，后者是祖孙三代。
“坑挖de整齐”和“坑挖de突然”也是两个结构。

李：
嗯
后者是默认，不论。
前者很 tricky。

白:
这两个用不同字区分，有意义。

李：
没法教育普罗。语言实践中不可操作。

白:
受过教育的尽管都写“得”，其实很勉强。谓词名词化用“的”本来天经地义，为啥算错。
我觉得做区分也是“语文”的需要，并不是“语言学”的必然。所以有今天这样的混用局面
这个区分并不高明。

李：
因为的字过载，其中的 “的字结构” 已经很各别：一个子句突然变成一个 NP，
这已经很让人困扰了（英语的 what-clause 也有这种困扰，容后论），这时候大家在学 “的字结构” 的时候，尽量趋向于收紧。最常最先记住的 pattern 就是“我吃的”、“他读的”、“你扔掉的” 这类。现在突然来了倒装，又夹杂了分离词，别说普罗会懵，就是文化人能整明白的也在少数。

白:
所以我才只问填坑，不贴标签

李：
更主要的还是口语中读音一样，这种细致的语义区别，要想教育用文字区别，不可行。

白:
不说哪个是补语，填坑的方向自然说明一切
@wei 试试旅馆那个？
“这里的旅馆住过的都知道很脏。”
“这女孩见过的都说漂亮。”

这个例子的奇妙之处在于，一般的情态动词和它带的宾语动词具有同一个逻辑主语，但这里却不是。“住过的都知道”似乎像是一个插入语。但是parser怎么会知道这里是插入语？

“这女孩见过的都说漂亮。”

同理。撇开是不是插入语的事情，这就是“很脏”的坑谁来填的问题。有“住过的”和“旅馆”两个选项。为啥不是“住过的”？我之所以拿女孩漂亮的句子做补充，是想说明，这一选择与sentiment无关。

撇开是不是插入语的事情，这就是“很脏”的坑谁来填的问题。有“住过的”和“旅馆”两个选项。为啥不是“住过的”？我之所以拿女孩漂亮的句子做补充，是想说明，这一选择与sentiment无关。

李：

何年何月 肯定做过努力。至于努力的成效就不好说了。汗滴禾下土 有迹可循。弄巧成拙也在所难免。不遇到特别的句子还看不出来。

白:
“这里的旅馆 住旅馆过的”看样子是在容忍不确定性
两个S都指向这个集合，但回避了是否指同一个元素。李：

李：
这是智慧还是油滑？白硕:

白:
这种容忍不确定性又把不确定性圈住的做法，必须发扬光大。李：

李：
听上去像是表扬。白硕:

白:
当然
只是还不解渴
期待更多 更系统 更elegant

白：
是知道一个词这样，还是情态动词都这样？

“这个人大家都相信是无辜的”

似乎“相信”也是对的

李：

白：
“这只老虎尿过的都认为是自己的地盘。” 出现反例了。“尿”本是不及物动词，但是这时候要强制提拔一个编外的坑，给“尿”。处所，很幸运地被选中。

李：
还有：“这个小便池尿过的都说干净。”

计算语言学家的不能告诉我们，我们正在走向危险的边缘。句子越来越诡异，合法非法之间，更要命的是，感觉上不具有统计性：不好拿捏，不仅要费牛劲儿，而且做了白做。

见好就收。拉倒。

前面提到英语的 what-clause 也类似汉语的 的字结构 容易让人懵。因为看上去就是一个 wh子句，可用法上的绝大多数 却是 NP，等价于带定语从句但省略了 head 的NP。蛮操蛋的。结果呢, 遇到复杂情形，晕菜了。What you said is not what you did.

What you said is not what you did.

这个中规中矩，还好。

I don't know what you did.
I don't understand what you said.

前一句，是 NP 还是 wh-子句？其实两可。翻译过来就是：

我不知道你做的（事儿）。
我不知道你做了什么。

这种细微差别，老百姓是不管的，也管不了，大家也就打马虎眼抹平了，反正也差不太多。第二句呢，一般理解就是 NP：我不理解你说的（话儿）。

understand 与 know 近义词，但 subcats 有别。know 既可以带 NP 又可以到 wh-子句：

I don't know who you are, but I know what you are
I also know where you live and how you got your permit.

understand 通常带NP，或比 know 对 NP 更青睐。

【相关】

【李白对话录系列】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

白:
“我讨厌那种窗户不透亮的房间”
“我喜欢家不在本地的女朋友”
“他期盼着进入一个放学不留作业的学校”
@崔佳悦 欢迎

李：

欢迎@崔佳悦 虽然词库目前未登录 好在 ne 还是对了。

1. “秦汉胡同学员作品展” 里切词有错，可是 NP 对了，应该不影响parsing该NP涉及到的句子大局；

2. “蒙太格” 不在词典，更甭提“蒙太格语法”这个术语了，但是 NP 还是没错；

3. “逻辑语义学研究”，初期 parse 成主语 S，到了语义中间件（不是白老师那种中间件，是句法后的语义模块）发现是逻辑宾语 O，但并未删除初始的主语结论（其实是有意为之，因为这个更新不是百分百把握，留下初始结果可以增加语义落地 recall，不过是一个儿子两个老子而已的可以容纳的 non-deterministic 的结果）；

4. 从事的主语应该是【human】or 【institution】，现在错了，这个可以在语义模块更正的，如果磨细活的话。

5. 最后的话（怎么听上去像瞿秋白先烈就义前的心灵忏悔？）： 所谓鲁棒，就是步步为营，不求完美。有知识就细柔一点，没知识就大老粗。

白:
“我不喜欢穿没有领子的毛衣。”

李：
人在外 领导血拼 估计没问题 等回家测试
人在外 == body 在外
不是领导ing shopping 而是陪领导 shopping
估计what没问题 等回家测试what
这个要问白老师 语义中间件搞不定。
估计【白句的测试结果】没问题 等回家测试【白句】
白句是what 问一问小冰
据说小冰是目前对discourse最能耐的妞儿了。

白:
窗户那个，看不出细节
如果“不透亮”一个坑，而且被“窗户”占了，而“房间”又不属于“那个小集合”，那么“房间”回填“不透亮”应该遭遇阻碍而且不能不了了之。不知道伟哥怎么摆平的。别告诉我就是不了了之了。

李：
做 sentiment 的 这个都摆不平 就完蛋了：窗户不透亮 是 negative 中最具情报价值的信息，我们叫做 actionable insights，比纯粹情绪的宣泄价值大太多

白:
“没有”两个坑，把问题掩盖了。再来：“我最喜欢吃皮儿薄的饺子。”
估计和窗户一样
毛衣、饺子、房间，都是俩爹。

李：

这个、这个 -- 差强人意了点儿。
可毛主席说了，吕端大事不糊涂。大局不错。

白:
领子、窗户、皮儿，都有坑
在图上把俩爹找齐了才漂亮

李：
哪两个爹？
皮尔 是 薄 的 S, 也是 饺子 的 part？
part-of 关系可以作为支持，不必作为 output，因为这个在 ontology 已经预定了

白:
饺子，皮儿一个爹，吃一个爹。

李：
吃是爹，饺子是宾语儿子。
至于饺子与皮的关系，这是一种不易的本体知识，不是动态的语义，有何必要？HowNet 里面就给了这个关系，这是宇宙真理，放之四海而皆准。没有情报价值。

白:
句法层面不需要知道是part-of，只需要知道有坑

“这些饺子皮儿太厚”，饺子的爹是谁？
是“太厚”，不通。是“皮儿太厚”，违反了词负载结构的原则，答案只能是“皮儿”，而且人家俩的关系就摆在那里。

李：

一个大主语，一个小主语而已，层次不同。
做 sentiment 的，对于这样的描述： 皮儿太厚，非常敏感，因为请报价值大。这是一种抱怨，而且抱怨具有 actionable 情报。下次包饺子，就要注意擀皮儿的人了。

白:
我就是不满意这个大小主语的说法
本来可以做得更好，而且是举手之劳

李：
目前这个做法 很合理啊。
你看看 “皮” 虽然也是 S， “这些饺子” 也是 S，但两个 Ss 明显层次不同

白:
“张三不知怎么搞的亲戚那么多。”
亲戚不是part-of，但有坑的特点是一样的

李：
从短语结构即可看出："皮"几乎就是词法 open morphology 而 "饺子"则是句法。

白:
亲戚也是词法？
sentiment里面所谓的aspect，在句法里都可以显性处理，不用走曲折道路。

一个性质，完全平行的句子，被处理成了不同样子。

李：

这些扩展的主谓结构，处于词法句法边缘地带，是句子一级的句法的一个单元。违反了词负载结构的原则，也没什么。

白:
硬盘也是？
这台机器不知怎么搞的硬盘总坏。

李：

说是 open morphology 也差不多：硬盘总坏；身体好；性格糟糕；屏幕太宽；价钱死贵 。。。。。。

白:
本来可以纯句法处理的，只要更新一下观念

李：
现在的处理办法, 经过太多的测试，一直感觉很顺溜
语义落地，特别是落地到 sentiment，真地是一顺百顺
展示这样的sentiment 的短语结构的结果 也很漂亮。容易理解，情报丰富。

白:
在句法上把坑显性化，只会做得更好

“硬盘总是坏的机器不要买”
“秘书过于漂亮的老板不好当”

李：
这个 这个 这个 。。。。这个 这个。。。

反正这样玩法，白老师铁心要玩残它。不过：
“硬盘总是坏的采购员不要买，好的采购员可以买”

白:
这个例子好。

问题是我有更好的方法

李：
白老师的问题不是我的问题，但白老师的麻烦却是我的问题。（哈，cf：【李白对话录之10：白老师的麻烦不是白老师的】）

白:
有自由度了。中间件该出场了。
如果没有自由度，还轮不到中间件呢

李：
中间件是这样的：没有它 parser 一样行走，而且多数情况下走得还不错。
这就是 parser 第一步要做到的目标。
然后，随着中间件不断丰富，parsing 不断细化、语义逻辑化。这是 parsing 的第二步目标，是 semantic parsing 的终极目标，但不是语义落地的必要条件。

白:
当然。但句法不同，伪歧义表现不同，中间件出场的条件自然也不同。
伪歧义多点少点死不了人，断链子就不同了

李：
无论是 白老师的中间件的 integrated or call-on-the-fly 的做法，还是我的 pipeline 的语义模块的做法，本质是一样的。

白:
我在质疑句法本身，而不是parsing。

李：
现在的情况是，第一步目标几乎达到了，靠谱了。第二步还在断续补足中。
句法的目标只能是方便语义落地。如果较好地支持语义落地，那么就是一个好的句法（representation）。

白:
这里的“方便”往往夹杂着对软件和数据legacy的考量，着眼点不在“地”而在“落“
如果没有legacy，反而更容易着眼于“地”。成功是失败之母。因为任何一种成功都有固化自己的冲动。

李：
评判 syntax 是一个困难的事儿。譬如说吧 虽然我们可以批判 penn tree，抱怨它设计得糟糕透了。但是 换一个人制定标准 估计也好不了太多，我们还会批判它。我可以一口气数落 penn tree 的10大错，而且可以条条是道。所以，在认识到这种评判的困难以后，我们可以退一步说，至少我们评判一个 syntax 的表达，着眼点是多大程度 多么明显地 有助于或妨碍了 语义落地，而不是从一个句法算法的一致性与否的角度。

白:
还是那句话，落地是有潜台词的，站在什么legacy的山上唱什么歌。最后是legacy主导一切，落主导一切，地是啥反而可以不care了。

李：
那是。我是站在 sentiment，或 IE 的legacy 上。

白:
不对，IE/sentiment还是地，不是落。

李：
地 就是 IE （sentiment 也是 IE），落就是 subtree patterns 的 matching白硕:

白:
subtree自身的局限决定了落的局限
我大概4-5年前放弃subtree的。
我当时起名叫 ppt：partial parse tree

李：
结构匹配
聚焦就是这么来的。
叫不叫 tree 无所谓 实际是个 sub-graph，我们以前也叫 svo search or svo retrieval or svo matching，有了这个 老鼠爱大米 就可以挖掘出来了。

白:
“他死去多年的消息终于曝光了”“他死去多年的弟弟终于平反了”

李：

这个是经典 minimal pair 了
同位subcat

白:
“专家对这种方法的意见还是不靠谱。”
“还是”歧义了。

李：

“还是” 还不是问题，“对” 是个隐患。
【对 np 的 n】 ，np or pp？

谁的意见？
专家的。
什么意见？
对这种方法的意见
什么不靠谱？
意见不靠谱。
谈的 topic 是？
专家。

专家作为虚的 topic 和 实的 mod 都 decode 了，parser 也算兢兢业业了吧。
流氓耍到了这个境界，也可以立牌坊了，正所谓：功到雄奇即罪名，流氓耍尽成英雄。

【相关】

【李白对话录系列】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

今天微博同仁圈子里盛传下面这个年末搞笑的帖子，标题是 #自然语言理解太难了#，其实一点不难，可见即便是圈子内人，如果没深入做过parsing，有时也被表象迷惑。

#自然语言理解太难了# 转发段子：今年基本已经结束了，我刚在群里问了很多朋友今年挣钱了没？大多朋友都有挣，而且挣得五花八门：有挣个屁的，有挣个锤子的，有挣个毛的，更有甚者挣个妹的，简直奢侈之极！最恐怖的是挣个鬼的！有的还可以，挣个球，下午我碰见一朋友，问今年挣了吗？他望着天空喃喃自语：挣个鸟！
看吧，只要肯努力，什么都能挣到

liu:
乐呵乐呵，语言理解很不易啊。

白:
真心不难
基本上可穷尽

liu:
“挣”后面的惯常搭配和选择限制反而简单？

我:
早已解决

liu:
但是，“挣一辆车”就是它本身的含义了。

我:
简单确定的pattern 有限的词汇可填充项 这是 pattern 的拿手好戏

liu:
这倒是的，它的“能产性”不高。

我:
如果训练 有可能漏掉低频率填充项 sparse data
但对于确定性的 patterns 规则可以一网打尽。

liu:
蕴含、推理方面的理解反而是重要的？

我:
一辆车 走通则
屁屎鸟、妹妈奶奶等 走特定规则
我们做社会媒体分析的 这类玩意儿早涵盖了

白:
“规则+例外”的总描述长度最短，就踩到点儿上了。高频用变量泛化，低频用实例枚举。

我：
parse results

图上只是显示这个结构被抓着了，没有显示系统“理解”这种用法的内部表达：实际上这个 chunk 抓住时，系统也就知道头词是动词“挣”，也知道这是一个口语化的动宾否定式，用了脏字，模式匹配规则“绑架”了这一切。

WD:
放个屁 长个毛 真歧义

白:
不是只针对这些话，是一般性的philosophy
这件事跟“挣”关联弱，跟“个”关联强。

WD:
鬼都挣不着
跟”什么女人“类似，有所谓元语否定用法
就是拒绝前一句话的陈述恰当性 负面评价功能
什么一流大学=什么破大学
甲：挣了不少吧。乙：挣什么屁钱啊，都……

我:
“屁”“鸟”之类 有一个英语 no 的用法，是汉语的np 否定式。一般认为汉语没有 否定限定词 no，其实汉语有 不过汉语的 no 混杂着 负面情绪 用的是脏字。而英语的 no 很单纯。
屁事儿： Nothing
没见屁人。在 “没” 后 脏字成了 any，避免double negative 吧，英语也有：
Ain't see nobody == didn't see anybody

从这个例子说开去：“v个P”，P={P，屁，头，鸟，吊，jiba，妹，鬼，......}
从类似的现象可以看到，小数据为依据的规则系统，有时候比大数据训练的系统，更为有效：更加精准，更加能对抗 sparse data 因此而提高 recall（具有 clear patterns 性质的语言现象，可以一网打尽，完全没有 sparse data 的困扰），模拟语言现象更加直接，因此也更加容易debug和维护。

在 IE 历史上，直到 MUC-7，当时表现最牛的 NE 系统 NetOwl 就是基于 pattern rules 的，几乎所有的统计对手都拿它作为拼杀的对象。NetOwl 从 SRA spinoff 出去想以 NE 为技术基础，进行商业运作，一开始在分类广告业拿下了一些业务，终究不能持续赚钱，后来被 SRA 收回，逐渐销声匿迹了。后来追随潮流，系统里面也混杂了机器学习的模块。https://www.netowl.com/our-story/

从此在学界就再也见不到规则系统了，哪怕是对于规则非常适用的某些 NE 任务：譬如 时间，数量结构，等。可见潮流之厉害。反潮流者不得食，发不了论文，拿不到 grants，带不了学生，自然自生自灭。

但事物的本质和本性并没有改变，尤其是对于自然语言中的具有 clear patterns 的现象，依据小数据，经过人脑的归纳，数据驱动去开发规则系统，仍然是如上述，具有高效高质量。工业界默默实行的这类人、团队和系统并不鲜见，只不过大家心知肚明，只做不说而已。犯不着顶风作案。相对应，发动群众去标注大数据，然后用大数据训练一个系统如何？这是主流的默认 honored 的方法。如果数据足够大，其质量的确可以接近或匹敌规则系统。当数据量不理想的时候，就捉襟见肘了： 或者 underkill （由于 sparse data，漏掉很多统计性稍弱的变体）伤害 recall，或者 overkill （smoothing 过度，把不该抓的现象抓进），影响了precision

什么叫有 clear pattern 的语言现象呢？举个例子，抓取邮政地址，这个工作我自己作为一个 fun 做过。出来的系统请邮局员工测试过，他们啧啧称奇。美国地址大体是 门牌 街道 城市 州 邮政编码 最后是 国名，patterns 相当地 clear ，可你可能无法想象上述 pattern 构件的变体之多，有些变体绝对是 long tails 再大的数据量也不可能涵盖其组合爆炸的本性。如果你收集了一个巨大的美国地址库作为训练集（大数据），你完全可以设计一个学习系统来做这件事儿。而另一边，虽然也是 data driven，但只需要小数据样本，然后经过人的大脑去举一反三进行开发。可以拍胸脯的是，后一种办法做出来的系统绝对是高质量易维护，天生地具有 sparse data 的免疫性。

董:
刺死前妻男友男子获刑5年 死者系酒醉持刀上门 -- 百度新闻
Stabbed her boyfriend man jailed for 5 years, the drunken knife door --百度翻译
Stabbed his ex-boyfriend boyfriend was sentenced to death for 5 years the Department of drunken knife door -- 谷歌翻译
不知道这样结果是什么智能？ -- 人工？鬼工？骗工？

白:
也是醉了

董:
我主要是要探讨“连动”--酒醉，持刀，上门。这三个动词在知网词典里都是有的。 酒醉 -- {dizzy|昏迷:cause={drink|喝:patient={drinks|饮品:{addict|嗜好:patient={~}}}}}
持刀 -- {hold|拿:aspect={Vgoingon|进展},patient={tool|用具:{cut|切削:instrument={~}},{split|破开:instrument={~}}}}
上门 -- {visit|看望}
酒醉的上位可达：“状态”；持刀的上位可达“行动”，但它与“拿”不同，它是“拿着”，所以定义描述里多了“aspect=Vgoningon”;最后是“上门” 它是“行动”。于是我试下面的规则：
DefineVP1 0712 CN[*pos==`verb`,*def_h=={act|行动},*syl==`2`];L1[*pos==`verb`,*def_h=={act|行动},*def_s==`aspect={Vgoingon|进展}`,*syl==`2`]$L1[*log==`preceding`]@chunk(CN,L1)# // 酒醉持刀上门；
DefineVP1 0722 CN[*pos==`verb`,*def_h=={act|行动},*syl==`2`];L1[*pos==`verb`,*def_h=={state|状态},*syl==`2`]$L1[*log==`preceding`]@chunk(CN,L1)# // 酒醉持刀上门；
心里还是不踏实，因为没有大数据的支持。想听你们的意见。其他例子如：骑车上街买菜遇到一个老同学；

白:
直观感觉，状态的标签不是太好贴。比如，拿着刀子砍人，拿着是状态；抡起斧子砍人，抡起就不是状态？隔着玻璃射击，隔着是状态；打开窗户通风，打开算不算状态 ？
买菜和遇到老同学，谁是前景，谁是背景？谁是主线谁是旁岔，很难说。像伟哥这样一律next最省事。
打开保险射击，打开保险就不是状态

我:
伟哥于是成为懒汉的同义语 。工业界呆久了 想不懒都不成。我曾经多么勤勉地一条道走到黑啊。Next 的好处是拖延决策 或者无需决策。可以拖延到语义中间件，有时也可以一直拖延到语义落地。更多的时候 拖延到不了了之 这就是无需决策的情形。

白:
董老师说的就是语义落地啊。花五毛钱打酱油，花五毛钱打醋。花五毛钱该贴啥标签？
要不是语义落地谁费这事儿。

我:
花 money vp
这个是 subcat 可以预测的模式。凡是subcat可明确预测的句型 通常都不是事儿。给标签于是成为 system internal 的内部协调。

白:
关键是不知道该有多少标签，如何通过粒度筛选、领域筛选、时空背景筛选，快速拿到最有用的标签。

我:
通常的给法是：money 是 o （object），vp 是 c （complement），这是句法。
句法之上这几个节点如何标签逻辑语义 也可以由 subcat 输出端强行给定。譬如 可以给 vp 一个【结果】的标签，vp 是 “花钱” 的结果。
subcat 的实质就是定义输入端的线性模式匹配 并 指明如何 map 到输出端的句法和逻辑语义的结构。这种词典化的subcat驱动简化了分析算法 而且包容了语义甚至常识。

董:
我是因为首先要解决句法关系引起的。例如：欢迎参观；争取投资，就是VO关系，而不是参观游览。也就是说，两个或更多的动词连着时，如何排除歧义？试着只给两个标签：动宾、连动。

我:
一般而言 动宾 是动决定的，连动可以是第一个动决定， 也可以是随机的组合。后者有一个与conjoin区分的问题。
“欢迎” 在词典subcat 中决定了可以带 “参观” 这样的宾语，就事论事 这个“欢迎-参观”的关系几乎是强搭配，与 “洗-澡” 类似。
连动也有词典 subcat 决定的，譬如 “去” vp，“驱车” vp，“出门” vp。
词典决定的东西 没有排除歧义的问题 就是词典绑架 通过 subcat。只有随机组合才有歧义区分的问题。而动宾的本质是不随机，原则上不存在歧义 一律是强盗逻辑 本质就是记忆。可以假设 人的动宾关系是死记在词典预测（expectation）里的，预测实现了 动宾就构建了 这符合 arg structure 的词典主义原则。

董:
负责挖坑，负责浇水，负责填土。。。动宾关系；

我:
负责 vp
为 vp 负责
后者是变式

董:
这么看来，动宾还是连动还是修饰（限定），都由词典解决了。统统做进词典里，就可以了。明白了。

我:
词典主义。随机度太大的组合比较难做进词典。所以一方面尽量做进词典，另一方面 来几条非词典化的规则 兜个底。
随机性而言 似乎 修饰大于连动 连动大于动宾。

白:
如果只有这三个标签，当然做进词典是首选，就怕落地时要的不止这三个。

董：

这是我刚才试的一个句子。我们为每个节点预留10个子节点。动词与动词也得包括这些。

我:
进不进词典 主要不是有几个标签 而是这个标签的性质。
语言学的理论比较文科，说的东西有些模糊，但大体还是有影子的。
语言学理论中一个最基本的概念区分就是 complement vs adjunct，这是句法的术语，对应到较深的层面 就是 argument vs modifier。一般而言，arguments or complements 都是词典的主导词可以 subcat 预测的。HowNet 从语义层面对 args 已经做了预测。语言学词典（譬如英语的计算词典，汉语的计算词典等）就是要相应地从具体语言的句法表达方式的角度把 subcat 预测的 complements 定义出来。至于 modifier 和 adjuncts，他们的组合性随机，词典就难以尽收。最典型的就是普世的时间地点状语等。世界上的所有事件都是在时间和地点中进行。

白:
跑步去公园，去公园跑步。前者去公园的路上都在跑步，两个事件在时间上重合；后者只有到了公园才开始跑步，在时间上只是先后衔接。
如果语义落地需要对此作出区分，该有什么标签？怎么词典化？
动词为其他动词挖坑的情况都不难处理，难的是压根儿没有标配的坑。这是从ontology的事件根结点继承下来的。

我:
跑步去公园，去公园跑步。
先说第二句：【去 + NP + VP】 这是可以词典预测的，万一预测不准，可以 fine-tune 条件，譬如：【去 + 地点 + 动作】，总之是词典预测的。既然词典预测了，那么该给什么标签就不是问题了。给什么都可以，要什么给什么。
再看第一句：跑步去公园。
去公园 不是问题 这是一个动宾 VP 是词典预测的：【去 + NP】 或 【去 + 地点】。
问题于是就成为 “跑步” 与 VP（人类动作）之间的关系。 这种关系在哪里处理，词典可以不可以预测？

白:
吃口饭去单位，又是接续关系不是重叠关系了

我:
这个的确有些 tricky 但不是无迹可寻。

白:
跑会儿步去公园，也是接续关系了。

我:
偷懒的办法就是有一条非辞典化的模糊的规则 Next 连接二者。
费劲的办法也有：一个是 “跑步去” 词典化 作为“去”的变体，“跑步”是对“去”的方式限定。

白:
现在的问题是，句法上承认next，语义上细化next

我:
另一个词典化的做法是，在“跑步”词条下，预测 movement 的动词 VP, 【去NP】 、【来NP】 、【到达NP】 等等 都符合条件，可以跟在“跑步”后面。

白:
为啥跑步加了时态，限定就失效？

我:
这个预测的subcat里面的句法规定是：
1. 本词不许有显性时态，不许分离；
2. 后面的 VP 必须是 movement；
3. 输出端：本词作为后一个 VP 的限定方式（句法叫方式状语：adverbial of manner）。
Binggo!
至于为啥？这个问题，系统可以不回答，系统可以是数据驱动的。
系统背后的语言学家可以一直为了 “为啥” 去争论下去，系统不必听见。总之是让 “跑会儿步去公园” 不能在此预测pattern中实现。词典化实现不了，那就只好找兜底的规则了，于是 Next 了。【限定】与【接续】的区别由此实现。前者是词典强盗，后者是句法标配。

白:
在词典之外搞几个标签模版也不难，句法上都对着next，只不过依据前后subcat细化了，这有多困难，而且清爽。

我:
亦无不可。差不多是一回事儿。一碗豆腐，豆腐一碗，就是先扣条件还是后补条件的区别而已。无论前后，总之是要用到词典信息，细线条的词典信息。

白:
看上去不那么流氓

我:
先耍流氓【注1】，还是先门当户对，是两个策略。
很多年前跟刘倬老师做专家词典。他是老一代无产阶级革命家，谆谆教导的是不能耍流氓，要门当户对，理想一致了才能结合成为革命伴侣。后来到了美国闹革命，开始转变策略，总是先耍了流氓再重新做人。其实都是有道理的。

白:
@董 跑步和上班是先后关系，跑步和去是同时关系。

董:
这句分析后，有两个“preceding”，不符合我们理想的结果。我们要的是“跑步”是“去上班”的manner 才好。因为我们要准备用户提出更多的信息要求。例如：系统要告诉用户，我平时是HOW去上班的。

我:
刘老师做系统是在科学院殿堂里面，可以数年磨一剑，we can afford to 不耍流氓。来美国闹革命拿的是风投的钱，恨不能你明天就造出语言理解机器人出来，鞭子在上，不耍流氓出不了活。形势比人强，不养童养媳成不了亲，不抓壮丁打不了仗，于是先霸王，然后有闲再甄别。

董:
是的，我们现在连科学院殿堂都不是，而是家庭作坊，可以慢慢磨。其实已经磨了20多年了。

我:
我还记得当年我们为了一个不足100句的英语sample，翻来覆去磨剑磨了两三年，反复地磨平台、磨算法和磨规则。当时的董老师已经大数据（现在看也不是大数据了）开放集测试“科研一号”【注：中国MT划时代的第一款工业产品“译星”的前身】了。

董:
我们给我们的现在开发的中文分析的目标是：看看能最大限度地挖掘出多少信息。

我:
董老师20年磨出的 HowNet 打下了语言分析的牢固基础。现在是把普世的 HowNet 细化为具体语言的句法规定。路线上是一脉相承的。换个角度看，董老师在 HowNet 中已经把普世的 Subcat 的输出端统一定义了，现在是要反过来再进一步去定义具体语言的句法表达形式，也就是输入端的pattern和条件，然后把二者的映射关系搭上，大功即告成。先深层结构 和 UG，然后回过头来应对每个语言的鸡零狗碎的形式。

董:
这倒是的，我们这个中文系统还没到半年，就有点模样了。词典22万义项，规则近4000条。当然，要真正交给用户，那还有一段磨的。

我:
蛮 impressive。我们开发四年多了，但绝对没有 8x 的规则量。

董:
这回我们不做中英翻译，因为英语生成我们做不起，又没有大数据的。其实做出来也只是给别人添砖加瓦，多一个陪着玩的。这种事情我们不玩的。

我:
对，MT 从大面上就拱手相让吧，数据为王。 符号逻辑和规则路线现在的切入点就是应对数据不足的情境：其实数据不足比人们想象的要严重得多，领域、文体等等，大数据人工标注根本玩不起。不带标的 raw 数据哪里都不缺 但那比垃圾也好不了多少。

宋:
"中国对蒙出口产品开始加征费用"

白:
这个哪里特殊？

宋:
中国对(蒙出口产品)开始加征费用, (中国对蒙)出口产品开始加征费用

白:
进口出口，应该站在自己立场吧

宋:
出口是自己的立场，但也有两种解读：蒙古出口，中国对蒙古出口。我一开始理解为后者，看了内容才知道是前者。

我:
这个 tricky，在争抢同一个介词“对”：对 np 征税；对 n 出口。
远距离赢。

白:
常识是保护自己一方的出口，限制非自己一方的进口

我:
远距离原则有逻辑 scope 的根据。但是具体看 很难说 因为汉语的介词常常省略。scope 的起点用零形式 并不鲜见。
“对阔人征税” 可以减省为 “阔人征税”；“对牛肉征税” 可以简化为 “牛肉征税”。但 “对蒙古出口”，不可简化为 “蒙古出口”。本来也可以简化的，但赶上了 “出口” ，逻辑主语相谐。“牛肉” 与 “征税” 没有这种逻辑主谓的可能，于是“对”可省 而NP的逻辑语义不变。

白:
势均力敌时，常识是关键一票

宋:
这个例子在我所看到的语境下是远距离赢，在别的语境下则不一定。因此，分析器是否应当给出两个结果，然后在进一步的处理中再筛选？

我:
给两个结果 原则上没难度，但后去还是麻烦。

白:
其实关键是什么时候定结果，几个倒在其次

我:
"中国对蒙出口产品开始被加征费用"

加了一个 被 字 哈哈 可能是蒙古对中国的反制。

白:
两个对，有一个和被不兼容

【注1】所谓parsing耍流氓，指的是在邻近的短语之间，虽然他们之间句法语义关系的条件和性质尚不清晰，parser 先行把他们勾搭上，给个 Next 或 Topic 之类的虚标签，类似未婚同居，后去或确认具体关系，明媒正娶，或红杏出墙，另攀高枝，或划清界限，分手拉倒。

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

白:
“这瓶酒他只喝了一杯。”
两个量词（瓶、杯）和一个名词（酒）关联。
三个问题：1、“这瓶酒”是什么成分？为什么？2、“一杯”是回指到句中的“酒”还是指到另一个省略了的“酒”？3、如果“喝”的逻辑宾语是杯中酒，那么瓶中酒又是什么逻辑角色？
就是说，如果把逻辑宾语看成“部分”，其相对的“总体”提前为“话题主语”或“大主语”，那么后者到底填了什么坑？目测已经没位置了

詹:
“语文他答对了三道题。”跟白老师例子类似。
他只喝了这瓶酒中一杯的量
这瓶酒他只喝了一口
这瓶酒他只喝了二两
“喝”事件可以设计一个“消耗量”的事件元素
“这瓶酒他喝了一大半”

白:
随意增减动词坑的数目总是不好，量词倒是可负载两种结构：一种是绝对量，一种是相对量。相对量有坑，绝对量没坑。

詹:
动词的坑的数量可以设计（因而可调）。消耗量设计为“喝”的一个坑，可以跟“讨论、谈、喜欢”这样的动词对比。“这瓶酒他们讨论了一杯”不能接受。因为“讨论”类动词没有预留这个坑
“这瓶酒他们讨论了一天。”
请教白老师说的绝对量和相对量具体如何理解？形式区别是什么？

白:
相对量和绝对量都是数量组合。绝对量与中心语结合，相对量中心语省略，但与同形的先行中心语形成远距离照应。
“山东聊城市”

我:

句法是清楚的。

白:
buyu是个大杂烩 装了很多不同的东西，从填坑角度看更是五花八门缺少共性。

我:
那就加个标签【数量补语】，与其他补语对照：【程度补语】【结果补语】或【原因补语】等。如果想进一步区分 “喝了一杯” 与 “喝了一斤”，还可以进一步区分 根据数量结构本身的子类即可。句法到这一步 落地应该水到渠成了。

白:
那倒不必。喝了一口有点麻烦。可是这不是一个好的二元关系。
或者说，buyu才是真正的宾语，O反而只跟buyu发生直接关系，通过buyu才跟动词发生间接关系。O跟buyu的关系是明确的总分关系

我:
喝---酒 应该是直接的关系 否则 语义不搭。

白:
一杯后面有个省略的酒
正常也可以说，走，喝两杯去。省略是肯定的，省略的是酒，则是通过先行词照应出来的。先行词是茶，省略的就是茶。杯和酒，也有强关联，不管语义上还是统计上。
试试：“这瓶酒张三只喝了一杯，李四却喝了三杯。”
要想把“一杯”和“三杯”都分析成buyu，还有点小难度呢。
“一瓶酒四个人喝，张三和李四各喝了一杯，王五和赵六各喝了两杯，瓶里还剩一杯，问这瓶酒共有几杯？”

我:

一致不一致 只要后面是有准备的 就可以我们在落地模块里面 其实是有这个心理准备的，
并不指望句法分析出现完全一致的结果。关系标签只是落地的条件之一，不是全部条件，如果 x 和 y 的关系都有可能，对付不一致就是 x|y，一般不影响结果。

白:
“X杯”都分析成buyu吗？
不好的句法不一致多些，好的句法不一致少些

我:
一切都是平衡，某个条件宽了，另外的条件就可以弥补。

白:
遇到不好的句法，不一致不是不能对付，只是一边对付一边喷语言学家而已。

我:
哪里都一样。arsing 做不好 可以喷 POS 模块开发人，OS 做不好 可以怪词典学家没弄好。或者学习模块很操蛋 对付不了 sparse data，但是 说到底 在一个真实开发环境里 还是内部协调为纲。要是踢皮球，做不了好系统

白:
但是句法稍作调整，就可以做得更好。
我:

铁路警察各管一段 是一个非常坏的原则，adaptive dev 才是正道。当然，凡事都一个度。

白:
补语和宾语补足语弄成两个东西，一个指向动词，一个指向名词。已经做了初一，还怕十五么?

我:
一杯和酒 脱离上下文 也有很强的特征上的不同 而且也有ontology或大数据方面的高度相关性。因此 句法把它们连成 x 也好 y 也好 都不是大问题，因为各自的本性的、静态的标签是恒定的、随时可check 的

白:
这话推到极端，就是不要句法也行
可你老人家早就有话等在那里，有现成的梯子，为什么不用？
我现在要说，反正也没到顶，有另一部可以爬得更高的梯子，为什么不用？
与大数据或ontology的关系，自然语言是跑不掉的，波粒二象性摆在那里。
其中可以帮到句法的部分，封装成中间件直接拿来用，早已不是禁忌。

我:
真地没看到显然的必要性，起码对于抽取情报，V 连上了实体 N做 O，连上了数量做 Buyu，想从中抽取啥都可以。要细做，也最多是把 Buyu 和 O 再加一条通道，说 Buyu 是限定 O 的。

白:
看看上面的应用题。要解题，不知道总分关系怎么解？不把句法关系标成一致，怎么获取总分关系？

我:
自然语言理解落地为自动解题，作为复杂问答系统的一个分支，这个倒是确实要求比一般情报抽取要高。那天与胡总聊到高考机器人项目，胡总说，数学应用题道理上应该电脑是大拿吧。可惜，电脑读不懂应用题。自然语言理解是拦路虎。如果读懂了题，转化成了公式，电脑当然当小菜来解题。

白:
NLU做应用题，@约翰 师兄三十几年前就在做了。

我:
做几何题，@严 也兴趣了很久。

白:
用填坑来统领句法关系，就不会那么为难了。把二元关系进行到底，把词例化进行到底。吴文俊团队实际上也做了部分几何题理解的工作。不过数学家们认为这是脏活累活，没有学术价值。所以浅尝则止

wang:
机器做数学应用题，是验证自然语言理解效果的一个非常好的测试。但是没有市场。
本人2000年是在做小学数学应用题求解系统，当时也是为了检验自然语言理解效果的。当时系统，本群的刘群老师，周明老师，詹卫东老师，董强老师都见过，只是这些老师是否想起16年前的事就不得而知了。
当时演示的应用题“一条河里有4条小船，5条大船，河里一共有几条船？”--对于求解有几条小船，几条大船，或者颠倒顺序，都可以演示OK。但是在北大詹卫东老师把“一条河”改成“一个河”，系统就出不来结果，量词啊，量词没细致考虑。
这都是过去多年的事了，只是这个系统没有市场，最后只能搁浅。落不了地就被历史淹没了。记得当时台湾的中研院许文廉老师也做数学应用题求解。对于几何求解系统前几年看过文献，好像已经非常成熟了。可能语义理解的信息不是复杂，还是封闭环境非歧义语义，也许相对容易，这个后期我关注就不是很多了。

白:
应用题这东西，换个内容就是上市公司的报表，谁还敢说分析上司公司的报表没有市场？

wang:
白老师，我那个时候抱着系统广泛寻求市场，却没有市场关爱我。

白:
关键是不要被技术的表现形式所迷惑，要看穿技术的实质，有没有用是由实质决定的，不是由眼下的表现形式决定的。定位问题了。天上不会掉下个产品经理，最初的产品经理就是你自己。这世界上能看穿技术实质的人少之又少，要把技术包装对方向，还要扶上马送一程，理解的人才有可能多那么一点点。现在的教育里用人工智能逐渐多起来，但是系统更像系统而不是老师。要想让系统像老师，必须有NLP。像伟哥这样可以躺在垄断场景上高枕无忧，犯不着关注其他场景的人毕竟也是少数。

wang:
遗憾当初没有遇到白老师啊！以白老师的眼力，就活了。
觉得李老师也是在找更宽的场景。
回到昨天的话题“这瓶酒他只喝了一杯”。我的想法是“这瓶酒”--不是补语
应该是个强调部分。类似英语“It is .... that”
这瓶“酒”和一杯（“酒”），这酒是同质的事物，后者必须省略。不同质的事物，必须交代。

白:
还有不涉及量词的总分关系：“我们班的同学就他混到了正部级”
“我们班的同学”相当于瓶中酒，“他”相当于杯中酒。
总分关系，“总”表现为话题主语，“分”表现为动词的直接成分，主语或宾语。
但是按照移位理论，移出来的话题主语的原位必须是某个论元，所以一定要找到这个坑。

wang:
这种情况可否理解介词短语省略了介词“在...中”，（among）
单独“总”这个论元好像对应不了谓词，比如这里“混”

白:
英语介词短语可以修饰名词 总直接对分，分对谓词
我早上核心观点就是这个

wang:
恩，同意白老师

我:
I drink a cup of tea
cup is O of drink and then tea is linked to cup??
this is not what has been practised for long
tea is O of drink and cup (or a_cup_of) is Mod of tea
these are standard treatments

白:
@wei 这个treatment我太同意了。
英语不能省略tea吧。
即使前面提及了tea
壶里的茶我只喝了一杯，英语怎么说？

我:
NMT: I only drank a cup of tea, how to say English?
壶呢？
原来神经做翻译的时候，怎么常见怎么来，拉下的词没处放，就不放，一笔抹去，眼不见为净。这倒是顺溜了，可不带这么糊弄吧以前的 MT，无论 SMT 还是 RMT，大概
不敢这么玩

白:
有些口译人士倒是真的如此

刘:
SMT也一样的，经常丟词，还有论文专门研究SMT的丟词问题

白:
我在上交所的时候，就领教过知名公司的随团口译。我们提出的尖锐问题，一律抹平了翻，尖锐的词儿影都没有。有时我不得不自己用英语纠正一遍。

我:
那就是 RMT 不敢丢，其实也不是不敢，是丢不掉。除非生成程序有意设计了丢的条件。默认，实词是不能丢的。
“壶里的茶我只喝了一杯” 应该是：
as for the tea in the pot, I only drank one cup of it.
“it" refers to the "tea"

白:
it，相当于移走的tea的trace 在汉语是空范畴 在英语里总要有个真实代词。从伟哥的英译可以看出，他是真心不把“壶里的茶”当主语或宾语的。

我:
顺便一提，我觉得将来机器口译会有更好的用户体验
这是因为人的口译也就那么回事儿，糊弄的时候多，不合格的口译多，合格的在时间紧张的时候也老出乱子。这个观察在前些时候尝试用 NMT 翻译汉语到英语的时候就很清晰了。当时翻译到了英语以后，第一个震惊是，NND，神经真厉害，然后看到谷歌翻译下面有一个 speech 的按钮，就顺手一按，这一听，是第二个震惊，听上去比读居然更顺耳！读起来别扭或不合法的地方，给当今的语音合成一糊弄，居然那么自然，加上人的口译也是错误不断，相比之下，机器读出来里面有几个错就相当可以接受了。于是我用 iPhone 把那一段录音下来，放到了我的博客里面，让世人见识一下，机器口译不是梦。见：

【谷歌NMT，见证奇迹的时刻】

以前一直认为，口语到文字是第一层损耗，文字翻译是信息的第二层损耗，再从目标语文字到语音，是第三层损耗，损耗这样叠加下来，语音机器翻译是一个完全没谱的事儿。但实际上不是这么回事儿。
这第三层损耗，由于有人的陪绑和陪衬，不但不减分，反而加分。第一层的问题也基本解决了。当然前提是语音技术要神（经），语音合成要做得自然巧妙，而这些现在已经不是问题了。前几天讯飞合成一个广告词，居然声情并茂。

赵忠祥当年深陷录音门丑闻，声誉形象大减，那是错了时代。隔现在，赵大叔可以一口咬定那个录音是机器假冒的。

白:
啥时候声乐也能人工合成了，让帕瓦罗蒂唱我写的歌。

我：
白老师等着吧，不远了。

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

bai:
“他汤喝了三碗”
问题：“三碗”指向“汤”还是“喝”还是自己的省略被修饰语？
问题：它和“他喝了三碗汤”在语义上等价吗？

马:
强调的内容不一样吧，前者强调喝了三碗的是汤不是别的，后者强调是三碗

我:
要挖出变式的 nuances，不如把表层结构包括词序的差异保存 等到落地的时候 由应用的需要来决定这种差异是不是有必要。脱离落地谈细微差别 及其抽象表达，容易莫衷一是 也容易丢了西瓜。

他喝了三碗汤
他喝了汤三碗
三碗汤他喝了
汤他喝了三碗
他汤喝了三碗
? 他三碗喝了汤
? 三碗他喝了汤

最后两个变式走在句法的边缘。

一个标签是 Mod，一个是 buyu，其余皆同，包括可分离动词合成词“喝汤”，表层结构的所有信息，包括词序，也都 accessible if needed。因为 parer 的内部 representation 通常是增量的、信息 enrich 的过程，除非是信息更新为了改正一个错误，过去的或历史的信息并不丢失。这也是我们以前说过的为什么休眠唤醒机制可以work，因为被唤醒的原始状态并没有丢失，一个子串永远可以重来，二次 parsing。推向极端就是，整个一个句子都可以推倒重来，因为原始的 token string 并没丢弃。当然，实际上的休眠唤醒几乎永远是针对句子中的一个子树，再糟糕的 parser 也不至于全错需要重新来过。

Topic 再进一步转为 S 就完美了，语义中间件还有细致的工作可做。

最后这两句句法边缘的句子不是不可能出现，但比较罕见，对于毛毛虫边缘的毛刺部分的现象，合法非法中间的数据，如果不常见，那就拉倒，parser 出啥结果都无需太 care，反正有做不完的活计，不值当在它们身上花时间。

【相关】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录