李：
白老师有关于深度分析的名言曰：

parser三省吾身：有坑填乎？有盘翻乎？有subcat相谐乎？

填坑乃细线条句法，翻盘为语义重新计算，subcat 相谐引入本体常识。

宋老师提出的例子很有意思，属于语义翻盘:

Jogger's nipple happens when a runner's shirt rubs against his exposed chest.
google译为 慢跑者的乳头发生在跑步者的衬衫摩擦他暴露的胸部时。

宋老师说：其实，”Jogger's nipple“应该译成“ 慢跑者乳头”，具有专指意义，可以看作临床医学的术语。汉语中，“慢跑者乳头”和“慢跑者的乳头”一字之差，决定了前者是术语，后者为普通的短语。但是，如果说“慢跑者乳头会被擦伤”时，只能理解成（慢跑者（乳头 会被擦伤））

这个一字之差 很合理啊。这与 hidden ambigity 同，是 context 强拆词典词。为了维持词典的优先或默认地位，这种强拆就是我们讨论过的休眠唤醒问题。这与 “难过” sad 被唤醒为 difficult to cross 是一个套路。可以用词驱动的方式 局部重新洗牌。

按照 “难过” 的处理思路 此例不难。大体是第一遍粗线条parsing的时候 不check语义限制条件，所以得出 这种疾病 会被擦伤 的逻辑动宾关系，大面上的 parse 是不错的，尽管不 make sense 因为疾病 与 擦伤 不搭。到后面的模块 或者是语义落地的模块，我们可以再做局部的 parsing 调整。正因为它有两种可能性，才使得词驱动的反悔策略可以成功。这个策略的成功已经在我的sentiment语义落地模块得到应用和证实。我专门有一篇博文，详细解说这种局部parsing反悔而使得语义正确落地，否则“难过”就是主观的负面情绪，可我的系统最终结论为客观的困难。“这条小河很难过” 于是不同于 “这个小孩很难过”。sentiment系统做到这个程度 没听说过第二家，但的的确确是可行的。它基于的机制就是与白老师讨论过好几回的休眠唤醒，而不是 nondeterministic 带着瓶瓶罐罐跑。原则上 只要是可以词驱动的这类现象 都可以做。

白：
方法论上，就是纵向不确定性（词汇歧义）和横向不确定性（填坑歧义）不要搅在一起。先撇开结构（但不排除非结构的各种信息包括subcat的使用）确定无歧义的词汇（WSD），再聚焦横向不确定性。当纵向自己冒出更加相谐的其他候选或者横向遭遇结构性不顺或者二者兼而有之的时候，启动WSD翻盘，即休眠唤醒。这里的潜台词是，随着填坑的进行，WSD一直在继续，类似阈下联想。但这种继续，只是横向填坑的结果单方面抛给纵向WSD，但是不到翻盘启动，WSD只不过瞎联想而已，并不反作用于横向填坑。

李：
白老师是哲学家 善于总结和抽象。

白:
段子就是这么产生的
包袱就是这么抖的
直到WSD的最后一根稻草打破僵局，启动翻盘

李：
人也是这么个理解过程，叫 恍然大悟。恍然前 其实在标配休眠。
所以说 以前很多人认为 hidden ambiguity 是中文分词的死穴、无解，那是因为误把分词当成了一个独立的死模块。 明明是 context parsing 的催眠唤醒的任务，硬要怪罪和强加给分词。现在清楚了 这个问题有解，但解不必在分词层面，解隐藏在词驱动规则里面，不到一定的时候 不 activate。这与以前的 exhaustive parsing 的方案虽然原理都是借助 parsing 之力，但却适应了 real life 系统多层模块化开发的需求。（我在博士论文中提过用 chart parsing 通过 exhaustive candidates 解决一切切词任务，包括 hidden ambiguity 的，是把切词看成 parsing 的一个有机成分，这个解决方案理论上可行，但难以 scale up。）

白:
parser三省吾身：有坑填乎？有盘翻乎？有subcat相谐乎？

李：
笑喷。差点喷在手机屏幕上

李：
说 subcat 是命根子 等价于说教科书上的 cat（POS）为基础的 grammar 太粗线条，很误导，只是 toy，无法对付真实语料。subcat 与词典主义是一致的。

白:
两个粒度
没得可选时，pos很给力。选择太多时，pos就是累赘了。

李：
hierarchy: literal -- subcat -- cat
subcat includes sub-sub-cat and hownet taxonomy

白:
沿上下位链条有一个统计分布，并不是任何一个节点的传播强度都相同。
非常有意思的一个问题

比如说到“猴子”，可能其典型的上位词是“灵长类”，而“哺乳动物”“动物”“生物”这些上位词就不那么典型。也不一定就是直接上位最典型。比如“豹子”，可能“猫科”并不典型，而“野兽”更加典型。如果要做无监督学习，典型性分布是一个必须解决的问题。典型性还会“条件化”。比如上下文中有“吃”，则“动物”上位就会强化。说“产卵”，则卵生上位会强化。

这样才能把词典中的subcat标签如所愿地变成非标注语料的自动标签。也就是说，实现正确的subcat embedding, subcat embedding是比word embedding意义重大很多的一件事，难度也不在一个数量级上。如果subcat embedding成功，意味着从此告别苦力，进入自动化标注时代。

李：
subcats （sets or clusters of words from any angles） or taxonomy 链条中的所谓典型 nodes，说到底，是作为语言特征，它是不是有区别性。

早早年做 MT 有个例子很有意思。说英语的 down 有一个用法和义项，与 along 同，翻译成汉语是 “沿着”。需要什么条件才翻译成 沿着 呢？研究了 data 发现，原来是它后面的名词都有一个特征，可以叫做“线条性”，于是这个特征就成为语言使用和理解中有意义的 feature 了：

down the street
down the line
down the pipe
down the corridor
etc

down + NP【线条性】 --》 沿着 NP

那么 along 呢？ along 基本没有歧义，于是就不需要这个条件了：

along + NP --》 沿着 NP

生物学上的 taxonomy 不一定具有语言学上的区别性特征，其中的有的 nodes 典型，具有语言意义，有的 nodes 就没有语言学意义。人、鬼、神、妖 很不同的。但是语言使用上，其搭配关系大同小异。

白:
所以闭门造taxonomy是不管用的
标签造出来就是为了区别的
如果不知道谁对区别敏感，就吃力不讨好

李：
完全从大数据去 clustering，也不好说结果就好使；闭门造车拍脑袋也容易偏差。最好还是二者的某种结合。

回到那个【线条性】的区别性feature来。一旦总结出来，我们就可以穷尽词典，根据这个特征给每一个具有线条性的名词标注。从此就可以说 down 的这个用法，我们基本搞定了，没有 sparse data 的顾虑了。如果没有总结出这个 feature，并在词典里面穷尽它，SMT 和 NMT 能自己学出这个 feature 并对 sparse data 免疫吗？它能够从 down the street 举一反三到 down the line 吗？---- 假如后者是 sparse data，训练数据里面没见的话。

白:
等会儿，两个问题要分开。词典标“线条性”特征是一件事，写不写规则是另一件事。用学习的方式，学down 和“线条性”subcat之间的搭配，机器学习方法是没问题的。
走半步，做词典里的subcat标注，另半步交给机器，这很正常。

李：
有理。不过，难点在发现“线条性”是一个值得标注的东西。假设人已经词典标注了，机器学习出这种条件，是自然的。还有一种就是不管3721，把几万个能想到的 features 都标注上，然后让学习自动筛选区别性特征，选出 top 1000 features 其他的舍去。然后，词典维护的负担就大大减轻了，只要把注意力集中在 1000 个最具区别性的概念上就可以了。其实 1000 以外的 features 也没啥概括性了，经验告诉我们舍弃没问题。反正后面还有 literal 做底。literal 做底的就是我们说的强搭配。

白:
语言学家灵感所至，想出一个“线条性”来，当然是一个好的启发。但是对于学习来说，有好的启发就很好了，不需要语言学家干脏活累活调规则。所有工作集中到词典，剩下的交给机器。

李：
HowNet 和 WordNet 里面都有万以上的 features，我们都知道者万以上的 features 其实只有千这个量级的子集最有意义。具体是哪些有意义，目前是拍脑袋。这个选取工作应该是机器来做的。

白:
作用还不仅此。
有时一词多义，不是所有义项都有“线条性”含义，比如thread作为“线程”解，其“线条性”就很弱。string当弦乐器解的时候其实已经没有线条性。所以一个外部条件，可以只和词典里一部分义项勾搭，把另一些义项冷落在一边，形成事实上的WSD，就通过subcat做。WSD和用搭配筛选固化结构，一石二鸟。义项支持结构，结构支持义项，形成正反馈。环形支持，不是单边支持。

李：
“WSD和用搭配筛选固化结构，一石二鸟。”
这就是我以前说过的，为什么 IE 可以绕过 WSD，因为 parse 基础上的 IE 语义落地根本不需要独立的 WSD 模块作为支持，因为 WSD 在 IE 过程中自然实现了。当然前提是 deep parsing 支持的 IE，而不是主流那种没有结构支持的 IE。一般而言，一个词有多义不可怕，可怕的是多义没有结构去制约。如果对于最终的语义落地，总是以 parsing 作为跳板的话，这种多义的困扰就自然消失了。

白:
当然，也少不了反悔
有subcat干扰的反悔总是比较艰难的。只需三省吾身。

李：
实际上，IE 落地不仅可以容忍词多义（WSD），也可以容忍结构歧义。因为到了 IE 的份上，domain 已经聚焦到要落地的语义。这时候，词驱动因为聚焦变得可行。因为词驱动变得对于歧义可以容忍而不失精度，这就是 deep parsing 是语义落地核武器的奥秘所在。

自然语言最让人困扰的问题是歧义性。恰恰在这个最困扰的地方，parsing + IE聚焦 使得对于歧义可以免疫的词驱动的 approach 变得切实可行。 不少人因为只知道 IE 是学出来的，不需要句法和结构，无法理解 parsing 的核武器性质。结果是 今天的 IE 与明天的 IE 被看成是两个独立的任务，具有各自的知识瓶颈。但在 parsing + IE 的架构里面，这就不再是独立的任务了，而是80%+ 相交的任务了。说白了就是，结构不够（结构歧义）词来弥补，词不够（歧义）结构来制约。要恰好赶上词的多义与结构的多义在给定的IE语义落地任务中重合，并且这种重合影响到落地的质量，很不容易呢。换句话说，如果是两条腿走路，想出错都难，想质量不高都不容易。一条腿是结构，哪怕是歧义的结构。一条腿是词（nodes），哪怕是歧义的词（当然这词所代表的不仅仅是词，还有其上的 ontology）。两条腿走路踏空掉悬崖去的例子，学者研究过，不能说没有，但真实应用中完全不足为虑。

我的黄学长（Wilks 的门生黄秀铭）在他的 Prolog MT 的博士论文中特地举了这个两脚踏空的倒霉案例，为了彰显 Prolog 回溯消歧的本领：tough coach, 第一条腿是结构：定中关系，很幸运这条腿本身没有结构歧义。第二条腿是词义，两边都是常用词，义项比较多。结果是，加上了结构以后，还留下了两个语义相谐（ontologically appropriate）的可能性，不能完全WSD消歧:  1. 严厉的教练；2. 牢固的马车。 原则上在这个 local 结构的 context 里面，这个罕见的多义案例是无解的，需要更大的上下文来消歧。要我说，拉倒吧，难得一错，认栽吧，否则不像是人造的 intelligence 呢。

白:
大数据说谁就是谁了
哪有那么纠结

李：
那倒是，不就是个 bigram 嘛。类似的例子如果远距离，不知道大数据会不会稀疏到不能定夺。譬如：The coach that has been there for years is known to be really tough.

白：
我理解WSD和分析器使用语义中间件是个动态递进的过程：随着分析的进展，原来远距离的会拉近，原来WSD的结论也会翻盘。

【相关】

《泥沙龙笔记：parsing 的休眠反悔机制》

【立委科普：歧义parsing的休眠唤醒机制再探】 

【立委科普：结构歧义的休眠唤醒演义】

【李白对话录系列】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

我:
大而言之，实词（对应概念）之间，只要发生句法关系，逻辑语义上就有个说法。
作为总原则去操作，句法标签总带着一个逻辑语义标签的做法，是有益无害的（最多是逻辑语义那边不增加新的信息，给个 dummy 的逻辑符号，assuming 句法标签对于语义落地足够了）。
但反过来，我们都知道，有不少逻辑语义是建立在没有句法直接联系的实词之间的 所谓 hidden args, 语义中间件的主要任务就是挖掘出这些 hidden 的逻辑语义关系来。
还有一个突出的区别：对于句法 dependency，大体上要遵循一个老子的原则。而对于逻辑 dependency，这一条就废了：一个儿子有多个老子，对于逻辑是天经地义。因此这树形图也就变得诡异了。

白:
定语从句就是多个老子，用坑的话说，就是填一送一

我:
定语从句的老子儿子相互循环，直接对抗 acyclic 的天条，那是 DG（Dependency Grammar） 的 formalism 引起的。DG 有一万个好，在这一点上还是露出了皮袍下面的“小”来。不过虽然君臣父子乱套，看上去挺窝心的，实际操作使用上也无大碍。要是单单为了这一点就采纳了叠床架屋的短语结构，不值得。

白:
我不认为树或者DAG是动不得的天条。语义那头已经是这样了，句法why not

我:
我无异议。不过多数语言学家和逻辑学家看不惯乱伦。

白:
而且我现在的填坑体系里根本就没有树。天生允许多爹，允许loop

我:
总得有个数据结构 某种 internal representation 作为 output。我的老印搭档在实现这个 graph 的时候，遇到 loop，以前是 error，系统罢工。后来改成 warning。实践中我发现，这个 warning 对于 debug 还是有用的。遇到定语从句这种 loop by design 就忽略警告。但很多时候，那个警告帮助指出了多层规则系统的不合理之处。人的脑子蛮可怜，再有经验的语言学家，也看不过三步。因此在编码规则的时候，容易陷入局部思维。看到 warning 时候“回溯”，往往恍然大悟，原来全局上看，有些东西是不合理的，需要协调。

biao:
哥儿几个在这死磕语法似乎很难看到什么时候是出头之日。

liang:
据说，我们都是乘着“计算”这趟历史快车。跟着时代走。

白:
做股票可不是这样说哦，都是在讲“抄底”。

这要回归到一个老问题，状态机的学习。从非确定有限状态自动机到RNN只有半步之遥。从正则表达式直接编译到RNN的路径是畅通的。所以，规则和学习两条路都可以到达RNN。说得清的用规则，说不清的用学习，谁也不碍着谁。

我:
有数据的用学习 缺乏数据的用规则。

另外 说语法没有出头之日 是小看了咱语言学家。等到 dl 先打败我的 parser 再说不迟。想起奥巴马与希拉里当年党内初选，希拉里老说奥巴马做副手不赖，可以与她搭档跟共和党竞争。奥巴马笑说，你一路输在我后面，说什么呢？当然，这些与潮流相左的话没人当真。一律当成妄人或民科的鼓噪而已。好在在应用现场，最终还是系统说话。

白:
对标注来说，上量，和自洽，是同一个问题的两面。

我:
我信服dl的power 但文本标注和domain化的挑战 貌似没看到根本的突破。知识瓶颈 kills a cat。

白:
对我来说不存在两条路线竞赛不竞赛的问题。那个东西该长什么样是更重要的，这点一旦定下来，怎么弄成那个样都行。比如说，肯定不是树。所以树库再庞大也那个。

我:
端对端的理念是不要那个：不要结构 不要语言学。

白:
那只是表象 只不过把问题转化为中间黑盒子长什么样而已。

我:
问题是 结构的目的 是帮助克服domain化的挑战。没有结构 每一个nlp的应用就是一个独立的问题，就需要无止境的带标数据，到哪里去克服这个知识瓶颈呢？一千个应用需要一千种带标大数据。在我这里不需要 因为结构化了；我只要少量的数据样本 让我知道任务的定义即可。专家天生懂得举一反n，谁叫我们是人呢，linguists，domain specialists ......

白:
这真的是表象
因为黑盒子不是仅仅学习可以得到，对规则进行编译一样可以得到。

张:
李白的discourse 省略太多，求Wei的分析

白:
所以关键是黑盒子本质上有没有容纳结构的能力。黑盒子长的模样不对，容纳结构就不力。之所以一任务一标注一训练，是因为不了解黑盒子容纳结构的通用能力。
也是因为这样拆分有利于持续发论文

wang:
白老师今天高见，“句法关系不是树结构”，领教！但是常规大部分句子，用树结构表示还是可以表达清晰的，除非您列出的那些刁钻的句子。我认为那是语言学家功课还没有做好，这些看似异类的句子（其实是现实合法句），还没有语言学家的事先分类归属。我现在的观点（也许以后会改变），句法处理过程中可以不是树结构，但是最终结果还是树，而不能出现环。

我:
无所谓啦。
社会网络里 任何人都可能与任何人发生关系 何况语词？

白:
环必然会出现
定语从句在汉语中是个并非偏门的表达方式

我:
他喜欢的女孩
什么女孩？ -- 他喜欢的女孩
他喜欢谁？ -- 喜欢女孩

白:
这个环形结构的思想大约在1998年就形成了。当时是在范畴语法的框架内表述的。后来一直想把范畴语法发展成可用的mechanism，遇到诸多困难。最近几年才转向，把当时的一些精华嫁接到依存语法中来，弄了个不伦不类没名没姓的坑论。@梁 @赵 都有涉及这项工作。看到伟哥也果断打破树结构，拥抱俩爹，非常欣慰！董老师的框架，箭头方向和我一致：萝卜指向坑，修饰语指向被修饰语。伟哥的方向，随依存体系，反过来的。伟哥省略了小词。而在我的坑论里面，小词负载很重要的结构，“的”是构成定语从句环路的最核心节点。不仅“的”，像“地”、“得”之类也负载结构，也挖坑。

wang:
看来白老师这是深酿多年的酒了哈！希望这理论能取个好听的名字。更希望早日形成系统，发挥应有力量。

我:
【坑论】，不蛮好？
环形不明白的 问利鹏 。他自从解雇了小蜜 就聘了自家领导做手下，并与新手下约法三章：一切服从领导。

我:
说到填坑，HPSG 里面有个说法：
对于 args，当然是 head 挖坑（subcat），期待（expect）那些 args 填坑。是 head 找 args。但对于 mods，一切反过来，不是 head 找 mods，而是 mod 去找 head。
所以对于词例化的 HPSG，修饰语的词也挖坑 挖的是让 head 去填的坑。

刘:
为什么mod不能做head而把动词作为arg？

我:
但实际上我自己在 parsing 的操作中，两条路线都走过：
做过 head 去找 mods，大不了多几层，或来个循环。也做过 mod 去找 head。

mod 做 head 从语义表达上，是本末倒置吧，至少人看着不舒服。真要做，也可以做，可是 mods 是数量不定的，除非是短语结构，一层一层嵌套上来，让最远的 mod 做总 head。否则 怎么表达多 mods 对于同一个 vp 的填坑要求呢？能想到的办法就是让同一个 vp 或 s 可以有 n 个 mods 的老子（说的是依存关系的表达）。总之，一般认为还是 谓词 做 head，既做 args 的 head 构成 arg structure 作为语义核心，也做 mods 的 head，表达边缘的语义（修饰限定）。

白:
这里有模糊地带。
比如，马上种树，必然种树，肯定种树，会种树。
副词和情态动词的边界 情态动词就被认为是动词填情态动词的坑

范畴语法就是mod做head，比如形容词是n/n，你喂给它一个n，它吐给你一个经过修饰了的n。

副词就被认为是给核心动词戴帽子。我曾经坚持了很长时间喂一个吐一个的思路处理修饰词，后来证明有害无益。后来把方向扭过来了。

我:
喂一个吐一个的做法 早早年我导师刘老师就是这么做的。所谓名词组抱团（就是我们说的 chunking），就是从head N 开始往左一个一个的吃。情态动词与副词 有类似也有不同。说情态动词是 head 后面的动词是 dependent，这种处理有其优点。主要是情态动词与主语往往有一致关系，而且也常带有谓语的时体信息
但副词不同，让副词做 head 就有些反客为主了。

白:
这个地方是范畴语法和依存语法的重大差别。

我:
情态动词与后面动词，谁主谁副，很有说头。从句法上，情态动词做主，因为上述理由，最合适。从语义上（谓词的ontology），当然是后面的动词，因为情态动词是功能词，反映的是语法意义，概念意义很虚。当主语与谓语需要check语法上的一致关系的时候， 应该 check 情态动词。而当主语与谓语需要 check 语义一致关系（最典型的是主谓搭配关系）的时候，就必须 check 后面的动词。这是两个矛盾的要求。一般都在一个体系内部协调解决，确保情态动词与后面动词的 acessibility，适应不同的需求。

有时候想，白老师这个群里交流的这些体会、经验、理论和实践，算不算 CL 和 NLP 方面的学问呢？要说是学问吧，好像这种学问没处发表。（语言学的刊物那边或许有一些 room，但掌管语言学的学者，对语义计算好奇多于了解和欣赏。）计算语言学这边吧，一律的学习啊学习，或者深度啊神经，根本没人拿这个学问当回事儿，或者也听不懂。

这真是一个有意思的怪象。
所以我说岂止是隔行如隔山 同行也隔山。锤子不同，虽然做的是同一个事儿，也还是隔锤如隔山。白老师这样两边都不隔的，绝对是熊猫。

这种亚健康状态，终有一天会被领域认识到。

【相关】

科学网—计算语言学的尴尬

【语义计算：从神经机器翻译谈起】

【科普随笔：NLP主流的傲慢与偏见】

【科普随笔：NLP主流最大的偏见，规则系统的手工性】

【NLP主流的反思：Church – 钟摆摆得太远（1）：历史回顾】

【Church – 钟摆摆得太远（5）：现状与结论】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

从前几天的例子：V个P （挣个毛、挣个求、挣个妹，等）
P={P，屁，头，鸟，吊，jiba，妹，鬼，......}
可以看到，小数据为依据的规则系统，有时候比大数据训练的系统，可能更加有效：更精准，更能对抗 sparse data 从而提高 recall（具有 clear patterns 性质的语言现象，可以一网打尽，完全没有 sparse data 的困扰），模拟语言现象更加直接，因此也更加容易debug和维护。

在 IE 历史上，直到 MUC-7，当时表现最牛的 NE 系统 NetOwl 就是基于 pattern rules 的，几乎所有的统计对手都拿它作为拼杀的对象。NetOwl 从 SRA spinoff 出去想以 NE 为技术基础，进行商业运作，一开始在分类广告业拿下了一些业务，终究不能持续赚钱，后来被 SRA 收回，逐渐销声匿迹了。后来追随潮流，系统里面也混杂了机器学习的模块。

从此在学界就再也见不到规则系统了，哪怕是对于规则非常适用的某些 NE 任务：譬如 时间，数量结构，等。可见潮流之厉害，貌似所向披靡。但事物的本质和本性并没有改变，对于自然语言中的具有 clear patterns 的现象，依据小数据，经过人脑的归纳，行数据驱动去开发规则系统，仍然是如上述高效而高质量：工业界默默实行的人、团队和系统并不鲜见，只不过大家心知肚明，只做不说而已。

相对应，发动群众去标注大数据，然后用大数据训练一个系统如何？这是主流的默认、honored 的方法。如果数据足够大，其质量的确可以接近或匹敌规则系统。当数据量不理想的时候，就捉襟见肘了： 或者 underkill （由于 sparse data，漏掉很多统计性稍弱的变体）伤害 recall，或者 overkill （smoothing 过度，把不该抓的现象抓进），影响了precision。

什么叫有 clear pattern 的语言现象呢？举个例子，抓取邮政地址，这个工作我自己作为一个 fun project 做过。美国地址大体是 门牌、街道、城市、州、邮政编码，最后是国名，patterns 相当地 clear，可你可能无法想象上述 pattern 的构件变体之多，有些变体绝对是 long tails，再大的数据量也难涵盖其组合爆炸的本性。

如果你收集了一个巨大的美国地址库作为训练集（大数据），你完全可以设计一个学习系统来做这件事儿。而另一边，虽然也是 data driven，但只需要小数据样本，然后经过人的大脑去举一反三进行开发，最后到 raw data 的大数据中去验证反馈。可以拍胸脯的是，后一种办法做出来的系统绝对是高质量易维护，几乎天生地具有 sparse data 的免疫性。

云:
@wei ， 地址parsing属于reg expressions就能搞定的事，我们大数据分析经常要做的事。这个和NLP没有多大的关系。 这是一个context free的grammer， 相对简单。

我: finite state， 是 regex 就搞定，但不少人还是训练。这是其一。
其二是，自然语言复杂性比起相对简单的地址识别，不过是多了几层而已。都可以 finite.  譬如，subcat 说需要 主语、宾语，还要一个宾语补足语，这与地址说需要一个街名、城市名和州名，也差不多。

云:
不一样的，
1. 街名
2. 城市
3. 州名
各自独立，互不依赖。
而主谓宾相互有上下文关系

我:
比喻都是跛脚的。anyway 二者都是 finite 装置可以搞定。地址由于其组件的独立性，利用 macros 调用，可以一层搞定，也可以不利用 macros 多层搞定。NL 通常要多层 finite 装置搞定。

其实我要说的是，自然语言看上去千丝万缕，复杂无比，但本性上、大面上是背后具有 clear patterns 的 monster。为什么自然语言有 clear patterns （所谓句法）在背后？乔姆斯基归结为 UG，是从娘胎里带出来的。有意思的是，语言学家看自然语言，看到的是章法，甭管这个章法多么地扑朔迷离。而没多少语言学训练的NLP工作者，往往看到的是一团纠缠不清的迷雾。

【相关】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

与董老师调侃AI泡沫，不过泡沫归泡沫，这次ai热让我们看清了几点：

第一是 大数据里面有名堂 不全是虚的。

第二是 长远一点看 ai 和 nlp 在领域里可以解决实际问题
譬如 我们做的客户情报产品 虽然发现市场没有预想的那么大 但价值是确认了

第三是 深度神经是技术突破 真东西 虽然目前被神话了。至少在 nmt 中 我们看到了以前达不到的质量。语音方面已经提升了整个产业的水平。

第四是 nlp 与大数据结合 让我们看到很多可能。虽然并不是每一种可能都可以满足某种社会刚需 但nlp大规模实用的大门已经开启 就看谁的市场角度对路了。

有一位风头正健冲在世界最前沿的深度学习大牛好友，看了我最新的博文【如何自动识别同一个意思千变万化的表达】, 回说：李老师你还没有理解深度学习啊，深度学习做这件事儿（识别一个 statement 的千变万化的语言表达）其实比较简单。

我不懂深度学习，那是肯定的。说这件事儿很简单，我有点存疑。至少目前所有做 bots 和问答系统的人，都在 fight 这个挑战，不能说已经完美解决。当然，Siri 这类显示了在 apps 上的应用，令人印象深刻。

Anyway，我的回答是，我们属于同类，心态和世界观是一样的。手里有把得心应手的锤子，世界就变成了钉子。区别只是锤子的不同，我不懂你的锤子，你也未必使得了我的锤子。术业有专攻，隔锤如隔山。但我确认，我的锤子可以对付这个钉子。

咱们还是来个友谊赛吧，否则这个世界多么单调。

无监督学习除了 clustering 在某些特定场景可以得到应用外，基本还是 research 的探索性质吧，没人指望它能大规模应用。clustering 到 classification 还有不小的距离，总得有某种监督或人参与才靠谱吧。那天我说，学习界啥时把机器放到raw data 的语言大海里，机器就跟小孩一样学会了语言，那才是牛逼翻天了。否则的话，你有你的知识瓶颈（巨量带标数据），我有我的知识瓶颈（专家经验），谁的瓶颈更大难说着呢。

深度神经学习前，semi-supervised 的研究很热。至少从研究角度，那个领域是令人兴奋和期待的。说的是以最少的监督（种子啥的少量带标数据，或者人工的规则做引子），结合 raw data 去试图引导系统按照指定的方向做事儿。听上去在轨道上，至少不是所谓完全的无监督那种让人觉得不靠谱。还有就是白老师的语义计算主张，不必用带标数据，但要用丰富的词典信息，结合 raw data 做 parsing，也用到深度学习模型RNN啥的，听上去也是可行的。这是因为词典信息里面已经隐含了深入的人工监督（语言学知识和用法），各种 expectations 譬如 subcat，然后到大数据里面去定位。

微博上有人问除了图像和语音，文本NLP方面，深度学习有突破吗？我的记忆中，至少n月前，相当普遍有说，深度神经在文本遭遇瓶颈（by 看到瓶子有一半是空的人），或文本有待突破（by 看到瓶子有一半是满的人）。由于DL乐观主义流行加上全世界的CL牛人都憋足了劲儿地攻关努力，据说最近收到的答案是：文本也很突破了。

于是我正面反面各问了一下，拷贝于下，在此一并求教方家：

谁能给个神经在文本NLP中突破的清单就好了, 看 so far 到底哪些是真突破，哪些仍是瓶颈？先起个头，突破似乎表现在：

1 NMT，例如谷歌翻译，特别是中到英，的确突破性发展了（百度声称更早神经了，但翻译质量远不如谷歌NMT令人印象深刻，虽然在前神经时代，百度的中文方面的SMT比谷歌强）；

2 SyntaxNet 至少在新闻正规文本上，parsing 比前突破了，已经达到 94%，虽然离应用还远，虽然不是声称的世界第一

关于神经在文本NLP上的瓶颈或缺陷也抛块砖：

1. 迄今的突破都是 supervised 的，倚赖的是 insatiable 的巨量带标数据： 带标数据于是成为知识瓶颈；

2 对于众多领域和文体，神经系统基本没有适应性，除非假设有海量领域数据可以重新训练成功；

3 几乎所有 unsupervised 尝试都是研究性质，离应用还远；

4 模型庞大带来的costs：训练和运行对计算资源的高要求

5. 迄今的端对端系统的神经应用，未见用到语言结构或理解，隐含层里的葫芦据说人也解不透；

6.  貌似黑箱子，有说 debug 不易（统计模型黑箱子不易debug的毛病以前是公认的痛点，不过最近有深度学习大牛一再强调，这个箱子一点也不黑，debug 也容易，此瓶颈存疑）；

端对端除了 NMT，还有哪些投入大规模应用的文本处理系统？似乎还在探索中，成熟的不多。在IE和QA领域，不久应该会有某种突破，因为这两个领域的系统基本是端对端，只要somehow（人海战术？）得到了大量的带标数据，突破是可以期待的。不过，在这些方面，高明的规则系统已经有了很好很快的解决方案。不信，可以到时候拉出来遛遛。

【相关】

It is untrue that Google SyntaxNet is the "world's most accurate parser ...

【李白对话录之八：有语义落地直通车的parser才是核武器】

【谷歌NMT，见证奇迹的时刻】

【泥沙龙笔记：语法工程派与统计学习派的总结】

【新智元笔记：两条路线上的NLP数据制导】

《立委随笔：语言自动分析的两个路子》

Comparison of Pros and Cons of Two NLP Approaches

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

I.          引言

有回顾NLP（Natural Language Processing）历史的知名学者介绍机器学习（machine learning）取代传统规则系统（rule-based system）成为学界主流的掌故，说20多年前好像经历了一场惊心动魄的宗教战争。必须承认，NLP 这个领域，统计学家的完胜，是有其历史必然性的。机器学习在NLP很多任务上的巨大成果和效益是有目共睹的：机器翻译，语音识别/合成，搜索排序，垃圾过滤，文档分类，自动文摘，词典习得，专名标注，词性标注等（Church 2007）。

然而，近来浏览几篇 NLP 领域代表人物的综述，见其中不乏主流的傲慢与偏见，依然令人惊诧。细想之下，统计学界的确有很多对传统规则系统根深蒂固的成见和经不起推敲但非常流行的蛮横结论。可怕的不是成见，成见无处不在。真正可怕的是成见的流行无阻。而在NLP这个领域，成见的流行到了让人瞠目结舌的程度。不假思索而认同接受这些成见成为常态。因此想到立此存照一下，并就核心的几条予以详论。下列成见随处可见，流传甚广，为免纷扰，就不列出处了，明白人自然知道这绝不是杜撰和虚立的靶子。这些成见似是而非，经不起推敲，却被很多人视为理所当然的真理。为每一条成见找一个相应的规则系统的案例并不难，但是从一些特定系统的缺陷推广到对整个规则系统的方法学上的批判，乃是其要害所在。

【成见一】规则系统的手工编制（hand-crafted）是其知识瓶颈，而机器学习是自动训练的（言下之意：没有知识瓶颈）。

【成见二】规则系统的手工编制导致其移植性差，转换领域必须重启炉灶，而机器学习因为算法和系统保持不变，转换领域只要改变训练数据即可（言下之意：移植性强）。

【成见三】规则系统很脆弱，遇到没有预测的语言现象系统就会 break（什么叫 break，死机？瘫痪？失效？），开发不了鲁棒（robust）产品。

【成见四】规则系统的结果没有置信度，鱼龙混杂。

【成见五】规则系统的编制越来越庞杂，最终无法改进，只能报废。

【成见六】规则系统的手工编制注定其无法实用，不能 scale up，只能是实验室里的玩具。

【成见七】规则系统只能在极狭窄的领域成事，无法实现跨领域的系统。

【成见八】规则系统只能处理规范的语言（譬如说明书、天气预报、新闻等），无法应对 degraded text，如社会媒体、口语、方言、黑话、OCR 文档。

【成见九】规则系统是上个世纪的技术，早已淘汰（逻辑的结论似乎是：因此不可能做出优质系统）。

【成见十】从结果上看，机器学习总是胜过规则系统。

所列“成见”有两类：一类是“偏”见，如【成见一】至【成见五】。这类偏见主要源于不完全归纳，他们也许看到过或者尝试过规则系统某一个类型, 浅尝辄止，然后遽下结论（jump to conclusions）。盗亦有道，情有可原，虽然还是应该对其一一纠“正”。本文即是拨乱反正的第一篇。成见的另一类是谬见，可以事实证明其荒谬。令人惊诧的是，谬见也可以如此流行。【成见五】以降均属不攻自破的谬见。譬如【成见八】说规则系统只能分析规范性语言。事实胜于雄辩，我们开发的以规则体系为主的舆情挖掘系统处理的就是非规范的社交媒体。这个系统的大规模运行和使用也驳斥了【成见六】,可以让读者评判这样的规则系统够不够资格称为实用系统：

以全球500强企业为主要客户的多语言客户情报挖掘系统由前后两个子系统组成。核心引擎是后台子系统（back-end indexing engine），用于对社交媒体大数据做自动分析和抽取。分析和抽取结果用开源的Apache Lucene文本搜索引擎(lucene.apache.org) 存储。生成后台索引的过程基于Map-Reduce框架，利用计算云(computing cloud) 中200台虚拟服务器进行分布式索引。对于过往一年的社会媒体大数据存档（约300亿文档跨越40多种语言），后台索引系统可以在7天左右完成全部索引。前台子系统（front-end app）是基于 SaaS 的一种类似搜索的应用。用户通过浏览器登录应用服务器，输入一个感兴趣的话题，应用服务器对后台索引进行分布式搜索，搜索的结果在应用服务器经过整合，以用户可以预设（configurable）的方式呈现给用户。这一过程立等可取，响应时间不过三四秒。

                                                                                                                                                II.         规则系统手工性的责难

【成见一】说：规则系统的手工编制（hand-crafted）是其知识瓶颈，而机器学习是自动训练的（言下之意：因此没有知识瓶颈）。

NLP主流对规则系统和语言学家大小偏见积久成堆，这第一条可以算是万偏之源。随便翻开计算语言学会议的论文，无论讨论什么语言现象，为了论证机器学习某算法的优越，在对比批评其他学习算法的同时，规则系统大多是随时抓上来陪斗的攻击对象，而攻击的理由往往只有这么一句话，规则系统的手工性决定了 “其难以开发”（或“其不能 scale up”，“其效率低下”，“其不鲁棒”，不一而足），或者干脆不给具体理由，直接说“文献【1】【2】【3】尝试了这个问题的不同方面，但这些系统都是手工编制的”，一句话判处死刑，甚至不用讨论它们的效果和质量。手工性几乎成了规则系统的“原罪”，编制这些系统的语言学家因此成为学术共同体背负原罪的二等公民。

手工编制（hand-crafted）又如何？在日常消费品领域，这是对艺人特别的嘉奖，是对批量机械化生产和千篇一律的反抗，是独特和匠心的代表，是高价格理直气壮的理由。缘何到了NLP领域，突然就成贬义词了呢？这是因为在NLP领域，代表主流的统计学家由于他们在NLP某些任务上的非凡成功，居功自傲，把成功无限夸大，给这个共同体施行了集体催眠术，有意无意引导人相信机器学习是万能的。换句话说，批判手工编制的劣根性，其隐含的前提是机器学习是万能的，有效的，首选的。而实际情况是，面对自然语言的复杂性，机器学习只是划过了语言学的冰山一角，远远没有到主流们自觉或不自觉吹嘘的万能境界。催眠的结果是，不独不少语言学家以及NLP相关利益方（如投资人和用户）被他们洗脑了，连他们自己也似乎逐渐相信了自己编制的神话。

真实世界中，NLP 是应用学科，最终结果体现在应用软件（applications）上，属于语言软件工程。作为一个产业，软件工程领域吸引了无数软件工程师，虽然他们自嘲为“码工”，社会共同体给予他们的尊重和待遇是很高的（Bill Gates 自封了一个 Chief Engineer，说明了这位软件大王对工匠大师的高度重视）。古有鲁班，现有码师（coding master）。这些码工谁不靠手工编制代码作为立足之本呢？没听说一位明星工程师因为编制代码的手工性质而被贬损。同是软件工程，为什么计算语言学家手工编制NLP代码与其他工程师手工编制软件代码，遭遇如此不同的对待。难道是因为NLP应用比其他应用简单？恰恰相反，自然语言的很多应用比起大多数应用（譬如图形软件、字处理软件等等）更加复杂和艰难。解释这种不同遭遇的唯一理由就是，作为大环境的软件领域没有NLP主流的小环境里面那么多的傲慢和偏见。软件领域的大师们还没有狂妄到以为可以靠自动编程取代手工编程。他们在手工编程的基础建设（编程架构和开发环境等）上下功夫，而不是把希望寄托在自动编程的万能上。也许在未来的某一天，一些简单的应用可以用代码自动化来实现，但是复杂任务的全自动化从目前来看是遥遥无期的。不管从什么标准来看，非浅层的自然语言分析和理解都是复杂任务的一种。因此，机器学习作为自动编程的一个体现是几乎不可能取代手工代码的。规则系统的NLP应用价值会长期存在。

自动是一个动听的词汇。如果一切人工智能都是自动学习的，前景该有多么美妙。机器学习因为与自动连接在一起，显得那么高高在上，让人仰视。它承载着人类对未来世界的幻想。这一切理应激励自动学习专家不断创新，而绝不该成为其傲慢和偏见的理由。

在下面具体论述所谓规则系统的知识瓶颈软肋之前，值得一提的是，本文所谓自动是指系统的开发，不要混淆为系统的应用。在应用层面，无论是机器学习出来的系统，还是手工编制的系统，都是全自动地服务用户的，这是软件应用的性质决定的。虽然这是显而易见的事实，可确实有人被误导，一听说手工编制，就引申为基于规则系统的应用也是手工的，或者半自动的。

手工编制NLP系统是不是规则系统的知识瓶颈？毋庸讳言，确实如此。这个瓶颈体现在系统开发的周期上。但是，这个瓶颈是几乎所有大型软件工程项目所共有的，是理所当然的资源成本，不独为 NLP “专美”。从这个意义上看，以知识瓶颈诟病规则系统是可笑的，除非可以证明对所有NLP项目，用机器学习开发系统比编制规则系统，周期短且质量高（个别的项目可能是这样，但一般而言绝非如此，后面还要详谈）。大体说来，对于NLP的浅层应用（譬如中文切词，专名识别，等等），没有三个月的开发，没有至少一位计算语言学家手工编制和调试规则和至少半个工程师的平台层面的支持，是出不来规则系统的。对于NLP的深层应用（如句法分析，舆情抽取等），没有至少一年的开发，涉及至少一位计算语言学家的手工编制规则，至少半个质量检测员的协助和半个工程师的平台支持，外加软件工程项目普遍具有的应用层面的用户接口开发等投入，也是出不来真正的软件产品的。当然需要多少开发资源在很大程度上决定于开发人员（包括作为知识工程师的计算语言学家）的经验和质量以及系统平台和开发环境的基础（infrastructures）如何。

计算语言学家编制规则系统的主体工作是利用形式化工具编写并调试语言规则、各类词典以及语言分析的流程调控。宏观上看，这个过程与软件工程师编写应用程序没有本质不同，不过是所用的语言、形式框架和开发平台（language，formalism and development platform）不同，系统设计和开发的测重点不同而已。这就好比现代的工程师用所谓高级语言 Java 或者 C，与30年前的工程师使用汇编语言的对比类似，本质是一样的编程，只是层次不同罢了。在为NLP特制的“高级”语言和平台上，计算语言学家可以不用为内存分配等非语言学的工程细节所羁绊，一般也不用为代码的优化和效率而烦扰，他们的注意力更多地放在面对自然语言的种种复杂现象，怎样设计语言处理的架构和流程，怎样平衡语言规则的条件宽窄，怎样与QA（质量检测）协调确保系统开发的健康，怎样保证语言学家团队编制规则的操作规范（unit testing，regression testing，code review，baselines，等等）以确保系统的可持续性，怎样根据语言开发需求对于现有形式框架的限制提出扩展要求，以及怎样保证复杂系统的鲁棒性，以及怎样突破规则系统的框架与其他语言处理包括机器学习进行协调，等等。一个领头的计算语言学家就是规则系统的架构师，系统的成败绝不仅仅在于语言规则的编制及其堆积，更多的决定于系统架构的合理性。明星工程师是软件企业的灵魂，NLP 规则系统的大规模成功也一样召唤着语言工程大师。

关于知识瓶颈的偏见，必须在对比中评估。自然语言处理需要语言学知识，把这些知识形式化是每个NLP系统的题中应有之义，机器学习绝不会自动免疫，无需知识的形式化。规则系统需要语言学家手工开发的资源投入，机器学习也同样需要资源的投入，不过是资源方式不同而已。具体说，机器学习的知识瓶颈在于需要大数量的训练数据集。排除研究性强实用性弱的无监督学习（unsupervised learning），机器学习中可资开发系统的方法是有监督的学习（supervised learning）。有监督的学习能开发知识系统成为应用的前提是必须有大量的手工标注的数据，作为学习的源泉。虽然机器学习的过程是自动的（学习算法的创新、调试和实现当然还是手工的），但是大量的数据标注则是手工的（本来就有现成标注不计，那是例外）。因此，机器学习同样面临知识瓶颈，不过是知识瓶颈的表现从需要少量的语言学家变成需要大量的低端劳动者（懂得语言及其任务的中学生或大学生即可胜任）。马克思说金钱是一般等价物，知识瓶颈的问题于是转化为高级劳动低级劳动的开销和转换问题：雇佣一个计算语言学家的代价大，还是雇佣10个中学生的代价大？虽然这个问题根据不同项目不同地区等因素答案会有不同，但所谓机器学习没有知识瓶颈的神话可以休矣。

另外，知识瓶颈的对比问题不仅仅是针对一个应用而言，而应该放在多应用的可移植性上来考察。我们知道大多数非浅层的NLP应用的技术支持都源于从自然语言做特定的信息抽取：抽取关系、事件、舆情等。由于机器学习把信息抽取看成一个直接对应输入和输出的黑匣子，所以一旦改变信息抽取目标和应用方向，以前的人工标注就废弃了，作为知识瓶颈的标注工作必须完全重来。可是规则系统不同，它通常设计成一个规则层级体系，由独立于领域的语言分析器（parser）来支持针对领域的信息抽取器（extractor）。结果是，在转移应用目标的时候，作为技术基础的语言分析器保持不变，只需重新编写不同的抽取规则而已。实践证明，对于规则系统，真正的知识瓶颈在语言分析器的开发上，而信息抽取本身花费不多。这是因为前者需要应对自然语言变化多端的表达方式，将其逻辑化，后者则是建立在逻辑形式（logical form）上，一条规则等价于底层规则的几百上千条。因此，从多应用的角度看，规则系统的知识成本趋小，而机器学习的知识成本则没有这个便利。

                                                                                                                                                III.        主流的反思

如前所述，NLP领域主流意识中的成见很多，积重难返。世界上还很少有这样的怪现象：号称计算语言学（Computational Linguistics）的领域一直在排挤语言学和语言学家。语言学家所擅长的规则系统，与传统语言学完全不同，是可实现的形式语言学（Formal Linguistics）的体现。对于非浅层的NLP任务，有效的规则系统不可能是计算词典和文法的简单堆积，而是蕴含了对不同语言现象的语言学处理策略（或算法）。然而，这一路研究在NLP讲台发表的空间日渐狭小，资助亦难，使得新一代学人面临技术传承的危险。Church （2007）指出，NLP研究统计一边倒的状况是如此明显，其他的声音已经听不见。在浅层NLP的低垂果实几乎全部采摘完毕以后，当下一代学人面对复杂任务时，语言学营养缺乏症可能导致统计路线捉襟见肘。

可喜的是，近年来主流中有识之士（如，Church 2007, Wintner 2009）开始了反思和呼吁，召唤语言学的归来：“In essence, linguistics is altogether missing in contemporary natural language engineering research. … I want to call for the return of linguistics to computational linguistics.”（Wintner 2009）。相信他们的声音会受到越来越多的人的注意。

参考文献

• Church 2007. A Pendulum Swung Too Far.  Linguistics issues in Language Technology,  Volume 2, Issue 4.
• Wintner 2009. What Science Underlies Natural Language Engineering? Computational Linguistics, Volume 35, Number 4

原载 《W. Li & T. Tang: 主流的傲慢与偏见：规则系统与机器学习》
【计算机学会通讯】2013年第8期（总第90期）

[Abstract]

Pride and Prejudice in Mainstream:  Rule System vs. Machine Learning

In the area of Computational Linguistics, there are two basic approaches to natural language processing, the traditional rule system and the mainstream machine learning.  They are complementary and there are pros and cons associated with both.  However, as machine learning is the dominant mainstream philosophy reflected by the overwhelming ratio of papers published in academia, the area seems to be heavily biased against the rule system methodology.  The tremendous success of machine learning as applied to a list of natural language tasks has reinforced the mainstream pride and prejudice in favor of one and against the other.   As a result, there are numerous specious views which are often taken for granted without check, including attacks on the rule system's defects based on incomplete induction or misconception.  This is not healthy for NLP itself as an applied research area and exerts an inappropriate influence on the young scientists coming to this area.  This is the first piece of a series of writings aimed at correcting the prevalent prejudice, focused on the in-depth examination of the so-called hand-crafted defect of the rule system and the associated  knowledge bottleneck issue.

【相关】

K. Church: A Pendulum Swung Too Far, Linguistics issues in Language Technology, 2011; 6(5)

【科普随笔：NLP主流的傲慢与偏见】

Pride and Prejudice of NLP Main Stream

On Hand-crafted Myth and Knowledge Bottleneck

Domain portability myth in natural language processing

【关于NLP方法论以及两条路线之争】 专栏：NLP方法论

【置顶：立委NLP博文一览】

《朝华午拾》总目录

如何把deep parsing的东西系统地用到对话系统中来？
这个以前多次零星讨论过，再梳理一下。

1. 先说 deep parsing 与 deep learning 的结合

两种结合方式，一种是内在的，一种是外在的。

1.1. 内在的结合

问题可以反过来看，绝大多数对话系统是不用 deep parsing 的，这就是没有代入结构的 baseline。如果不代入结构就已经满足应用的要求，自然没有 deep parsing 什么事儿。但其实是 baseline 有缺陷，不能解决一些问题，譬如 sparse data 的问题。
下一个问题就是，我们知道语言是有结构的，理论上讲代入结构一定对克服 sparse data 的问题有利，但实际上怎么去做，还不清楚。抽象地说，这是一个研究课题，沙龙里面讨论时候也有人提过，迄今为止的浅尝辄止，把结构作为features代入一个ngram为基础的学习模型，没有发现简单的结合办法，可以显著提高质量，这受到到 evidence overlapping 和算法复杂度等挑战。我们以前也做过这种结合的尝试，也是浅尝辄止没有深入，当时的结论是，看到了曙光，但还需要更深入的探索尝试。
迄今整个领域没有深入研究这个问题，不仅仅是研究性的挑战（算法复杂度等），更主要是：很多团队没有靠谱的deep parsing 的条件作为探索的基础，加上整个领域20多年一直陷在浅层里面做 NLP，还没有余力去做这一方面。但现在似乎到了认真做这个的时候了，因为甚至 deep learning 在算法上的突破，迄今也还是没有突破 text 结构的瓶颈，这是下一步比较清楚的方向。
我的设想是，可以重新定义 ngram 作为带入结构的探索。譬如 bigram 以前的定义就是 w(i) w(i+1) 序列，我们可以重新定义为 R（w1,w2)。这个 R 就是结构，譬如 动宾，主谓，定中，状语 等关系，deep parsing 的那些句法关系。其中的 w1 与 w2 也可以做扩展，不再是词（直接量），而是包括直接量的关于那个节点的不同抽象度的 features （最上层是 POS，中间还有带入 ontology 的可能）。当然从直接量提升到不同的 features，很可能造成模型太复杂：怎么控制复杂度，又不局限于直接量，是一个需要拿捏分寸的事儿。但总体思路就是，既要跨越线性距离的局限（通过用 R 代替 linear ngram，这是 arc 的抽象概括能力），又要跨越单词直接量的局限（node 也要具有抽象概括能力），这才有可能在学习的系统中真正有突破性进展。这个探索值得花大力气，因为这是 text NLP 的方法学上的突破，适用的不仅仅是对话系统，而是一切的ngram为基础的NLP。这是从机器学习带入 deep parsing 的角度看探索的方向。

1.2. 外在的结合

如果不从机器学习的角度看，deep parsing 支持对话系统本质上就是一个小数据的精度分析和语义落地的任务，规则本身是有一套自己的方法去做的。这一路做下去的结果是，精度（precision）高，但广度（recall）是挑战，需要靠时间去磨（incremental recall enhancement）。

这种高精度的 deep parsing 作为支持的规则系统，也可以外在地与机器学习的 baseline 系统结合。我们叫做 backoff model：就是让没有结构的机器学习的系统垫底，以弥补 recall 的不足，让 parsing 支持的精度系统作为首选。

这种外在的结合相对容易，因为两套系统是分别开发的，虽然目标是一致的。只不过到调用的时候再把两套系统结合起来。这与前面说的把 parsing 带入机器学习（1.1）不同，因为前面的是你中有我的结合，具有研究性的挑战（overlapping和perplexity等）。

我的看法是，两个路子都值得尝试：前者一旦突破，是研究的成就，有学术的影响。
后者是工程的做法 可以立竿见影。双方最终都要求一个靠谱扎实的 deep parser，对于汉语，迄今很少人做得到。汉语 chunking 倒是有靠谱的 但 deep parsing 未曾见到（不算在下）。

2.  再说说，deep parsing 在小数据系统与大数据系统的应用

对话系统基本是 front-end，面对的是小数据的处理与应对，虽然对于学习系统，在训练的时候，训练集可以是所有收集得到的对话，也有一定的量。

对于大数据挖掘以及用挖掘结果去支持问答系统（也可算是一种“对话”的延伸，譬如类似 IBM 沃森的问答系统），那边有一个 back-end engine，专门处理大数据，以抽取挖掘或在线搜寻 open-ended 的答案。这个大数据架构下，deep parsing 怎样起作用，可以说得更清晰 有把握　因为这些都是做过的工作：been there done that，在大数据挖掘，知识图谱，舆情监控，客户情报，自动民调，问答系统，智能搜索和智能浏览这些方面，deep parsing 是地地道道的核武器。

在小数据应用场合，deep parsing 也应该有很大助益，因为毕竟小数据更加依赖分析的精度。但是小数据的短板是没有大数据的信息冗余作为补偿。

或曰：车轱辘话
答曰：信息冗余是大数据时代的自保策略，否则一切真知灼见都可能烟消云散。

总之是大数据有了deep parsing，柳暗花明；大数据没有它，万古如长夜。但并不是一切的 deep parser 都是核武器，不信你下载一个斯坦福或者SyntaxNet试试就知道了。这些 deep parsers 下载来，你很难做一个像样的应用。主要原因有二：（i）他们基本没有 domain portability，设计者有本事训练出来，你下载以后想如法炮制，在你要应用的领域去重新训练，哪怕你真弄到了训练数据，其成功可能性还是渺茫；（ii） deep parsing 是 NLP 应用的核武器，绝不仅仅是指我们看到的那些句法树，还有句法树上的每个节点的丰富信息，包括 ontology。而下载来的这些 parsers 通常缺乏丰富的节点信息： 光靠单词（直接量）加上句法树结构是做不了大事的。因此核武器能不能发挥威力，很大程度上取决于 made in where and made by which approach.

其实 如果 斯坦福的 parser 或 谷歌的 SyntaxNet 能够发挥威力，迅速横扫深度 NLP 应用和产品 哪里会等到你去做 早有捷足先登的人了。而且果如此，他们大概也不会开源了，自家先发了再说。天上掉不下馅饼 就是这个道理。

Guo 君给我留言说，你整天追在学习后面喊打，人家眼珠子都不动，该干嘛干嘛。他眼珠动还是不动，根本不是我关心的。我是菩萨心肠，为了世界的丰富性和多样性，为了后学，为了NLP的未来世界，心胸早已超越一己之私，一党之争。如果没有人发声，这个世界多么单调寂寞，多少人被误导和洗脑。多少人在结果还没出来的时候，就盲目相信深度神经一定会 work，又有多少人根本就不知道这个世界还有神经以外的理性算法

阿弥陀佛。

【后记】

话多可以洗脑，嗓门高也可以洗脑。乔姆斯基的不同政见，批判美国外交政策和媒体洗脑，几十年来基本没有变动，一直是车轱辘话。他就是反复地不同角度地以不同的案例讲的是同一个见解，与马克思讲《资本论》一个路数。

不止一位朋友反映：你这速度，写的比我读的还快，哪里有那么多时间。我当是 compliments，因为所写虽有冗余，但并非口水，不乏真知灼见。这点儿信心还有。

哪里有那么多时间？鲁迅早就说过的，时间就是海绵。又说，那是把资产阶级喝咖啡的时间也挤出来了。大家都是24小时，彼此彼此，吃喝拉撒睡、上班点卯，样样不能少。

喷涌的时候写，总比枯竭的时候挤牙膏强。兴致来的时候不写，兴尽而归，就了无音息了。了无音信其实也没啥，自己脑袋的知识和见识并没有因此减少，但人活着，也不能只为了自己的脑袋不是。

其实 人一辈子有这个状态也不多。少年求学，青年求偶，中年养家，青年-老年也都还有个梦想 put a ding somewhere，总之人一辈子就是个劳碌命。随心随性的自由不过是劳碌之间的一次休假。要惜福感恩。

【相关】

【关于 parsing】

【关于信息抽取】

【关于大数据挖掘】

【关于问答系统】

【关于NLP应用】

【置顶：立委NLP博文一览】

《朝华午拾》总目录

白:
所以，述补结构的处理，分层上要先于名词（短语）填坑。全放在一个平面，就说不清楚坑多萝卜少咋分的。
我:
那是因为 subcat 不是静止的。起点是词典，但在后续中 有变。
在欧洲语言 有一些构词元素具有改变 subcat 的功效 使动语素（世界语用 -ig-）和自动语素（-igh-）是代表，morphology 里面的专门一章学问 有一套套的术语名词。
到了孤立语 句法结构就承担了一些这类subcat remapping 的功效。
白:
“这些馒头把我吃胖了”是个非常好的例子。X吃Y，Z胖。分析X、Y、Z各自的subcat，发现X与Z匹配的可能远大于Y与Z匹配的可能。而Z说好了要做结合后述补结构的逻辑宾语的，于是Y只好很不情愿地做了结合后述补结构的逻辑主语。
“把”就是“置底”，“被”就是“置顶”，“的”就是“掏心”，都是在做语序的重定向。
我:
有意思的说法。
总之 open ended 动补结构 需要动态调整 subcat 的预期指向。
白:
分层了就把复杂问题变简单了。先合并坑，再让坑一致对外。等到真正填坑的萝卜来了，坑多已经是历史传说了，现实的坑不多不少。
我:
分层是必由之路。
不仅仅是为这个 args 的捕捉。很多现象都有 local 和 全局的区分，把 local 的 和 全局的 放在一个锅里煮。不是偷懒 就是脑子进水了。出了问题找不到合适解决途径，还振振有词辩解说 语言是 inter-dependent 的，怎样分层都是割裂整体。这样思维的人 是自作自受。不管语言这个 monster 多么相互关联，难以一刀切干净，作为语言工程 你都必须切成模块。关键不在模块之间是不是绝对地合适分开 大体齐就行了；关键在于 切割了 还仍然是一个 integrated 的无缝连接的系统。即便有些地方切得不妥了 也要有改正、弥补、唤醒或其他补救或patching的机会。这样才好把千头万绪简化成 tractable 的工程开发任务。
事实上，以前红过一阵子的 unification grammars 一派 虽然最终在业界没能开花结果 在学界也被排挤得差不多了，这拨人还在 有不少是名校的名教授。他们深陷在 CFG 的单层的 formalism 里面 加上 unification 的实现也是以 Prolog 的回溯机制为基础，既无效率 也不能真正深入 很难有 scale up 的指望。结果 这帮人形成了自己的一个圈子 也有一定的体量 自己跟自己玩儿，虽然对NLP的学界和业界的影响几近于零了。每年各地诸侯会聚一次。起个名字好像叫 ...... 忘了，总之是类似 very deep parsing 意思的一个什么。其实，怎么可能 very deep，如果层次和formalism这一关不过的话？在乔姆斯基倡导的 formal linguistics 的研究中，他们算是异端。姥姥不疼舅舅不爱 我们外人看去怪落寞的。可是当年（博士阶段）初学的时候 却被它的巨大魅力而吸引。这是一个看上去很美的框架。
白:
毛毛虫万岁！
我:
对。可是看清这一点的 人不多。那么多人陷在乔老爷的怪圈里。

QUOTE ( from [转载]【白硕 – 穿越乔家大院寻找“毛毛虫”】)：

白硕老师这篇文章值得所有自然语言学者研读和反思。击节叹服，拍案叫绝，是初读此文的真切感受。白老师对乔姆斯基形式语言理论用于自然语言所造成的误导，给出了迄今所见最有深度的犀利解析，而且写得深入浅出，形象生动，妙趣横生。这么多年，这么多学者，怎么就达不到这样的深度呢？一个乔姆斯基的递归陷阱不知道栽进去多少人，造成多少人在 “不是人话” 的现象上做无用功，绕了无数弯路。学界曾有多篇长篇大论，机械地套用乔氏层级体系，在自然语言是 context-free 还是 context-sensitive 的框框里争论不休，也有折衷的说法，诸如自然语言是 mildly sensitive，这些形而上的学究式争论，大多雾里看花，隔靴搔痒，不得要领，离语言事实甚远。白老师独创的 “毛毛虫” 论，形象地打破了这些条条框框。

     白老师自己的总结是：‘如果认同“一切以真实的自然语言为出发点和最终落脚点”的理念，那就应该承认：向外有限突破，向内大举压缩，应该是一枚硬币的两面。’ 此乃金玉良言，掷地有声。

Church 写 《钟摆摆得太远》 的时候 看到了表象 格局和视野都有 但就是没看到毛毛虫的实质。他看到了这个奇怪的现象：做 formal linguistics 的 community 研究了很多语言现象 有些问题研究得很深入 并试图以自己的框架形式化分析他们 而做 nlp 的这个community 几乎全部陷在浅层的泥坑里。本来面对的是同样的自然语言 而且双方都力图形式化和电脑实现它 应该可以互补的 但这两个 communities 是如此格格不入 老死不相往来 互相看对方 都是雾里看花。
白:
门户之见是不需要证据的
我:
所以他就开了个药方 要求在理性主义预计要回归的时候 请下一代 CL 的学生 必须去修语言学的课程，“计算语言学”不能丢了“语言学”的本，必须知道语言学圈做了些什么 改变这一代的"NLP大师"缺乏语言学的怪象。
白:
抄底靠的是先知先觉。等学生上课，黄花菜都凉了
我:
但是这个药方和呼声是如此疲弱 至少迄今没人当回事。而且这个药方本身也有问题 因为那个另一派也的确问题多多。自己在围墙里面束缚了自己，完全不接地气。争论的问题一多半是口水，大多是 system internal，玩的过家家的游戏（《Church：钟摆摆得太远》）。

quote 计算语言学课程的缺陷

正如上面明斯基和帕佩特指出的，我们不断犯同样错误的部分原因与我们的教学有关。辩论的一方在当代计算语言学教科书中已被遗忘，不再提及，只能靠下一代人重新认识和复原。当代的计算语言学教科书很少介绍PCM 三位前辈。在汝拉夫斯基(Jurafsky) 和马丁(Martin) 编著的教科书以及曼宁(Manning) 等编著的两套教科书中根本没有提及皮尔斯。三本教科书中只有一本简要提起明斯基对感知机的批评。

他要学生回头去啃乔姆斯基等理性主义大师，但不知道乔姆斯基本人就是最大的误导者（乔姆斯基批判；《【钟摆摆得太远】高大上，但有偏颇》；[转载]【白硕 – 穿越乔家大院寻找“毛毛虫”】）。

w:
@wei 很是同意“关键在于 切割了 还仍然是一个 integrated 的无缝连接的系统 ，即便有些地方切得不妥了 也要有改正、弥补、唤醒或其他补救或patching的机会”。切割是为了方便处理，藕虽断但丝还连。即使切错了，还能找回来才是真谛。
白:
这是一个搜索调度策略的问题。无论是平推，还是花开N朵先表一枝，还是台面上的路径之外另有暗送秋波的密道，都是可供选择的。“先表一枝”如能综合使用词典的、subcat的、中间件的、大数据的知识，在概率上可以占得先机。“密道”维护一条“阈下”暗流，一旦主线不保，立刻跳出来翻案，在段子的理解上最像人，但是密道的日常维护机制和受激翻案机制是个高难度的机密。
平推加概率，如果有很好的硬件实现RNN，效率绝对不低。至少确保线速。

我:
rnn 经白老师不断灌输 我就当它为神器来膜拜。
林彪说了 理解的要执行 不理解的更要执行 我对白老师的 rnn 的感受就是如此。
白老师啥时来一个 rnn 直通道 提供一个接口 我就可以不断给它 feed 语言学。
w:
@白 现在的硬件发展肯定会助推DL的性能的。只要基础理论框架结实且有市场，很多的硬件商都会挤进来的，没有人和蛋糕过不去的，AI硬件GPU，FPGA，还有其他什么xPU的倒不少，不过自己没认真关注。
@wei 如果接口来了，那语言学知识好不好喂？是专家级的专属？还是一般用户可为？感觉这是能走多远，走多广的问题。
感觉上李师parser的确是核武器，专家维护几枚就好。不过市场倒很大，很多人想有一枚。就是渠道打不开。
同意白老师的密道说。而且密道也应该不是直通型的，是网络交叉型的。运行时维护密道和应时启用的确是关健。
白:
伟哥说我描述句法分析还带着账房先生的味道，这让我想起当年被傅爱萍请到社科院语言所做交流时，我提起过的“铜臭”。一晃过去这么多年了。

【相关】

《Church：钟摆摆得太远》

[转载]【白硕 – 穿越乔家大院寻找“毛毛虫”】

【乔姆斯基批判】

《泥沙龙笔记：【钟摆摆得太远】高大上，但有偏颇》

【语义计算沙龙：Parsing 的数据结构和形式文法】

【关于NLP方法论以及两条路线之争】

《朝华午拾》总目录