李：
白老师有关于深度分析的名言曰：

parser三省吾身：有坑填乎？有盘翻乎？有subcat相谐乎？

填坑乃细线条句法，翻盘为语义重新计算，subcat 相谐引入本体常识。

宋老师提出的例子很有意思，属于语义翻盘:

Jogger's nipple happens when a runner's shirt rubs against his exposed chest.
google译为 慢跑者的乳头发生在跑步者的衬衫摩擦他暴露的胸部时。

宋老师说：其实，”Jogger's nipple“应该译成“ 慢跑者乳头”，具有专指意义，可以看作临床医学的术语。汉语中，“慢跑者乳头”和“慢跑者的乳头”一字之差，决定了前者是术语，后者为普通的短语。但是，如果说“慢跑者乳头会被擦伤”时，只能理解成（慢跑者（乳头 会被擦伤））

这个一字之差 很合理啊。这与 hidden ambigity 同，是 context 强拆词典词。为了维持词典的优先或默认地位，这种强拆就是我们讨论过的休眠唤醒问题。这与 “难过” sad 被唤醒为 difficult to cross 是一个套路。可以用词驱动的方式 局部重新洗牌。

按照 “难过” 的处理思路 此例不难。大体是第一遍粗线条parsing的时候 不check语义限制条件，所以得出 这种疾病 会被擦伤 的逻辑动宾关系，大面上的 parse 是不错的，尽管不 make sense 因为疾病 与 擦伤 不搭。到后面的模块 或者是语义落地的模块，我们可以再做局部的 parsing 调整。正因为它有两种可能性，才使得词驱动的反悔策略可以成功。这个策略的成功已经在我的sentiment语义落地模块得到应用和证实。我专门有一篇博文，详细解说这种局部parsing反悔而使得语义正确落地，否则“难过”就是主观的负面情绪，可我的系统最终结论为客观的困难。“这条小河很难过” 于是不同于 “这个小孩很难过”。sentiment系统做到这个程度 没听说过第二家，但的的确确是可行的。它基于的机制就是与白老师讨论过好几回的休眠唤醒，而不是 nondeterministic 带着瓶瓶罐罐跑。原则上 只要是可以词驱动的这类现象 都可以做。

白：
方法论上，就是纵向不确定性（词汇歧义）和横向不确定性（填坑歧义）不要搅在一起。先撇开结构（但不排除非结构的各种信息包括subcat的使用）确定无歧义的词汇（WSD），再聚焦横向不确定性。当纵向自己冒出更加相谐的其他候选或者横向遭遇结构性不顺或者二者兼而有之的时候，启动WSD翻盘，即休眠唤醒。这里的潜台词是，随着填坑的进行，WSD一直在继续，类似阈下联想。但这种继续，只是横向填坑的结果单方面抛给纵向WSD，但是不到翻盘启动，WSD只不过瞎联想而已，并不反作用于横向填坑。

李：
白老师是哲学家 善于总结和抽象。

白:
段子就是这么产生的
包袱就是这么抖的
直到WSD的最后一根稻草打破僵局，启动翻盘

李：
人也是这么个理解过程，叫 恍然大悟。恍然前 其实在标配休眠。
所以说 以前很多人认为 hidden ambiguity 是中文分词的死穴、无解，那是因为误把分词当成了一个独立的死模块。 明明是 context parsing 的催眠唤醒的任务，硬要怪罪和强加给分词。现在清楚了 这个问题有解，但解不必在分词层面，解隐藏在词驱动规则里面，不到一定的时候 不 activate。这与以前的 exhaustive parsing 的方案虽然原理都是借助 parsing 之力，但却适应了 real life 系统多层模块化开发的需求。（我在博士论文中提过用 chart parsing 通过 exhaustive candidates 解决一切切词任务，包括 hidden ambiguity 的，是把切词看成 parsing 的一个有机成分，这个解决方案理论上可行，但难以 scale up。）

白:
parser三省吾身：有坑填乎？有盘翻乎？有subcat相谐乎？

李：
笑喷。差点喷在手机屏幕上

李：
说 subcat 是命根子 等价于说教科书上的 cat（POS）为基础的 grammar 太粗线条，很误导，只是 toy，无法对付真实语料。subcat 与词典主义是一致的。

白:
两个粒度
没得可选时，pos很给力。选择太多时，pos就是累赘了。

李：
hierarchy: literal -- subcat -- cat
subcat includes sub-sub-cat and hownet taxonomy

白:
沿上下位链条有一个统计分布，并不是任何一个节点的传播强度都相同。
非常有意思的一个问题

比如说到“猴子”，可能其典型的上位词是“灵长类”，而“哺乳动物”“动物”“生物”这些上位词就不那么典型。也不一定就是直接上位最典型。比如“豹子”，可能“猫科”并不典型，而“野兽”更加典型。如果要做无监督学习，典型性分布是一个必须解决的问题。典型性还会“条件化”。比如上下文中有“吃”，则“动物”上位就会强化。说“产卵”，则卵生上位会强化。

这样才能把词典中的subcat标签如所愿地变成非标注语料的自动标签。也就是说，实现正确的subcat embedding, subcat embedding是比word embedding意义重大很多的一件事，难度也不在一个数量级上。如果subcat embedding成功，意味着从此告别苦力，进入自动化标注时代。

李：
subcats （sets or clusters of words from any angles） or taxonomy 链条中的所谓典型 nodes，说到底，是作为语言特征，它是不是有区别性。

早早年做 MT 有个例子很有意思。说英语的 down 有一个用法和义项，与 along 同，翻译成汉语是 “沿着”。需要什么条件才翻译成 沿着 呢？研究了 data 发现，原来是它后面的名词都有一个特征，可以叫做“线条性”，于是这个特征就成为语言使用和理解中有意义的 feature 了：

down the street
down the line
down the pipe
down the corridor
etc

down + NP【线条性】 --》 沿着 NP

那么 along 呢？ along 基本没有歧义，于是就不需要这个条件了：

along + NP --》 沿着 NP

生物学上的 taxonomy 不一定具有语言学上的区别性特征，其中的有的 nodes 典型，具有语言意义，有的 nodes 就没有语言学意义。人、鬼、神、妖 很不同的。但是语言使用上，其搭配关系大同小异。

白:
所以闭门造taxonomy是不管用的
标签造出来就是为了区别的
如果不知道谁对区别敏感，就吃力不讨好

李：
完全从大数据去 clustering，也不好说结果就好使；闭门造车拍脑袋也容易偏差。最好还是二者的某种结合。

回到那个【线条性】的区别性feature来。一旦总结出来，我们就可以穷尽词典，根据这个特征给每一个具有线条性的名词标注。从此就可以说 down 的这个用法，我们基本搞定了，没有 sparse data 的顾虑了。如果没有总结出这个 feature，并在词典里面穷尽它，SMT 和 NMT 能自己学出这个 feature 并对 sparse data 免疫吗？它能够从 down the street 举一反三到 down the line 吗？---- 假如后者是 sparse data，训练数据里面没见的话。

白:
等会儿，两个问题要分开。词典标“线条性”特征是一件事，写不写规则是另一件事。用学习的方式，学down 和“线条性”subcat之间的搭配，机器学习方法是没问题的。
走半步，做词典里的subcat标注，另半步交给机器，这很正常。

李：
有理。不过，难点在发现“线条性”是一个值得标注的东西。假设人已经词典标注了，机器学习出这种条件，是自然的。还有一种就是不管3721，把几万个能想到的 features 都标注上，然后让学习自动筛选区别性特征，选出 top 1000 features 其他的舍去。然后，词典维护的负担就大大减轻了，只要把注意力集中在 1000 个最具区别性的概念上就可以了。其实 1000 以外的 features 也没啥概括性了，经验告诉我们舍弃没问题。反正后面还有 literal 做底。literal 做底的就是我们说的强搭配。

白:
语言学家灵感所至，想出一个“线条性”来，当然是一个好的启发。但是对于学习来说，有好的启发就很好了，不需要语言学家干脏活累活调规则。所有工作集中到词典，剩下的交给机器。

李：
HowNet 和 WordNet 里面都有万以上的 features，我们都知道者万以上的 features 其实只有千这个量级的子集最有意义。具体是哪些有意义，目前是拍脑袋。这个选取工作应该是机器来做的。

白:
作用还不仅此。
有时一词多义，不是所有义项都有“线条性”含义，比如thread作为“线程”解，其“线条性”就很弱。string当弦乐器解的时候其实已经没有线条性。所以一个外部条件，可以只和词典里一部分义项勾搭，把另一些义项冷落在一边，形成事实上的WSD，就通过subcat做。WSD和用搭配筛选固化结构，一石二鸟。义项支持结构，结构支持义项，形成正反馈。环形支持，不是单边支持。

李：
“WSD和用搭配筛选固化结构，一石二鸟。”
这就是我以前说过的，为什么 IE 可以绕过 WSD，因为 parse 基础上的 IE 语义落地根本不需要独立的 WSD 模块作为支持，因为 WSD 在 IE 过程中自然实现了。当然前提是 deep parsing 支持的 IE，而不是主流那种没有结构支持的 IE。一般而言，一个词有多义不可怕，可怕的是多义没有结构去制约。如果对于最终的语义落地，总是以 parsing 作为跳板的话，这种多义的困扰就自然消失了。

白:
当然，也少不了反悔
有subcat干扰的反悔总是比较艰难的。只需三省吾身。

李：
实际上，IE 落地不仅可以容忍词多义（WSD），也可以容忍结构歧义。因为到了 IE 的份上，domain 已经聚焦到要落地的语义。这时候，词驱动因为聚焦变得可行。因为词驱动变得对于歧义可以容忍而不失精度，这就是 deep parsing 是语义落地核武器的奥秘所在。

自然语言最让人困扰的问题是歧义性。恰恰在这个最困扰的地方，parsing + IE聚焦 使得对于歧义可以免疫的词驱动的 approach 变得切实可行。 不少人因为只知道 IE 是学出来的，不需要句法和结构，无法理解 parsing 的核武器性质。结果是 今天的 IE 与明天的 IE 被看成是两个独立的任务，具有各自的知识瓶颈。但在 parsing + IE 的架构里面，这就不再是独立的任务了，而是80%+ 相交的任务了。说白了就是，结构不够（结构歧义）词来弥补，词不够（歧义）结构来制约。要恰好赶上词的多义与结构的多义在给定的IE语义落地任务中重合，并且这种重合影响到落地的质量，很不容易呢。换句话说，如果是两条腿走路，想出错都难，想质量不高都不容易。一条腿是结构，哪怕是歧义的结构。一条腿是词（nodes），哪怕是歧义的词（当然这词所代表的不仅仅是词，还有其上的 ontology）。两条腿走路踏空掉悬崖去的例子，学者研究过，不能说没有，但真实应用中完全不足为虑。

我的黄学长（Wilks 的门生黄秀铭）在他的 Prolog MT 的博士论文中特地举了这个两脚踏空的倒霉案例，为了彰显 Prolog 回溯消歧的本领：tough coach, 第一条腿是结构：定中关系，很幸运这条腿本身没有结构歧义。第二条腿是词义，两边都是常用词，义项比较多。结果是，加上了结构以后，还留下了两个语义相谐（ontologically appropriate）的可能性，不能完全WSD消歧:  1. 严厉的教练；2. 牢固的马车。 原则上在这个 local 结构的 context 里面，这个罕见的多义案例是无解的，需要更大的上下文来消歧。要我说，拉倒吧，难得一错，认栽吧，否则不像是人造的 intelligence 呢。

白:
大数据说谁就是谁了
哪有那么纠结

李：
那倒是，不就是个 bigram 嘛。类似的例子如果远距离，不知道大数据会不会稀疏到不能定夺。譬如：The coach that has been there for years is known to be really tough.

白：
我理解WSD和分析器使用语义中间件是个动态递进的过程：随着分析的进展，原来远距离的会拉近，原来WSD的结论也会翻盘。

【相关】

《泥沙龙笔记：parsing 的休眠反悔机制》

【立委科普：歧义parsing的休眠唤醒机制再探】 

【立委科普：结构歧义的休眠唤醒演义】

【李白对话录系列】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

我:
大而言之，实词（对应概念）之间，只要发生句法关系，逻辑语义上就有个说法。
作为总原则去操作，句法标签总带着一个逻辑语义标签的做法，是有益无害的（最多是逻辑语义那边不增加新的信息，给个 dummy 的逻辑符号，assuming 句法标签对于语义落地足够了）。
但反过来，我们都知道，有不少逻辑语义是建立在没有句法直接联系的实词之间的 所谓 hidden args, 语义中间件的主要任务就是挖掘出这些 hidden 的逻辑语义关系来。
还有一个突出的区别：对于句法 dependency，大体上要遵循一个老子的原则。而对于逻辑 dependency，这一条就废了：一个儿子有多个老子，对于逻辑是天经地义。因此这树形图也就变得诡异了。

白:
定语从句就是多个老子，用坑的话说，就是填一送一

我:
定语从句的老子儿子相互循环，直接对抗 acyclic 的天条，那是 DG（Dependency Grammar） 的 formalism 引起的。DG 有一万个好，在这一点上还是露出了皮袍下面的“小”来。不过虽然君臣父子乱套，看上去挺窝心的，实际操作使用上也无大碍。要是单单为了这一点就采纳了叠床架屋的短语结构，不值得。

白:
我不认为树或者DAG是动不得的天条。语义那头已经是这样了，句法why not

我:
我无异议。不过多数语言学家和逻辑学家看不惯乱伦。

白:
而且我现在的填坑体系里根本就没有树。天生允许多爹，允许loop

我:
总得有个数据结构 某种 internal representation 作为 output。我的老印搭档在实现这个 graph 的时候，遇到 loop，以前是 error，系统罢工。后来改成 warning。实践中我发现，这个 warning 对于 debug 还是有用的。遇到定语从句这种 loop by design 就忽略警告。但很多时候，那个警告帮助指出了多层规则系统的不合理之处。人的脑子蛮可怜，再有经验的语言学家，也看不过三步。因此在编码规则的时候，容易陷入局部思维。看到 warning 时候“回溯”，往往恍然大悟，原来全局上看，有些东西是不合理的，需要协调。

biao:
哥儿几个在这死磕语法似乎很难看到什么时候是出头之日。

liang:
据说，我们都是乘着“计算”这趟历史快车。跟着时代走。

白:
做股票可不是这样说哦，都是在讲“抄底”。

这要回归到一个老问题，状态机的学习。从非确定有限状态自动机到RNN只有半步之遥。从正则表达式直接编译到RNN的路径是畅通的。所以，规则和学习两条路都可以到达RNN。说得清的用规则，说不清的用学习，谁也不碍着谁。

我:
有数据的用学习 缺乏数据的用规则。

另外 说语法没有出头之日 是小看了咱语言学家。等到 dl 先打败我的 parser 再说不迟。想起奥巴马与希拉里当年党内初选，希拉里老说奥巴马做副手不赖，可以与她搭档跟共和党竞争。奥巴马笑说，你一路输在我后面，说什么呢？当然，这些与潮流相左的话没人当真。一律当成妄人或民科的鼓噪而已。好在在应用现场，最终还是系统说话。

白:
对标注来说，上量，和自洽，是同一个问题的两面。

我:
我信服dl的power 但文本标注和domain化的挑战 貌似没看到根本的突破。知识瓶颈 kills a cat。

白:
对我来说不存在两条路线竞赛不竞赛的问题。那个东西该长什么样是更重要的，这点一旦定下来，怎么弄成那个样都行。比如说，肯定不是树。所以树库再庞大也那个。

我:
端对端的理念是不要那个：不要结构 不要语言学。

白:
那只是表象 只不过把问题转化为中间黑盒子长什么样而已。

我:
问题是 结构的目的 是帮助克服domain化的挑战。没有结构 每一个nlp的应用就是一个独立的问题，就需要无止境的带标数据，到哪里去克服这个知识瓶颈呢？一千个应用需要一千种带标大数据。在我这里不需要 因为结构化了；我只要少量的数据样本 让我知道任务的定义即可。专家天生懂得举一反n，谁叫我们是人呢，linguists，domain specialists ......

白:
这真的是表象
因为黑盒子不是仅仅学习可以得到，对规则进行编译一样可以得到。

张:
李白的discourse 省略太多，求Wei的分析

白:
所以关键是黑盒子本质上有没有容纳结构的能力。黑盒子长的模样不对，容纳结构就不力。之所以一任务一标注一训练，是因为不了解黑盒子容纳结构的通用能力。
也是因为这样拆分有利于持续发论文

wang:
白老师今天高见，“句法关系不是树结构”，领教！但是常规大部分句子，用树结构表示还是可以表达清晰的，除非您列出的那些刁钻的句子。我认为那是语言学家功课还没有做好，这些看似异类的句子（其实是现实合法句），还没有语言学家的事先分类归属。我现在的观点（也许以后会改变），句法处理过程中可以不是树结构，但是最终结果还是树，而不能出现环。

我:
无所谓啦。
社会网络里 任何人都可能与任何人发生关系 何况语词？

白:
环必然会出现
定语从句在汉语中是个并非偏门的表达方式

我:
他喜欢的女孩
什么女孩？ -- 他喜欢的女孩
他喜欢谁？ -- 喜欢女孩

白:
这个环形结构的思想大约在1998年就形成了。当时是在范畴语法的框架内表述的。后来一直想把范畴语法发展成可用的mechanism，遇到诸多困难。最近几年才转向，把当时的一些精华嫁接到依存语法中来，弄了个不伦不类没名没姓的坑论。@梁 @赵 都有涉及这项工作。看到伟哥也果断打破树结构，拥抱俩爹，非常欣慰！董老师的框架，箭头方向和我一致：萝卜指向坑，修饰语指向被修饰语。伟哥的方向，随依存体系，反过来的。伟哥省略了小词。而在我的坑论里面，小词负载很重要的结构，“的”是构成定语从句环路的最核心节点。不仅“的”，像“地”、“得”之类也负载结构，也挖坑。

wang:
看来白老师这是深酿多年的酒了哈！希望这理论能取个好听的名字。更希望早日形成系统，发挥应有力量。

我:
【坑论】，不蛮好？
环形不明白的 问利鹏 。他自从解雇了小蜜 就聘了自家领导做手下，并与新手下约法三章：一切服从领导。

我:
说到填坑，HPSG 里面有个说法：
对于 args，当然是 head 挖坑（subcat），期待（expect）那些 args 填坑。是 head 找 args。但对于 mods，一切反过来，不是 head 找 mods，而是 mod 去找 head。
所以对于词例化的 HPSG，修饰语的词也挖坑 挖的是让 head 去填的坑。

刘:
为什么mod不能做head而把动词作为arg？

我:
但实际上我自己在 parsing 的操作中，两条路线都走过：
做过 head 去找 mods，大不了多几层，或来个循环。也做过 mod 去找 head。

mod 做 head 从语义表达上，是本末倒置吧，至少人看着不舒服。真要做，也可以做，可是 mods 是数量不定的，除非是短语结构，一层一层嵌套上来，让最远的 mod 做总 head。否则 怎么表达多 mods 对于同一个 vp 的填坑要求呢？能想到的办法就是让同一个 vp 或 s 可以有 n 个 mods 的老子（说的是依存关系的表达）。总之，一般认为还是 谓词 做 head，既做 args 的 head 构成 arg structure 作为语义核心，也做 mods 的 head，表达边缘的语义（修饰限定）。

白:
这里有模糊地带。
比如，马上种树，必然种树，肯定种树，会种树。
副词和情态动词的边界 情态动词就被认为是动词填情态动词的坑

范畴语法就是mod做head，比如形容词是n/n，你喂给它一个n，它吐给你一个经过修饰了的n。

副词就被认为是给核心动词戴帽子。我曾经坚持了很长时间喂一个吐一个的思路处理修饰词，后来证明有害无益。后来把方向扭过来了。

我:
喂一个吐一个的做法 早早年我导师刘老师就是这么做的。所谓名词组抱团（就是我们说的 chunking），就是从head N 开始往左一个一个的吃。情态动词与副词 有类似也有不同。说情态动词是 head 后面的动词是 dependent，这种处理有其优点。主要是情态动词与主语往往有一致关系，而且也常带有谓语的时体信息
但副词不同，让副词做 head 就有些反客为主了。

白:
这个地方是范畴语法和依存语法的重大差别。

我:
情态动词与后面动词，谁主谁副，很有说头。从句法上，情态动词做主，因为上述理由，最合适。从语义上（谓词的ontology），当然是后面的动词，因为情态动词是功能词，反映的是语法意义，概念意义很虚。当主语与谓语需要check语法上的一致关系的时候， 应该 check 情态动词。而当主语与谓语需要 check 语义一致关系（最典型的是主谓搭配关系）的时候，就必须 check 后面的动词。这是两个矛盾的要求。一般都在一个体系内部协调解决，确保情态动词与后面动词的 acessibility，适应不同的需求。

有时候想，白老师这个群里交流的这些体会、经验、理论和实践，算不算 CL 和 NLP 方面的学问呢？要说是学问吧，好像这种学问没处发表。（语言学的刊物那边或许有一些 room，但掌管语言学的学者，对语义计算好奇多于了解和欣赏。）计算语言学这边吧，一律的学习啊学习，或者深度啊神经，根本没人拿这个学问当回事儿，或者也听不懂。

这真是一个有意思的怪象。
所以我说岂止是隔行如隔山 同行也隔山。锤子不同，虽然做的是同一个事儿，也还是隔锤如隔山。白老师这样两边都不隔的，绝对是熊猫。

这种亚健康状态，终有一天会被领域认识到。

【相关】

科学网—计算语言学的尴尬

【语义计算：从神经机器翻译谈起】

【科普随笔：NLP主流的傲慢与偏见】

【科普随笔：NLP主流最大的偏见，规则系统的手工性】

【NLP主流的反思：Church – 钟摆摆得太远（1）：历史回顾】

【Church – 钟摆摆得太远（5）：现状与结论】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

从前几天的例子：V个P （挣个毛、挣个求、挣个妹，等）
P={P，屁，头，鸟，吊，jiba，妹，鬼，......}
可以看到，小数据为依据的规则系统，有时候比大数据训练的系统，可能更加有效：更精准，更能对抗 sparse data 从而提高 recall（具有 clear patterns 性质的语言现象，可以一网打尽，完全没有 sparse data 的困扰），模拟语言现象更加直接，因此也更加容易debug和维护。

在 IE 历史上，直到 MUC-7，当时表现最牛的 NE 系统 NetOwl 就是基于 pattern rules 的，几乎所有的统计对手都拿它作为拼杀的对象。NetOwl 从 SRA spinoff 出去想以 NE 为技术基础，进行商业运作，一开始在分类广告业拿下了一些业务，终究不能持续赚钱，后来被 SRA 收回，逐渐销声匿迹了。后来追随潮流，系统里面也混杂了机器学习的模块。

从此在学界就再也见不到规则系统了，哪怕是对于规则非常适用的某些 NE 任务：譬如 时间，数量结构，等。可见潮流之厉害，貌似所向披靡。但事物的本质和本性并没有改变，对于自然语言中的具有 clear patterns 的现象，依据小数据，经过人脑的归纳，行数据驱动去开发规则系统，仍然是如上述高效而高质量：工业界默默实行的人、团队和系统并不鲜见，只不过大家心知肚明，只做不说而已。

相对应，发动群众去标注大数据，然后用大数据训练一个系统如何？这是主流的默认、honored 的方法。如果数据足够大，其质量的确可以接近或匹敌规则系统。当数据量不理想的时候，就捉襟见肘了： 或者 underkill （由于 sparse data，漏掉很多统计性稍弱的变体）伤害 recall，或者 overkill （smoothing 过度，把不该抓的现象抓进），影响了precision。

什么叫有 clear pattern 的语言现象呢？举个例子，抓取邮政地址，这个工作我自己作为一个 fun project 做过。美国地址大体是 门牌、街道、城市、州、邮政编码，最后是国名，patterns 相当地 clear，可你可能无法想象上述 pattern 的构件变体之多，有些变体绝对是 long tails，再大的数据量也难涵盖其组合爆炸的本性。

如果你收集了一个巨大的美国地址库作为训练集（大数据），你完全可以设计一个学习系统来做这件事儿。而另一边，虽然也是 data driven，但只需要小数据样本，然后经过人的大脑去举一反三进行开发，最后到 raw data 的大数据中去验证反馈。可以拍胸脯的是，后一种办法做出来的系统绝对是高质量易维护，几乎天生地具有 sparse data 的免疫性。

云:
@wei ， 地址parsing属于reg expressions就能搞定的事，我们大数据分析经常要做的事。这个和NLP没有多大的关系。 这是一个context free的grammer， 相对简单。

我: finite state， 是 regex 就搞定，但不少人还是训练。这是其一。
其二是，自然语言复杂性比起相对简单的地址识别，不过是多了几层而已。都可以 finite.  譬如，subcat 说需要 主语、宾语，还要一个宾语补足语，这与地址说需要一个街名、城市名和州名，也差不多。

云:
不一样的，
1. 街名
2. 城市
3. 州名
各自独立，互不依赖。
而主谓宾相互有上下文关系

我:
比喻都是跛脚的。anyway 二者都是 finite 装置可以搞定。地址由于其组件的独立性，利用 macros 调用，可以一层搞定，也可以不利用 macros 多层搞定。NL 通常要多层 finite 装置搞定。

其实我要说的是，自然语言看上去千丝万缕，复杂无比，但本性上、大面上是背后具有 clear patterns 的 monster。为什么自然语言有 clear patterns （所谓句法）在背后？乔姆斯基归结为 UG，是从娘胎里带出来的。有意思的是，语言学家看自然语言，看到的是章法，甭管这个章法多么地扑朔迷离。而没多少语言学训练的NLP工作者，往往看到的是一团纠缠不清的迷雾。

【相关】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

与董老师调侃AI泡沫，不过泡沫归泡沫，这次ai热让我们看清了几点：

第一是 大数据里面有名堂 不全是虚的。

第二是 长远一点看 ai 和 nlp 在领域里可以解决实际问题
譬如 我们做的客户情报产品 虽然发现市场没有预想的那么大 但价值是确认了

第三是 深度神经是技术突破 真东西 虽然目前被神话了。至少在 nmt 中 我们看到了以前达不到的质量。语音方面已经提升了整个产业的水平。

第四是 nlp 与大数据结合 让我们看到很多可能。虽然并不是每一种可能都可以满足某种社会刚需 但nlp大规模实用的大门已经开启 就看谁的市场角度对路了。

有一位风头正健冲在世界最前沿的深度学习大牛好友，看了我最新的博文【如何自动识别同一个意思千变万化的表达】, 回说：李老师你还没有理解深度学习啊，深度学习做这件事儿（识别一个 statement 的千变万化的语言表达）其实比较简单。

我不懂深度学习，那是肯定的。说这件事儿很简单，我有点存疑。至少目前所有做 bots 和问答系统的人，都在 fight 这个挑战，不能说已经完美解决。当然，Siri 这类显示了在 apps 上的应用，令人印象深刻。

Anyway，我的回答是，我们属于同类，心态和世界观是一样的。手里有把得心应手的锤子，世界就变成了钉子。区别只是锤子的不同，我不懂你的锤子，你也未必使得了我的锤子。术业有专攻，隔锤如隔山。但我确认，我的锤子可以对付这个钉子。

咱们还是来个友谊赛吧，否则这个世界多么单调。

无监督学习除了 clustering 在某些特定场景可以得到应用外，基本还是 research 的探索性质吧，没人指望它能大规模应用。clustering 到 classification 还有不小的距离，总得有某种监督或人参与才靠谱吧。那天我说，学习界啥时把机器放到raw data 的语言大海里，机器就跟小孩一样学会了语言，那才是牛逼翻天了。否则的话，你有你的知识瓶颈（巨量带标数据），我有我的知识瓶颈（专家经验），谁的瓶颈更大难说着呢。

深度神经学习前，semi-supervised 的研究很热。至少从研究角度，那个领域是令人兴奋和期待的。说的是以最少的监督（种子啥的少量带标数据，或者人工的规则做引子），结合 raw data 去试图引导系统按照指定的方向做事儿。听上去在轨道上，至少不是所谓完全的无监督那种让人觉得不靠谱。还有就是白老师的语义计算主张，不必用带标数据，但要用丰富的词典信息，结合 raw data 做 parsing，也用到深度学习模型RNN啥的，听上去也是可行的。这是因为词典信息里面已经隐含了深入的人工监督（语言学知识和用法），各种 expectations 譬如 subcat，然后到大数据里面去定位。

微博上有人问除了图像和语音，文本NLP方面，深度学习有突破吗？我的记忆中，至少n月前，相当普遍有说，深度神经在文本遭遇瓶颈（by 看到瓶子有一半是空的人），或文本有待突破（by 看到瓶子有一半是满的人）。由于DL乐观主义流行加上全世界的CL牛人都憋足了劲儿地攻关努力，据说最近收到的答案是：文本也很突破了。

于是我正面反面各问了一下，拷贝于下，在此一并求教方家：

谁能给个神经在文本NLP中突破的清单就好了, 看 so far 到底哪些是真突破，哪些仍是瓶颈？先起个头，突破似乎表现在：

1 NMT，例如谷歌翻译，特别是中到英，的确突破性发展了（百度声称更早神经了，但翻译质量远不如谷歌NMT令人印象深刻，虽然在前神经时代，百度的中文方面的SMT比谷歌强）；

2 SyntaxNet 至少在新闻正规文本上，parsing 比前突破了，已经达到 94%，虽然离应用还远，虽然不是声称的世界第一

关于神经在文本NLP上的瓶颈或缺陷也抛块砖：

1. 迄今的突破都是 supervised 的，倚赖的是 insatiable 的巨量带标数据： 带标数据于是成为知识瓶颈；

2 对于众多领域和文体，神经系统基本没有适应性，除非假设有海量领域数据可以重新训练成功；

3 几乎所有 unsupervised 尝试都是研究性质，离应用还远；

4 模型庞大带来的costs：训练和运行对计算资源的高要求

5. 迄今的端对端系统的神经应用，未见用到语言结构或理解，隐含层里的葫芦据说人也解不透；

6.  貌似黑箱子，有说 debug 不易（统计模型黑箱子不易debug的毛病以前是公认的痛点，不过最近有深度学习大牛一再强调，这个箱子一点也不黑，debug 也容易，此瓶颈存疑）；

端对端除了 NMT，还有哪些投入大规模应用的文本处理系统？似乎还在探索中，成熟的不多。在IE和QA领域，不久应该会有某种突破，因为这两个领域的系统基本是端对端，只要somehow（人海战术？）得到了大量的带标数据，突破是可以期待的。不过，在这些方面，高明的规则系统已经有了很好很快的解决方案。不信，可以到时候拉出来遛遛。

【相关】

It is untrue that Google SyntaxNet is the "world's most accurate parser ...

【李白对话录之八：有语义落地直通车的parser才是核武器】

【谷歌NMT，见证奇迹的时刻】

【泥沙龙笔记：语法工程派与统计学习派的总结】

【新智元笔记：两条路线上的NLP数据制导】

《立委随笔：语言自动分析的两个路子》

Comparison of Pros and Cons of Two NLP Approaches

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

I.          引言

有回顾NLP（Natural Language Processing）历史的知名学者介绍机器学习（machine learning）取代传统规则系统（rule-based system）成为学界主流的掌故，说20多年前好像经历了一场惊心动魄的宗教战争。必须承认，NLP 这个领域，统计学家的完胜，是有其历史必然性的。机器学习在NLP很多任务上的巨大成果和效益是有目共睹的：机器翻译，语音识别/合成，搜索排序，垃圾过滤，文档分类，自动文摘，词典习得，专名标注，词性标注等（Church 2007）。

然而，近来浏览几篇 NLP 领域代表人物的综述，见其中不乏主流的傲慢与偏见，依然令人惊诧。细想之下，统计学界的确有很多对传统规则系统根深蒂固的成见和经不起推敲但非常流行的蛮横结论。可怕的不是成见，成见无处不在。真正可怕的是成见的流行无阻。而在NLP这个领域，成见的流行到了让人瞠目结舌的程度。不假思索而认同接受这些成见成为常态。因此想到立此存照一下，并就核心的几条予以详论。下列成见随处可见，流传甚广，为免纷扰，就不列出处了，明白人自然知道这绝不是杜撰和虚立的靶子。这些成见似是而非，经不起推敲，却被很多人视为理所当然的真理。为每一条成见找一个相应的规则系统的案例并不难，但是从一些特定系统的缺陷推广到对整个规则系统的方法学上的批判，乃是其要害所在。

【成见一】规则系统的手工编制（hand-crafted）是其知识瓶颈，而机器学习是自动训练的（言下之意：没有知识瓶颈）。

【成见二】规则系统的手工编制导致其移植性差，转换领域必须重启炉灶，而机器学习因为算法和系统保持不变，转换领域只要改变训练数据即可（言下之意：移植性强）。

【成见三】规则系统很脆弱，遇到没有预测的语言现象系统就会 break（什么叫 break，死机？瘫痪？失效？），开发不了鲁棒（robust）产品。

【成见四】规则系统的结果没有置信度，鱼龙混杂。

【成见五】规则系统的编制越来越庞杂，最终无法改进，只能报废。

【成见六】规则系统的手工编制注定其无法实用，不能 scale up，只能是实验室里的玩具。

【成见七】规则系统只能在极狭窄的领域成事，无法实现跨领域的系统。

【成见八】规则系统只能处理规范的语言（譬如说明书、天气预报、新闻等），无法应对 degraded text，如社会媒体、口语、方言、黑话、OCR 文档。

【成见九】规则系统是上个世纪的技术，早已淘汰（逻辑的结论似乎是：因此不可能做出优质系统）。

【成见十】从结果上看，机器学习总是胜过规则系统。

所列“成见”有两类：一类是“偏”见，如【成见一】至【成见五】。这类偏见主要源于不完全归纳，他们也许看到过或者尝试过规则系统某一个类型, 浅尝辄止，然后遽下结论（jump to conclusions）。盗亦有道，情有可原，虽然还是应该对其一一纠“正”。本文即是拨乱反正的第一篇。成见的另一类是谬见，可以事实证明其荒谬。令人惊诧的是，谬见也可以如此流行。【成见五】以降均属不攻自破的谬见。譬如【成见八】说规则系统只能分析规范性语言。事实胜于雄辩，我们开发的以规则体系为主的舆情挖掘系统处理的就是非规范的社交媒体。这个系统的大规模运行和使用也驳斥了【成见六】,可以让读者评判这样的规则系统够不够资格称为实用系统：

以全球500强企业为主要客户的多语言客户情报挖掘系统由前后两个子系统组成。核心引擎是后台子系统（back-end indexing engine），用于对社交媒体大数据做自动分析和抽取。分析和抽取结果用开源的Apache Lucene文本搜索引擎(lucene.apache.org) 存储。生成后台索引的过程基于Map-Reduce框架，利用计算云(computing cloud) 中200台虚拟服务器进行分布式索引。对于过往一年的社会媒体大数据存档（约300亿文档跨越40多种语言），后台索引系统可以在7天左右完成全部索引。前台子系统（front-end app）是基于 SaaS 的一种类似搜索的应用。用户通过浏览器登录应用服务器，输入一个感兴趣的话题，应用服务器对后台索引进行分布式搜索，搜索的结果在应用服务器经过整合，以用户可以预设（configurable）的方式呈现给用户。这一过程立等可取，响应时间不过三四秒。

                                                                                                                                                II.         规则系统手工性的责难

【成见一】说：规则系统的手工编制（hand-crafted）是其知识瓶颈，而机器学习是自动训练的（言下之意：因此没有知识瓶颈）。

NLP主流对规则系统和语言学家大小偏见积久成堆，这第一条可以算是万偏之源。随便翻开计算语言学会议的论文，无论讨论什么语言现象，为了论证机器学习某算法的优越，在对比批评其他学习算法的同时，规则系统大多是随时抓上来陪斗的攻击对象，而攻击的理由往往只有这么一句话，规则系统的手工性决定了 “其难以开发”（或“其不能 scale up”，“其效率低下”，“其不鲁棒”，不一而足），或者干脆不给具体理由，直接说“文献【1】【2】【3】尝试了这个问题的不同方面，但这些系统都是手工编制的”，一句话判处死刑，甚至不用讨论它们的效果和质量。手工性几乎成了规则系统的“原罪”，编制这些系统的语言学家因此成为学术共同体背负原罪的二等公民。

手工编制（hand-crafted）又如何？在日常消费品领域，这是对艺人特别的嘉奖，是对批量机械化生产和千篇一律的反抗，是独特和匠心的代表，是高价格理直气壮的理由。缘何到了NLP领域，突然就成贬义词了呢？这是因为在NLP领域，代表主流的统计学家由于他们在NLP某些任务上的非凡成功，居功自傲，把成功无限夸大，给这个共同体施行了集体催眠术，有意无意引导人相信机器学习是万能的。换句话说，批判手工编制的劣根性，其隐含的前提是机器学习是万能的，有效的，首选的。而实际情况是，面对自然语言的复杂性，机器学习只是划过了语言学的冰山一角，远远没有到主流们自觉或不自觉吹嘘的万能境界。催眠的结果是，不独不少语言学家以及NLP相关利益方（如投资人和用户）被他们洗脑了，连他们自己也似乎逐渐相信了自己编制的神话。

真实世界中，NLP 是应用学科，最终结果体现在应用软件（applications）上，属于语言软件工程。作为一个产业，软件工程领域吸引了无数软件工程师，虽然他们自嘲为“码工”，社会共同体给予他们的尊重和待遇是很高的（Bill Gates 自封了一个 Chief Engineer，说明了这位软件大王对工匠大师的高度重视）。古有鲁班，现有码师（coding master）。这些码工谁不靠手工编制代码作为立足之本呢？没听说一位明星工程师因为编制代码的手工性质而被贬损。同是软件工程，为什么计算语言学家手工编制NLP代码与其他工程师手工编制软件代码，遭遇如此不同的对待。难道是因为NLP应用比其他应用简单？恰恰相反，自然语言的很多应用比起大多数应用（譬如图形软件、字处理软件等等）更加复杂和艰难。解释这种不同遭遇的唯一理由就是，作为大环境的软件领域没有NLP主流的小环境里面那么多的傲慢和偏见。软件领域的大师们还没有狂妄到以为可以靠自动编程取代手工编程。他们在手工编程的基础建设（编程架构和开发环境等）上下功夫，而不是把希望寄托在自动编程的万能上。也许在未来的某一天，一些简单的应用可以用代码自动化来实现，但是复杂任务的全自动化从目前来看是遥遥无期的。不管从什么标准来看，非浅层的自然语言分析和理解都是复杂任务的一种。因此，机器学习作为自动编程的一个体现是几乎不可能取代手工代码的。规则系统的NLP应用价值会长期存在。

自动是一个动听的词汇。如果一切人工智能都是自动学习的，前景该有多么美妙。机器学习因为与自动连接在一起，显得那么高高在上，让人仰视。它承载着人类对未来世界的幻想。这一切理应激励自动学习专家不断创新，而绝不该成为其傲慢和偏见的理由。

在下面具体论述所谓规则系统的知识瓶颈软肋之前，值得一提的是，本文所谓自动是指系统的开发，不要混淆为系统的应用。在应用层面，无论是机器学习出来的系统，还是手工编制的系统，都是全自动地服务用户的，这是软件应用的性质决定的。虽然这是显而易见的事实，可确实有人被误导，一听说手工编制，就引申为基于规则系统的应用也是手工的，或者半自动的。

手工编制NLP系统是不是规则系统的知识瓶颈？毋庸讳言，确实如此。这个瓶颈体现在系统开发的周期上。但是，这个瓶颈是几乎所有大型软件工程项目所共有的，是理所当然的资源成本，不独为 NLP “专美”。从这个意义上看，以知识瓶颈诟病规则系统是可笑的，除非可以证明对所有NLP项目，用机器学习开发系统比编制规则系统，周期短且质量高（个别的项目可能是这样，但一般而言绝非如此，后面还要详谈）。大体说来，对于NLP的浅层应用（譬如中文切词，专名识别，等等），没有三个月的开发，没有至少一位计算语言学家手工编制和调试规则和至少半个工程师的平台层面的支持，是出不来规则系统的。对于NLP的深层应用（如句法分析，舆情抽取等），没有至少一年的开发，涉及至少一位计算语言学家的手工编制规则，至少半个质量检测员的协助和半个工程师的平台支持，外加软件工程项目普遍具有的应用层面的用户接口开发等投入，也是出不来真正的软件产品的。当然需要多少开发资源在很大程度上决定于开发人员（包括作为知识工程师的计算语言学家）的经验和质量以及系统平台和开发环境的基础（infrastructures）如何。

计算语言学家编制规则系统的主体工作是利用形式化工具编写并调试语言规则、各类词典以及语言分析的流程调控。宏观上看，这个过程与软件工程师编写应用程序没有本质不同，不过是所用的语言、形式框架和开发平台（language，formalism and development platform）不同，系统设计和开发的测重点不同而已。这就好比现代的工程师用所谓高级语言 Java 或者 C，与30年前的工程师使用汇编语言的对比类似，本质是一样的编程，只是层次不同罢了。在为NLP特制的“高级”语言和平台上，计算语言学家可以不用为内存分配等非语言学的工程细节所羁绊，一般也不用为代码的优化和效率而烦扰，他们的注意力更多地放在面对自然语言的种种复杂现象，怎样设计语言处理的架构和流程，怎样平衡语言规则的条件宽窄，怎样与QA（质量检测）协调确保系统开发的健康，怎样保证语言学家团队编制规则的操作规范（unit testing，regression testing，code review，baselines，等等）以确保系统的可持续性，怎样根据语言开发需求对于现有形式框架的限制提出扩展要求，以及怎样保证复杂系统的鲁棒性，以及怎样突破规则系统的框架与其他语言处理包括机器学习进行协调，等等。一个领头的计算语言学家就是规则系统的架构师，系统的成败绝不仅仅在于语言规则的编制及其堆积，更多的决定于系统架构的合理性。明星工程师是软件企业的灵魂，NLP 规则系统的大规模成功也一样召唤着语言工程大师。

关于知识瓶颈的偏见，必须在对比中评估。自然语言处理需要语言学知识，把这些知识形式化是每个NLP系统的题中应有之义，机器学习绝不会自动免疫，无需知识的形式化。规则系统需要语言学家手工开发的资源投入，机器学习也同样需要资源的投入，不过是资源方式不同而已。具体说，机器学习的知识瓶颈在于需要大数量的训练数据集。排除研究性强实用性弱的无监督学习（unsupervised learning），机器学习中可资开发系统的方法是有监督的学习（supervised learning）。有监督的学习能开发知识系统成为应用的前提是必须有大量的手工标注的数据，作为学习的源泉。虽然机器学习的过程是自动的（学习算法的创新、调试和实现当然还是手工的），但是大量的数据标注则是手工的（本来就有现成标注不计，那是例外）。因此，机器学习同样面临知识瓶颈，不过是知识瓶颈的表现从需要少量的语言学家变成需要大量的低端劳动者（懂得语言及其任务的中学生或大学生即可胜任）。马克思说金钱是一般等价物，知识瓶颈的问题于是转化为高级劳动低级劳动的开销和转换问题：雇佣一个计算语言学家的代价大，还是雇佣10个中学生的代价大？虽然这个问题根据不同项目不同地区等因素答案会有不同，但所谓机器学习没有知识瓶颈的神话可以休矣。

另外，知识瓶颈的对比问题不仅仅是针对一个应用而言，而应该放在多应用的可移植性上来考察。我们知道大多数非浅层的NLP应用的技术支持都源于从自然语言做特定的信息抽取：抽取关系、事件、舆情等。由于机器学习把信息抽取看成一个直接对应输入和输出的黑匣子，所以一旦改变信息抽取目标和应用方向，以前的人工标注就废弃了，作为知识瓶颈的标注工作必须完全重来。可是规则系统不同，它通常设计成一个规则层级体系，由独立于领域的语言分析器（parser）来支持针对领域的信息抽取器（extractor）。结果是，在转移应用目标的时候，作为技术基础的语言分析器保持不变，只需重新编写不同的抽取规则而已。实践证明，对于规则系统，真正的知识瓶颈在语言分析器的开发上，而信息抽取本身花费不多。这是因为前者需要应对自然语言变化多端的表达方式，将其逻辑化，后者则是建立在逻辑形式（logical form）上，一条规则等价于底层规则的几百上千条。因此，从多应用的角度看，规则系统的知识成本趋小，而机器学习的知识成本则没有这个便利。

                                                                                                                                                III.        主流的反思

如前所述，NLP领域主流意识中的成见很多，积重难返。世界上还很少有这样的怪现象：号称计算语言学（Computational Linguistics）的领域一直在排挤语言学和语言学家。语言学家所擅长的规则系统，与传统语言学完全不同，是可实现的形式语言学（Formal Linguistics）的体现。对于非浅层的NLP任务，有效的规则系统不可能是计算词典和文法的简单堆积，而是蕴含了对不同语言现象的语言学处理策略（或算法）。然而，这一路研究在NLP讲台发表的空间日渐狭小，资助亦难，使得新一代学人面临技术传承的危险。Church （2007）指出，NLP研究统计一边倒的状况是如此明显，其他的声音已经听不见。在浅层NLP的低垂果实几乎全部采摘完毕以后，当下一代学人面对复杂任务时，语言学营养缺乏症可能导致统计路线捉襟见肘。

可喜的是，近年来主流中有识之士（如，Church 2007, Wintner 2009）开始了反思和呼吁，召唤语言学的归来：“In essence, linguistics is altogether missing in contemporary natural language engineering research. … I want to call for the return of linguistics to computational linguistics.”（Wintner 2009）。相信他们的声音会受到越来越多的人的注意。

参考文献

• Church 2007. A Pendulum Swung Too Far.  Linguistics issues in Language Technology,  Volume 2, Issue 4.
• Wintner 2009. What Science Underlies Natural Language Engineering? Computational Linguistics, Volume 35, Number 4

原载 《W. Li & T. Tang: 主流的傲慢与偏见：规则系统与机器学习》
【计算机学会通讯】2013年第8期（总第90期）

[Abstract]

Pride and Prejudice in Mainstream:  Rule System vs. Machine Learning

In the area of Computational Linguistics, there are two basic approaches to natural language processing, the traditional rule system and the mainstream machine learning.  They are complementary and there are pros and cons associated with both.  However, as machine learning is the dominant mainstream philosophy reflected by the overwhelming ratio of papers published in academia, the area seems to be heavily biased against the rule system methodology.  The tremendous success of machine learning as applied to a list of natural language tasks has reinforced the mainstream pride and prejudice in favor of one and against the other.   As a result, there are numerous specious views which are often taken for granted without check, including attacks on the rule system's defects based on incomplete induction or misconception.  This is not healthy for NLP itself as an applied research area and exerts an inappropriate influence on the young scientists coming to this area.  This is the first piece of a series of writings aimed at correcting the prevalent prejudice, focused on the in-depth examination of the so-called hand-crafted defect of the rule system and the associated  knowledge bottleneck issue.

【相关】

K. Church: A Pendulum Swung Too Far, Linguistics issues in Language Technology, 2011; 6(5)

【科普随笔：NLP主流的傲慢与偏见】

Pride and Prejudice of NLP Main Stream

On Hand-crafted Myth and Knowledge Bottleneck

Domain portability myth in natural language processing

【关于NLP方法论以及两条路线之争】 专栏：NLP方法论

【置顶：立委NLP博文一览】

《朝华午拾》总目录

如何把deep parsing的东西系统地用到对话系统中来？
这个以前多次零星讨论过，再梳理一下。

1. 先说 deep parsing 与 deep learning 的结合

两种结合方式，一种是内在的，一种是外在的。

1.1. 内在的结合

问题可以反过来看，绝大多数对话系统是不用 deep parsing 的，这就是没有代入结构的 baseline。如果不代入结构就已经满足应用的要求，自然没有 deep parsing 什么事儿。但其实是 baseline 有缺陷，不能解决一些问题，譬如 sparse data 的问题。
下一个问题就是，我们知道语言是有结构的，理论上讲代入结构一定对克服 sparse data 的问题有利，但实际上怎么去做，还不清楚。抽象地说，这是一个研究课题，沙龙里面讨论时候也有人提过，迄今为止的浅尝辄止，把结构作为features代入一个ngram为基础的学习模型，没有发现简单的结合办法，可以显著提高质量，这受到到 evidence overlapping 和算法复杂度等挑战。我们以前也做过这种结合的尝试，也是浅尝辄止没有深入，当时的结论是，看到了曙光，但还需要更深入的探索尝试。
迄今整个领域没有深入研究这个问题，不仅仅是研究性的挑战（算法复杂度等），更主要是：很多团队没有靠谱的deep parsing 的条件作为探索的基础，加上整个领域20多年一直陷在浅层里面做 NLP，还没有余力去做这一方面。但现在似乎到了认真做这个的时候了，因为甚至 deep learning 在算法上的突破，迄今也还是没有突破 text 结构的瓶颈，这是下一步比较清楚的方向。
我的设想是，可以重新定义 ngram 作为带入结构的探索。譬如 bigram 以前的定义就是 w(i) w(i+1) 序列，我们可以重新定义为 R（w1,w2)。这个 R 就是结构，譬如 动宾，主谓，定中，状语 等关系，deep parsing 的那些句法关系。其中的 w1 与 w2 也可以做扩展，不再是词（直接量），而是包括直接量的关于那个节点的不同抽象度的 features （最上层是 POS，中间还有带入 ontology 的可能）。当然从直接量提升到不同的 features，很可能造成模型太复杂：怎么控制复杂度，又不局限于直接量，是一个需要拿捏分寸的事儿。但总体思路就是，既要跨越线性距离的局限（通过用 R 代替 linear ngram，这是 arc 的抽象概括能力），又要跨越单词直接量的局限（node 也要具有抽象概括能力），这才有可能在学习的系统中真正有突破性进展。这个探索值得花大力气，因为这是 text NLP 的方法学上的突破，适用的不仅仅是对话系统，而是一切的ngram为基础的NLP。这是从机器学习带入 deep parsing 的角度看探索的方向。

1.2. 外在的结合

如果不从机器学习的角度看，deep parsing 支持对话系统本质上就是一个小数据的精度分析和语义落地的任务，规则本身是有一套自己的方法去做的。这一路做下去的结果是，精度（precision）高，但广度（recall）是挑战，需要靠时间去磨（incremental recall enhancement）。

这种高精度的 deep parsing 作为支持的规则系统，也可以外在地与机器学习的 baseline 系统结合。我们叫做 backoff model：就是让没有结构的机器学习的系统垫底，以弥补 recall 的不足，让 parsing 支持的精度系统作为首选。

这种外在的结合相对容易，因为两套系统是分别开发的，虽然目标是一致的。只不过到调用的时候再把两套系统结合起来。这与前面说的把 parsing 带入机器学习（1.1）不同，因为前面的是你中有我的结合，具有研究性的挑战（overlapping和perplexity等）。

我的看法是，两个路子都值得尝试：前者一旦突破，是研究的成就，有学术的影响。
后者是工程的做法 可以立竿见影。双方最终都要求一个靠谱扎实的 deep parser，对于汉语，迄今很少人做得到。汉语 chunking 倒是有靠谱的 但 deep parsing 未曾见到（不算在下）。

2.  再说说，deep parsing 在小数据系统与大数据系统的应用

对话系统基本是 front-end，面对的是小数据的处理与应对，虽然对于学习系统，在训练的时候，训练集可以是所有收集得到的对话，也有一定的量。

对于大数据挖掘以及用挖掘结果去支持问答系统（也可算是一种“对话”的延伸，譬如类似 IBM 沃森的问答系统），那边有一个 back-end engine，专门处理大数据，以抽取挖掘或在线搜寻 open-ended 的答案。这个大数据架构下，deep parsing 怎样起作用，可以说得更清晰 有把握　因为这些都是做过的工作：been there done that，在大数据挖掘，知识图谱，舆情监控，客户情报，自动民调，问答系统，智能搜索和智能浏览这些方面，deep parsing 是地地道道的核武器。

在小数据应用场合，deep parsing 也应该有很大助益，因为毕竟小数据更加依赖分析的精度。但是小数据的短板是没有大数据的信息冗余作为补偿。

或曰：车轱辘话
答曰：信息冗余是大数据时代的自保策略，否则一切真知灼见都可能烟消云散。

总之是大数据有了deep parsing，柳暗花明；大数据没有它，万古如长夜。但并不是一切的 deep parser 都是核武器，不信你下载一个斯坦福或者SyntaxNet试试就知道了。这些 deep parsers 下载来，你很难做一个像样的应用。主要原因有二：（i）他们基本没有 domain portability，设计者有本事训练出来，你下载以后想如法炮制，在你要应用的领域去重新训练，哪怕你真弄到了训练数据，其成功可能性还是渺茫；（ii） deep parsing 是 NLP 应用的核武器，绝不仅仅是指我们看到的那些句法树，还有句法树上的每个节点的丰富信息，包括 ontology。而下载来的这些 parsers 通常缺乏丰富的节点信息： 光靠单词（直接量）加上句法树结构是做不了大事的。因此核武器能不能发挥威力，很大程度上取决于 made in where and made by which approach.

其实 如果 斯坦福的 parser 或 谷歌的 SyntaxNet 能够发挥威力，迅速横扫深度 NLP 应用和产品 哪里会等到你去做 早有捷足先登的人了。而且果如此，他们大概也不会开源了，自家先发了再说。天上掉不下馅饼 就是这个道理。

Guo 君给我留言说，你整天追在学习后面喊打，人家眼珠子都不动，该干嘛干嘛。他眼珠动还是不动，根本不是我关心的。我是菩萨心肠，为了世界的丰富性和多样性，为了后学，为了NLP的未来世界，心胸早已超越一己之私，一党之争。如果没有人发声，这个世界多么单调寂寞，多少人被误导和洗脑。多少人在结果还没出来的时候，就盲目相信深度神经一定会 work，又有多少人根本就不知道这个世界还有神经以外的理性算法

阿弥陀佛。

【后记】

话多可以洗脑，嗓门高也可以洗脑。乔姆斯基的不同政见，批判美国外交政策和媒体洗脑，几十年来基本没有变动，一直是车轱辘话。他就是反复地不同角度地以不同的案例讲的是同一个见解，与马克思讲《资本论》一个路数。

不止一位朋友反映：你这速度，写的比我读的还快，哪里有那么多时间。我当是 compliments，因为所写虽有冗余，但并非口水，不乏真知灼见。这点儿信心还有。

哪里有那么多时间？鲁迅早就说过的，时间就是海绵。又说，那是把资产阶级喝咖啡的时间也挤出来了。大家都是24小时，彼此彼此，吃喝拉撒睡、上班点卯，样样不能少。

喷涌的时候写，总比枯竭的时候挤牙膏强。兴致来的时候不写，兴尽而归，就了无音息了。了无音信其实也没啥，自己脑袋的知识和见识并没有因此减少，但人活着，也不能只为了自己的脑袋不是。

其实 人一辈子有这个状态也不多。少年求学，青年求偶，中年养家，青年-老年也都还有个梦想 put a ding somewhere，总之人一辈子就是个劳碌命。随心随性的自由不过是劳碌之间的一次休假。要惜福感恩。

【相关】

【关于 parsing】

【关于信息抽取】

【关于大数据挖掘】

【关于问答系统】

【关于NLP应用】

【置顶：立委NLP博文一览】

《朝华午拾》总目录

白:
所以，述补结构的处理，分层上要先于名词（短语）填坑。全放在一个平面，就说不清楚坑多萝卜少咋分的。
我:
那是因为 subcat 不是静止的。起点是词典，但在后续中 有变。
在欧洲语言 有一些构词元素具有改变 subcat 的功效 使动语素（世界语用 -ig-）和自动语素（-igh-）是代表，morphology 里面的专门一章学问 有一套套的术语名词。
到了孤立语 句法结构就承担了一些这类subcat remapping 的功效。
白:
“这些馒头把我吃胖了”是个非常好的例子。X吃Y，Z胖。分析X、Y、Z各自的subcat，发现X与Z匹配的可能远大于Y与Z匹配的可能。而Z说好了要做结合后述补结构的逻辑宾语的，于是Y只好很不情愿地做了结合后述补结构的逻辑主语。
“把”就是“置底”，“被”就是“置顶”，“的”就是“掏心”，都是在做语序的重定向。
我:
有意思的说法。
总之 open ended 动补结构 需要动态调整 subcat 的预期指向。
白:
分层了就把复杂问题变简单了。先合并坑，再让坑一致对外。等到真正填坑的萝卜来了，坑多已经是历史传说了，现实的坑不多不少。
我:
分层是必由之路。
不仅仅是为这个 args 的捕捉。很多现象都有 local 和 全局的区分，把 local 的 和 全局的 放在一个锅里煮。不是偷懒 就是脑子进水了。出了问题找不到合适解决途径，还振振有词辩解说 语言是 inter-dependent 的，怎样分层都是割裂整体。这样思维的人 是自作自受。不管语言这个 monster 多么相互关联，难以一刀切干净，作为语言工程 你都必须切成模块。关键不在模块之间是不是绝对地合适分开 大体齐就行了；关键在于 切割了 还仍然是一个 integrated 的无缝连接的系统。即便有些地方切得不妥了 也要有改正、弥补、唤醒或其他补救或patching的机会。这样才好把千头万绪简化成 tractable 的工程开发任务。
事实上，以前红过一阵子的 unification grammars 一派 虽然最终在业界没能开花结果 在学界也被排挤得差不多了，这拨人还在 有不少是名校的名教授。他们深陷在 CFG 的单层的 formalism 里面 加上 unification 的实现也是以 Prolog 的回溯机制为基础，既无效率 也不能真正深入 很难有 scale up 的指望。结果 这帮人形成了自己的一个圈子 也有一定的体量 自己跟自己玩儿，虽然对NLP的学界和业界的影响几近于零了。每年各地诸侯会聚一次。起个名字好像叫 ...... 忘了，总之是类似 very deep parsing 意思的一个什么。其实，怎么可能 very deep，如果层次和formalism这一关不过的话？在乔姆斯基倡导的 formal linguistics 的研究中，他们算是异端。姥姥不疼舅舅不爱 我们外人看去怪落寞的。可是当年（博士阶段）初学的时候 却被它的巨大魅力而吸引。这是一个看上去很美的框架。
白:
毛毛虫万岁！
我:
对。可是看清这一点的 人不多。那么多人陷在乔老爷的怪圈里。

QUOTE ( from [转载]【白硕 – 穿越乔家大院寻找“毛毛虫”】)：

白硕老师这篇文章值得所有自然语言学者研读和反思。击节叹服，拍案叫绝，是初读此文的真切感受。白老师对乔姆斯基形式语言理论用于自然语言所造成的误导，给出了迄今所见最有深度的犀利解析，而且写得深入浅出，形象生动，妙趣横生。这么多年，这么多学者，怎么就达不到这样的深度呢？一个乔姆斯基的递归陷阱不知道栽进去多少人，造成多少人在 “不是人话” 的现象上做无用功，绕了无数弯路。学界曾有多篇长篇大论，机械地套用乔氏层级体系，在自然语言是 context-free 还是 context-sensitive 的框框里争论不休，也有折衷的说法，诸如自然语言是 mildly sensitive，这些形而上的学究式争论，大多雾里看花，隔靴搔痒，不得要领，离语言事实甚远。白老师独创的 “毛毛虫” 论，形象地打破了这些条条框框。

     白老师自己的总结是：‘如果认同“一切以真实的自然语言为出发点和最终落脚点”的理念，那就应该承认：向外有限突破，向内大举压缩，应该是一枚硬币的两面。’ 此乃金玉良言，掷地有声。

Church 写 《钟摆摆得太远》 的时候 看到了表象 格局和视野都有 但就是没看到毛毛虫的实质。他看到了这个奇怪的现象：做 formal linguistics 的 community 研究了很多语言现象 有些问题研究得很深入 并试图以自己的框架形式化分析他们 而做 nlp 的这个community 几乎全部陷在浅层的泥坑里。本来面对的是同样的自然语言 而且双方都力图形式化和电脑实现它 应该可以互补的 但这两个 communities 是如此格格不入 老死不相往来 互相看对方 都是雾里看花。
白:
门户之见是不需要证据的
我:
所以他就开了个药方 要求在理性主义预计要回归的时候 请下一代 CL 的学生 必须去修语言学的课程，“计算语言学”不能丢了“语言学”的本，必须知道语言学圈做了些什么 改变这一代的"NLP大师"缺乏语言学的怪象。
白:
抄底靠的是先知先觉。等学生上课，黄花菜都凉了
我:
但是这个药方和呼声是如此疲弱 至少迄今没人当回事。而且这个药方本身也有问题 因为那个另一派也的确问题多多。自己在围墙里面束缚了自己，完全不接地气。争论的问题一多半是口水，大多是 system internal，玩的过家家的游戏（《Church：钟摆摆得太远》）。

quote 计算语言学课程的缺陷

正如上面明斯基和帕佩特指出的，我们不断犯同样错误的部分原因与我们的教学有关。辩论的一方在当代计算语言学教科书中已被遗忘，不再提及，只能靠下一代人重新认识和复原。当代的计算语言学教科书很少介绍PCM 三位前辈。在汝拉夫斯基(Jurafsky) 和马丁(Martin) 编著的教科书以及曼宁(Manning) 等编著的两套教科书中根本没有提及皮尔斯。三本教科书中只有一本简要提起明斯基对感知机的批评。

他要学生回头去啃乔姆斯基等理性主义大师，但不知道乔姆斯基本人就是最大的误导者（乔姆斯基批判；《【钟摆摆得太远】高大上，但有偏颇》；[转载]【白硕 – 穿越乔家大院寻找“毛毛虫”】）。

w:
@wei 很是同意“关键在于 切割了 还仍然是一个 integrated 的无缝连接的系统 ，即便有些地方切得不妥了 也要有改正、弥补、唤醒或其他补救或patching的机会”。切割是为了方便处理，藕虽断但丝还连。即使切错了，还能找回来才是真谛。
白:
这是一个搜索调度策略的问题。无论是平推，还是花开N朵先表一枝，还是台面上的路径之外另有暗送秋波的密道，都是可供选择的。“先表一枝”如能综合使用词典的、subcat的、中间件的、大数据的知识，在概率上可以占得先机。“密道”维护一条“阈下”暗流，一旦主线不保，立刻跳出来翻案，在段子的理解上最像人，但是密道的日常维护机制和受激翻案机制是个高难度的机密。
平推加概率，如果有很好的硬件实现RNN，效率绝对不低。至少确保线速。

我:
rnn 经白老师不断灌输 我就当它为神器来膜拜。
林彪说了 理解的要执行 不理解的更要执行 我对白老师的 rnn 的感受就是如此。
白老师啥时来一个 rnn 直通道 提供一个接口 我就可以不断给它 feed 语言学。
w:
@白 现在的硬件发展肯定会助推DL的性能的。只要基础理论框架结实且有市场，很多的硬件商都会挤进来的，没有人和蛋糕过不去的，AI硬件GPU，FPGA，还有其他什么xPU的倒不少，不过自己没认真关注。
@wei 如果接口来了，那语言学知识好不好喂？是专家级的专属？还是一般用户可为？感觉这是能走多远，走多广的问题。
感觉上李师parser的确是核武器，专家维护几枚就好。不过市场倒很大，很多人想有一枚。就是渠道打不开。
同意白老师的密道说。而且密道也应该不是直通型的，是网络交叉型的。运行时维护密道和应时启用的确是关健。
白:
伟哥说我描述句法分析还带着账房先生的味道，这让我想起当年被傅爱萍请到社科院语言所做交流时，我提起过的“铜臭”。一晃过去这么多年了。

【相关】

《Church：钟摆摆得太远》

[转载]【白硕 – 穿越乔家大院寻找“毛毛虫”】

【乔姆斯基批判】

《泥沙龙笔记：【钟摆摆得太远】高大上，但有偏颇》

【语义计算沙龙：Parsing 的数据结构和形式文法】

【关于NLP方法论以及两条路线之争】

《朝华午拾》总目录

译者按：肯尼斯·丘吉(Kenneth Church) 是自然语言领域的泰斗，语料库语言学和机器学习的开拓者之一。丘吉的这篇长文《钟摆摆得太远》(A Pendulum Swung Too Far) 是一篇主流反思的扛鼎之作。作者在文章中回顾了人工智能发展中，理性主义和经验主义各领风骚此消彼长的历史规律，并预测了今后20 年自然语言领域的发展趋势。文章的主旨是，我们这一代学者赶上了经验主义的黄金时代（1990 年迄今），把唾手可得的低枝果实采用统计学方法采摘下来，留给下一代的都是“难啃的硬骨头”。20 多年来，向统计学一边倒的趋势使得我们的教育失之偏颇。现在应该思考如何矫正，使下一代学者做好创新的准备，结合理性主义，把研究推向深入。丘吉的忧思溢于言表。丘吉预测，深度网络的热潮为主流经验主义添了一把火，将会继续主导自然语言领域十多年，从而延宕理性主义回归的日程表。但是他认为理性主义复兴的历史步伐不会改变。他对主流漠视理性主义的现状颇为忧虑，担心下一代学者会淹没在一波又一波的经验主义热潮中。

20 世纪90 年代，经验主义的复兴是一个激动人心的时刻。我们从来没有想到，我们的努力会如此成功。当时，我们想要的只不过是一席之地而已。在当时流行的各项研究之外，我们所想的只是为不同于当时其他研究的工作争取一点空间。我们成立了SIGDAT为这类工作提供一个论坛。在1993 年成立之初，SIGDAT只是一个相对较小的关于大语料库的会议论坛，后来演变成规模较大的EMNLP 会议。起初，SIGDAT 会议在很多方面（规模、主题和地理范围）都与主流ACL大会非常不同。然而若干年后，这些区别已经很大程度上消失了。两个会议靠拢，这让人感到高兴。但我们可能是太成功了，我们不仅成功地让我们感兴趣的工作登堂入室，没给其他工作留下多少空间。图1 展示了从理性主义到经验主义的这一戏剧性转变。这种转变还在继续，似乎看不到尽头。

根据霍尔(Hall) 等人的文章，这种转变始于1988 年布朗 (Brown)和丘吉的工作。霍尔等人的依据是对ACL 文集的分析，文献包括自20 世纪70年代至今在计算语言学领域发表的总计16500 篇论文。

但是，如果我们考虑一个更长的时间段，追溯ACL 文集以前的文献，我们看到的是一幅非常不同的画面，如图2 所示。更加显著的趋势是经验主义与理性主义之间的振荡，像钟摆一样，每隔二十多年来回振荡一次：

• 20世纪50 年代：经验主义（香农(Shannon)、斯金纳(Skinner)、弗斯(Firth)、哈里斯(Harris)） ；
• 20世纪70 年代：理性主义（乔姆斯基(Chomsky)、明斯基(Minsky)）；
• 20世纪90 年代：经验主义（IBM 语音团队(IBM Speech Group)、AT ＆ T 贝尔实验室(AT&T Bell Labs)）；
• 2010年代：回归到理性主义了吗？

本文将回顾一些我们这一代人曾经“反叛”的理性主义观点。遗憾的是，我们这一代是如此成功，以至于这些理性主义观点被人们忘却了（如果我们接受图2给出的预测，那么现在正是理性主义应该复苏的时期）。有些重要的理性主义代表人物如皮尔斯(Pierce) 在当今流行的教科书里甚至没有提及。如此下去，下一代人可能没有机会听到理性主义一方辩论的声音。特别是，如果理性主义立场在今后几十年逐渐流行，理性主义者可以提供很多值得重视的见解。

图1　理性主义到经验主义的转变令人惊讶（而且毫无争议）。该图是基于鲍勃·摩尔(Bob Moore)和弗雷德·贾里尼克(Fred Jelinek)对ACL会议的独立调查（私人通信）

是什么促使20 世纪90 年代经验主义的复兴？我们当时在反抗什么？经验主义复兴实际上是受到了实用主义考量的推动。学术界当时正埋头研究自然语言中面临的巨大挑战，例如完备人工智能(AI-complete) 的难题和远距离的依存关系。而我们所提倡的是从务实的角度来先针对一些较简单的、较有可能求解的任务，例如词性标注。当时数据的获得变得前所未有的方便。我们能用这些语料数据做些什么呢？我们认为，做成一些简单的事情比根本不做强。让我们去摘取一些低枝的果实，让我们利用近距离依存关系做我们能做的事情。虽然那不能解决整个问题，但还是让我们专注于我们能做什么，而不是我们不能做什么。玻璃杯有一半是满的（而不是已经空了一半）。

图2：对文献不寻常的解读，其中图1所示的趋势（此处以红点表示）是每隔20多年更大振荡的一部分。注意红点所示的是实际数据，而振荡曲线所示意的趋势只是为了说明一个观点

我们当时是这样记述这段历史的：

“20 世纪90 年代重现了具有20 世纪50 年代风格的语言分析的经验主义及其统计方法。50 年代是经验主义的高峰期，主导了从心理学（行为主义）到电子工程（信息论）一系列广泛的领域。当时语言学的通行做法是，不仅仅依据词义，还要基于它与其他词共同出现的情形来划分词类。50 年代英国语言学领域的领袖人物费思(Firth)用一段令人难忘的话总结此方法：‘通过一个词周围的词来了解这个词的意义。’遗憾的是，受一系列重大事件的影响，50年代后期和60年代早期，经验主义式微。这些重大事件包括乔姆斯基(Chomsky) 在《句法结构》(Syntactic Structures ) 中对N 元文法 (n-grams) 的批判，明斯基与帕佩特(Papert) 对神经网络的批判。

经验主义复兴最直接的原因也许是大量数据可用：文本从来没有这么丰富过。10 年前，搜集了100 万词的布朗(Brown) 语料库就被弗朗西斯(Francis) 和库塞拉(Kucera) 认为是大数据，但即使在那时，也有更大的语料库，如伯明翰(Birmingham) 语料库。如今，许多地方的文本样本已经达到上亿甚至几十亿词量……。通常称为文本分析的数据密集型语言研究方法采取的是实用主义手段，非常适合近来被强调的数值评估和具体的任务。文本分析强调对非受限文本(unrestricted text) 的广泛覆盖（尽管可能肤浅），而不是对于（人为）限定领域的深度分析。”

20世纪90年代早期， 研究界发现应该注重务实方法，原因之一是该领域当时正处于严重的资金寒冬， 史称第二季人工智能寒冬(AI winter of1987~1993)。在又一次资金萧条到来之际，研究共同体比较容易接受一种更加现实的、结果更可靠的新方法。根据维基百科资料：

“在人工智能的发展历史中，所谓人工智能寒冬是指社会对人工智能研究的资助和兴趣消减的时期。许多新兴技术都经历了从狂热、失望到资金削减的过程（例如历史上的铁路大开发以及网络泡沫），但是人工智能的问题更加突出。这种模式已经发生过许多次了：

• 1966 年：机器翻译的失败；
• 1970 年：放弃人工智能联接主义(connectionism) ；
• 1971~1975 年：美国国防部高级研究计划局(DARPA) 对卡耐基梅隆大学语音理解研究项目的失望；
• 1973 年：莱特希尔(Lighthill)人工智能评估报告(Lighthill Report)发表之后，英国对人工智能研究资助的大幅削减；
• 1973~1974 年：DARPA 削减对人工智能学术研究的资助；
• 1987 年：Lisp 机市场崩溃；
• 1988 年：战略计算规划(the Strategic Computing Initiative) 取消了进一步资助人工智能的计划；
• 1993 年：专家系统慢慢跌入低谷；
• 1990 年代：第五代计算机项目的原始目标黯然淡出视野，以及被牵累迄今的人工智能的坏名声。

人工智能经历的最糟糕的时间段是1974~1980 年和1987~1993 年。有时人工智能寒冬指的就是两者之一（或两者的某个时间段）。”

寒冬常常紧跟着过度的乐观主义，例如西蒙(Simon)在文献中提到的：

“在不久的未来——不会超过25年——我们将会有技术能力用机器来代替机构中的任何人类功能。而且，我们将充分掌握人类认知过程及其与人类情感、态度和价值观的交互过程的理论，这些理论将会被实验所证实。”

如今，比起第二季人工智能寒冬，我们变得更有信心。15 年低枝果实的采摘已经取得了相对稳定的成果，也获得了相对稳定的资助，至少比人工智能寒冬的形势乐观很多。

毋庸讳言，我们所反抗过的伟大的理性主义者如皮尔斯、乔姆斯基和明斯基(Pierce, Chomsky and Minsky, 以下简称PCM)，对人工智能领域的现状不会感到满意。当然，另一方面，今天此领域的领军人物大多也不乐意看到PCM 理性主义的复兴。一位领域的带头人听说我在写这篇文章，讥讽道：“皮尔斯对我们现在有什么意义？”PCM 的观点在当年就饱受争议，现在依然如此，因为它们导致一些领域包括语音、机器翻译和机器学习多次进入了严重的资金寒冬。

本文主要感兴趣的是PCM三位大师理性主义的共同主线。不过也必须指出，这三位大师的声音并不完全一致。在信息论方面他们有很大分歧。皮尔斯对香农和乔姆斯基二位均大加赞佩，尽管乔姆斯基对香农在信息论方面的许多工作持反对意见。很显然，这些观点并不能清楚地划分成不同学派（例如理性主义和经验主义），学派之内并非完全一致，学派之间也不是处处相异。

关于智能亦有很多不同意见。明斯基是人工智能的创始人之一，而皮尔斯一直是直言不讳的批评者之一。他说：所谓人工智能真乃愚蠢之极7。皮尔斯反对任何试图接近人类智能的东西，当然包括人工智能，也包括机器翻译和语音识别。皮尔斯主持了著名（或者说是臭名昭著）的语言自动处理咨询委员会(Automatic Language ProcessingAdvisory Committee, ALPAC) 报告。这一报告直接导致了机器翻译的资金寒冬[27]。皮尔斯也曾为《美国声学学会会刊》(JASA ) 撰写富有争议的通讯“语音识别往哪里去”(Whither Speech Recognition?)，给语音识别研究的资金造成令人寒心的困境。

本文重在回顾他们的共同主线，而不是他们的分歧。PCM 对当年流行现今复兴的一系列经验主义方法，均提出过挑战。他们的反对意见对于许多当今流行的方法都有影响，包括模式匹配、机器学习（线性分离机）、信息检索（向量空间模型）、语言模型（N 元文法模型）和语音识别（隐式马尔可夫模型(hidden Markov models, HMMs) 以及条件随机场(conditional random fields, CRFs)）。

学生们需要学会如何有效地使用流行的近似方法。大多数近似方法基于简化的假设，这些假设在多数情况下有用，但并非万能。例如，N 元文法能捕捉许多依存关系，但当依存范围超过n个词距离的时候，N 元文法则无能为力。同理，线性分离机在很多情况下可以区分正例和反例，但对无法线性区分的样例自然无效。许多这类限制显而易见（由其本性所决定），但即便如此，相关的优劣争论有时仍然很激烈。有时候，争论的某一方不再被写进教科书，逐渐被遗忘，只能期待下一代学者去重新发现或复兴。

乔姆斯基论述了N 元文法的局限，明斯基论证了线性分离机的局限。也有学者对于其他近似方法的种种局限提出看法。例如，图基(Tukey) 教导学生如何有效使用回归算法[34]。他鼓励学生测试各种正态假设的偏离现象。离群点(outliers) 是回归算法常见的麻烦来源，正如偏离直线的弯曲残差(bowed residuals)。很多人提出了种种绕行的补救方案。一个常见的手段是对数据做非线性变换，如对数变换。这些技巧把问题转化为另一个问题，使其偏离假定的麻烦有所减少。

乔姆斯基的反对意见

如前所述， 乔姆斯基指出N 元文法不能捕捉远距离依存关系。虽然现在回想起来似乎是显然易见的，然而在当时，香农-麦克米兰- 布雷曼熵定理(Shan-non-McMillan-Breiman theorem)令人非常兴奋，对这条定理的解释是：在极限条件下，只要稍加制约，N 元文法模型足以捕捉字符串的所有信息（譬如英语的句子）。乔姆斯基认为，在极限条件下这条定理也许是正确的，但是N 元文法模型远远不是能概括许多语言事实最简洁的模型。在实际系统中，我们往往必须将N 元文法严格限制在某个（小的）固定的值k 上（例如三元或许五元）。这种限长的N 元文法模型系统可以捕捉到很多语法关系一致性方面的现象，但并非全部。

我们应该将这场论辩教给下一代学者，因为他们可能将不得不比我们更加认真地对待乔姆斯基的反对意见。我们这代人很幸运，可以摘取到大量的低枝果实（也就是那些可以用较短N 元文法捕捉到的语言现象）。但是，下一代学者将没有这么幸运，因为在他们退休之前，那些捕捉得到的语言事实大多将被捕捉已尽，因此，他们很可能将不得不面对那些简单N 元近似方法无法处理的语言现象。

中心嵌套论(Center-Embedding)

乔姆斯基不仅反对N 元文法模型，也反对有限状态(finite state) 方法，其中包括很多目前流行的方法，如隐式马尔可夫模型和条件随机场。

有限状态方法超越了N 元文法，它不仅可以捕捉一切N元文法可以捕捉到的语言现象，而且可以捕捉超越N 词距离的语法依存关系。例如，下列文法表现了主谓在数上一致的关系，名词和动词应该一致，二者同为单数(sg) 或者同为复数(pl)。这样的文法可以捕捉超过N 词距离的依存关系。

S → Ssg

S →Spl

Ssg → NPsg VPsg

Spl → NPpl VPpl

NPsg → … Nsg …

NPpl → … Npl …

VPsg → … Vsg …

VPpl → … Vpl …

最大的问题是，此文法是否需要无限的内存。为了使这场辩论严谨，乔姆斯基引入中心嵌套的概念，并创建了现今被称作乔姆斯基层级体系(Chomsky hierarchy)的理论。

乔姆斯基层级体系不仅在语言学，在其他许多领域，例如计算机科学9，也具有非凡的影响力。克努特(Knuth) 坦承他在1961 年的蜜月期间读到乔姆斯基的文章，发现它是如此“奇妙的事情：在这个语言的数学理论中，我可以感受到一个计算机程序员的直觉”。

乔姆斯基指出，乔姆斯基层级体系与相应的生成能力之间具有一种简单的对应关系：

类型0 > 类型1 > 类型2 >类型3

递归可枚举文法 > 上下文有关文法 > 上下文无关文法 > 正则文法

特别是上下文无关文法可以涵盖并超越正则文法；有一些需要无限内存（栈）所做的事情，有限内存就做不到。乔姆斯基的论证是，中心嵌套是上下文无关与有限状态之间的关键区别。也就是说，当（且仅当）一个文法具备中心嵌套能力，它才需要无限内存（栈）。否则就可以用有限内存（有限状态机）处理。

更正式地讲，如果一个文法中具有一个可以生成形如xAy的非终结节点A，其中x 和 y 均为非空，那么这个文法就是中心嵌套。如果x 或 y 为空，则可以得到较简单的左杈或右杈的嵌套。左杈嵌套和右杈嵌套均可在有限内存（有限状态机）中处理，而不像中心嵌套那样需要无限内存（栈）。

中心嵌套的一个简单例子是一个括号嵌套的文法：

< expr > → (< expr >)

括号嵌套文法是中心嵌套的一个特殊案例，其中 x 是左括号，y 是右括号。一个栈结构可以很容易地记录左括号与右括号之间的远距离依存关系，但这需要无限的内存。最大的问题是有限内存是否可以处理括号嵌套文法。乔姆斯基证明这是不可能的。更一般的表述是，有限状态方法无法捕捉中心嵌套。

乔姆斯基用下列样例论证英语为中心嵌套语言，因此超越了有限状态方法（如隐式马尔可夫模型）的捕捉能力。乔姆斯基假定英语具有一个非终结节点 S（代表句子或从句），其自生成的时候在它的左右两侧可以添加非空内容，如下所示：

1. S → If S, then S.
2. S → Either S, or S.
3. S → The man who said that S, is arriving today.

关于中心嵌套的语言事实一直存在争论。本文审阅者之一反驳中心嵌套所用的几点论证，我当年在我的硕士论文中也提过类似的质疑。语料库中很难找到超过两层或三层的中心嵌套11。不过，乔姆斯基的说法并非没有道理。想要描述上述语言事实，采用允许任意中心嵌套的文法较之采用仅有一两层中心嵌套的文法可能更容易和简洁。

到目前为止，N 元文法和有限状态方法等近似模型足够我们使用。虽然这些近似模型都有其明显局限性，但迄今难以找到更有效的替代方法。尝试捕捉不常见的远距离关系也许可以处理一些不常见的边缘案例，但它们带来的问题往往比解决的问题要多。工程师们发现，处理好常见的短距离依存关系比处理不太常见的远距离依存关系更为重要。至少，这是我们这一代人的体验。

尽管如此，我们还是应该为下一代学者做好准备，使他们有可能比我们做得更好。我们应该教给下一代认识目前比较流行的各种方法的长处和短处。他们需要了解我们所知道的最成功的近似方法，但他们也需要了解其局限性。下一代学者很可能会找到改进N 元文法的办法，甚至可能发现超越有限状态的方法。

明斯基的反对意见

明斯基和帕佩特表明，感知机（更广泛地说是线性分离机）无法学会那些不可线性分离的功能，如异或(XOR) 和连通性(connectedness)。在二维空间里，如果一条直线可以将标记为正和负的点分离开，则该散点图即线性可分。推广到n 维空间，当有n -1 维超平面能将标记为正和负的点分离开时，这些点便是线性可分的。

判别类任务

对感知机的反对涉及许多流行的机器学习方法，包括线性回归(linear regression)、logistic 回归(logistic regression)、支持向量机(SVMs) 和朴素贝叶斯(Naive Bayes)。这种反对意见对信息检索的流行技术，例如向量空间模型 (vector space model) 和概率检索(probabilistic retrieval) 以及用于模式匹配任务的其他类似方法也都适用，这些任务包括：

1. 词义消歧(WSD)：区分作为“河流”的bank 与作为“银行”的bank。
2. 作者鉴定：区分《联邦党人文集》哪些是汉密尔顿(Hamilton)写的，哪些是麦迪逊(Madison)写的。
3. 信息检索(IR) ：区分与查询词相关和不相关的文档。
4. 情感分析：区分评论是正面的还是负面的。

机器学习方法，比如朴素贝叶斯，经常被用来解决这些问题。例如，莫斯特勒(Mosteller) 和华莱士(Wallace) 的鉴定工作始于《联邦党人文集》，共计85篇文章，其作者是麦迪逊、汉密尔顿和杰伊(Jay)。其中多数文章的作者是明确的，但有十几篇仍具争议。于是可以把多数文章作为训练集建立一个模型，用来对有争议的文件做判别。在训练时，莫斯特勒和华莱士估算词汇表中的每个词的似然比：Pr(word|Madison)/Pr(word|Hamilton)。对有争议的文章通过文中每个词的似然比的乘积打分。其他任务也使用几乎相同的数学公式，如表2 所示。近来，诸如logistic 回归等判别式学习方法正逐步取代如朴素贝叶斯等生成式学习方法。但对感知机的反对意见同样适用于这两类学习方法的多种变体。

停用词表、词权重和学习排名

虽然表2 中4 个任务的数学公式类似，但在停用词表(stoplist)上仍有重要的区别。信息检索最感兴趣的是实词，因此，常见的做法是使用一个停用词表去忽略功能词，如“the”。与此相对照，作者鉴定则把实词置于停用词表中，因为此任务更感兴趣是风格而不是内容。

文献中有很多关于词权重的讨论。词权重可以看作是停用词表的延伸。现今的网络搜索引擎普遍使用现代的机器学习方法去学习最优权重。学习网页排名的算法可以利用许多特征。除了利用文档特征对作者写什么进行建模外，还可以利用基于用户浏览记录的特征，来对用户在读什么建模。用户浏览记录（尤其是点击记录）往往比分析文档本身信息量更大，因为网络中读者比作者多得多。搜索引擎可以通过帮助用户发现群体智能来提升价值。用户想知道哪些网页很热门（其他和你类似的用户在点击什么）。学习排名是一种实用的方法，采用了相对简单的机器学习和模式匹配技术来巧妙地应对可能需要完备人工智能理解(AIcomplete understanding) 的问题。

最近有博客这样讨论网页排名的机器学习：

“与其试图让计算机理解内容并判别文档是否有用，我们不如观察阅读文档的人，来看他们是否觉得文章有用。

人类在阅读网页，并找出哪些文章对自己有用这方面是很擅长的。计算机在这方面则不行。但是，人们没有时间去汇总他们觉得有用的所有网页，并与亿万人分享。而这对计算机来说轻而易举。我们应该让计算机和人各自发挥特长。人们在网络上搜寻智慧，而计算机把这些智慧突显出来。”

为什么当前技术忽略谓词

信息检索和情感分析的权重系统趋向于专注刚性指示词(rigid designators)14（例如名词），而忽略谓词（动词、形容词和副词）、强调词（例如“非常”）和贬义词15（例如“米老鼠(Mickey mouse)”16 和“ 破烂儿(rinky dink)”）。其原因可能与明斯基和帕佩特对感知机的反对有关。多年前，我们有机会接触MIMS 数据集，这是由AT ＆ T 话务员收集的评论（建议与意见）文本。其中一些评论被标注者标记为正面、负面或中性。刚性指示词（通常是名词）往往与上述某一类标记（正面、负面或中性）紧密关联，但也有一些贬义词标记不是正面就是负面，很少中性。

贬义词怎么会标记为正面的呢？原来，当贬义词与竞争对手相关联的时候，标注者就把文档标为对我方“正面”；当贬义词与我方关联的时候，就标注为对我方“负面”。换句话说，这是一种异或依存关系（贬义词XOR 我方），超出了线性分离机的能力。

情感分析和信息检索目前的做法不考虑修饰成分（谓词与论元的关系，强调词和贬义词），因为除非你知道它们在修饰什么，否则很难理解修饰成分的意义。忽视贬义词和强调词似乎是个遗憾，尤其对情感分析，因为贬义词显然表达了强烈的意见。但对于一个特征，如果你不知道其正负，即使强度再大也没什么用。

当最终对谓词- 论元关系建模时，由于上述异或问题，我们需要重新审视对线性可分的假设。

皮尔斯的反对意见

比起明斯基和乔姆斯基，皮尔斯在时下的教科书上更少提到，尽管皮尔斯作为ALPAC 委员会主席以及著名的“语音识别向何处去”一文的作者对本领域有深远影响。无论从终结资助还是从文章的引用率看，皮尔斯对该领域的冲击力是如此之大，真不明白现代教科书为何如此冷待皮尔斯。原因也许在于，比起明斯基和乔姆斯基，皮尔斯的批评“麻烦”更大。很多学者试图回应他的批评，但几乎没有任何回应能像他原来的批评那样有力和值得一读。

皮尔斯一生硕果累累，他开发了脉冲编码调制(pulse code modulation, PCM)，一种与当今WAVE 文档格式紧密相关的语音编码方法，而WAVE 是一种在个人计算机上储存音频文件的流行格式。此外，皮尔斯在真空管领域的研究亦成就卓著，但他又带领团队发明了晶体管，使真空管很快消亡。皮尔斯的研究工作也涵盖卫星领域，后来他作为贝尔实验室的研究副总裁，在把卫星研究转化成商业应用上发挥了关键作用，成功开发了Telstar 1，这是卫星首次在电信领域的商业应用。

总之，皮尔斯是一位具有非凡成就的顶级技术执行官。与他争辩的另一方根本无法与他相提并论，其中包括一些可能会被拒授终身教职的初级教职人员。这是一场不公平的论战。但即便如此，也没有理由忽视他对领域的贡献，哪怕这些贡献给我们带来诸多“麻烦”。

ALPAC 报告与“语音识别向何处去”都非常值得一读。网上很容易找到 ALPAC 报告的原文，但其篇幅较长。如果读者时间有限，建议先从阅读“语音识别向何处去”开始，因为这篇通讯言简意赅，观点明晰。短短两页的通讯基本上论及两条批评意见：

1. 系统评测：皮尔斯反对用演示来评测系统，也反对现今仍流行的各种系统评测方法。“即使给出了统计数据，语音识别的成功与否还是很难测量。总体而言……当……时对于……系统可以达到 95% 的准确率。在……情况下，性能会急遽下降。很难鉴定这种性能的语音识别系统能否成为实用的、经济合理的应用产品。”
2. 模式匹配：皮尔斯反对现今仍流行的模式匹配技术（如机器学习和语音识别），斥之为巧妙的欺骗：“与科学相比由于更容易取巧而更快成功”。

模式识别批判

皮尔斯以魏岑鲍姆(Weizenbaum)开发的伊莉莎(ELIZA) 程序作为案例来解释“巧妙的欺骗”。虽然伊莉莎很明显并不“智能”，但它或许可以通过图灵测试。伊莉莎批判从此成为对那些看上去比实际能力要强的程序的标准批判。维基百科对“伊莉莎效应”的定义如下：

“在计算机科学中，所谓的伊莉莎效应，指的是下意识地假设计算机与人类的行为相似的一种趋势。从特定形式上看，伊莉莎效应只是指‘人们阅读被计算机串起的符号序列（特别是单词），往往读出了这些符号并不具备的意义’。更一般地，伊莉莎效应描述的是这样一种情形，仅仅依据系统输出，用户就把计算机系统理解为具有‘其软件控制（输出）不可能实现的内在素质和能力’，或者，‘假设（输出）反映了比实际更大的因果关系’。无论是在特定还是一般形式上，甚至当系统的用户已经知道系统产生的输出是预定不变的，伊莉莎效应都会显著出现。从心理学观点来看，伊莉莎效应源于一种微妙的认知失调，一方面，用户意识到程序编制的局限性，另一方面，他们对程序的输出结果依然盲信。伊莉莎效应的发现是人工智能的一个重要进展，说明利用社交工程原理，而不是显式编程，也可以通过图灵测试。”

魏岑鲍姆在意识到他的伊莉莎程序让公众如此信服后，他自己反而成为人工智能的强烈反对者。以下是从他的著作《难以理解的程序》(Incomprehensible Programs ) 中的一个章节摘录的：

“这两个程序(MACSYMA和DENDRAL) 与其他大多数人工智能程序完全不同，它们牢牢建立在深厚的理论之上……计算机当然还有其他许多重要的、成功的应用。例如，计算机可以操控整个石油精炼厂的流程，可以导航飞船以及监测并在很大程度上操控飞船内的环境，以便宇航员执行任务。这些程序依赖于数学控制理论和牢固确立的物理理论。这种以理论为基础的程序具有极其重要的优势，一旦程序走偏，监测人员就能发现它们的性能不符合理论的要求，从而可以用理论帮助诊断失败的原因。

但是， 大多数现有的程序……不是以理论为基础的……它们多是探索式的……采用的是在多数预见情况下显得‘可行’的策略……我自己的程序伊莉莎正是这种类型。伍诺格拉德(Winograd)的语言理解系统也是……纽厄尔(Newell) 和西蒙的GPS20 也是如此。”

魏岑鲍姆继续争辩道，程序理应易于理解，并建立在坚实的理论基础之上，这种观点皮尔斯想必也会同意。

皮尔斯关于“巧妙的欺骗”的提法批评了包括人工智能、语音识别以及模式识别（也包括大部分现代机器学习）的很多领域用演示来验证系统的做法。

“前述讨论适用于模式识别的各个领域，其应用作为练习留给读者”。

模式识别有其优缺点。优点是，模式识别可以巧妙应对许多科学难题，在实际应用中取得进步。但是这一优势同时也是其缺点。短期的取巧分散了领域的精力，无法顾及真正有意义的长远目标。

很多工程任务与语音合成一样有两类研究：一类是实用的工程方法（例如衔接合成和磁带拼接），另一类是雄心勃勃的科学计划（如模拟人类发音的合成）。一般而言，实用的方法更有可能在短期内产生较好的结果，但学术界也激励更有前途的科学路线。对于尚未解决的重大科学问题，如果我们直接研究它们，而不是投机取巧，我们会有更好的机会取得进展。话虽这么说，如果你在工业界领导一个语音合成产品，为了在预算内按时按质交付产品，采用任何工程手段和技巧都是题中应有之义。

回应

针对“语音识别向何处去”曾有很多回应，但是多数回应都没能有效应对上面提到的两条主要批评意见：

1. 目前在论文发表时所要求的系统评测方法究竟有何意义？
2. 与科学相比，模式匹配的意义何在？

罗(Roe)和威尔彭(Wilpon)争辩说，在“语音识别向何处去”提出后的25 年中，领域的发展已经把所谓“无用”的努力演变为商用现实。他们的文章开头介绍了隐式马尔可夫模型等流行方法，这些方法基于皮尔斯所反对的模式匹配技术。接着提到目前常用的评测方法。评测旨在展示模式匹配技术的有效性，然而评测带来的结论正如皮尔斯归纳描述的那样：“难以度量”。

“在实验室条件下，语言识别器对于声音的模式匹配相当准确。然而，在‘真实世界’的条件下，错误率会高出很多”。

ALPAC报告

相当长的ALPAC 报告提出了很多反对意见，其中许多批评意见令人尴尬，也很难回应。报告的结论部分提到一些好消息：

“如今仍有理论语言学家对实证研究或计算都不感兴趣，也有应用语言学家对十年来的理论进展无动于衷，对计算机也很木讷。但是，与以往任何时候相比，都有更多的语言学家尝试把微妙的语言理论与更丰富的数据相结合，他们中几乎所有人，无论在哪个国家，都渴望计算机的支持。前一代人需要一辈子做的工作（譬如建立对照语库、词汇表、浅层文法），如今借助计算机几个星期即可完成（下一年大概只需要几天）。在对于作为人类交流工具的自然语言的理解方面，人类迈出了万里长征的第一步。”

但好消息随后紧接着就是不那么好的消息 ：

“ 但是，我们还没有简单易用并广为人知的计算机处理语言数据的好方法。”

作为回应，斯蒂德曼(Steedman)将我们的研究领域与物理学领域做了对比。他指出物理界并没有被类似于ALPAC 的报告所困扰：“没人去告诉周围的物理学家该做什么。”斯蒂德曼建议，如果我们更自律，并避免在公共场合过度渲染，我们的领域也许会处于更好的状态。

我们其实没必要羡慕物理学领域的状态，以此排斥ALPAC报告。斯蒂德曼的回应不仅没有解决问题，而且事实上，物理学在学术界根本就不处于一个令人羡慕的位置。曾经有一段时间，物理学确实处于相对良好的状态，但那是很久以前的事情了。物理学的冬天已经持续太久，以至于许多人离开了物理学领域。曾经的物理学家们对许多领域做出了贡献，包括我们领域的几个方向，例如机器翻译和机器学习等。至于过度渲染，物理学不比我们少。

甚至连ALPAC 报告也指出，计算语言学比物理学有许多优势：

“我们看到计算机为语言学家带来了一系列的挑战、视角和机会。我们相信，这些可与粒子物理面临的挑战、问题和视界相当。毫无疑问，语言的重要性不亚于任何其他现象。而且计算语言学所需要的工具成本，比起需要数十亿伏加速器的粒子物理学少得多了。”

哈钦斯(Hutchins)在ALPAC报告30 周年纪念时在《机器翻译国际新闻》(MT News International) 中题目为《ALPAC ：著名（抑或臭名昭著）的报告》的文章中，总结道：

“ALPAC 对机器翻译持怀疑态度是有一定道理的：当时机器翻译的质量无疑非常糟糕，似乎确实没有正当理由获得那么多的资助。报告中也正确地指出需要研制计算机辅助翻译，并强调计算语言学需要更多的基础研究。然而，需要指责的是……”

哈钦斯继而批评ALPAC 报告的观点太过以美国为中心，机器翻译问题本应在更广阔的全球语境中来考虑。既然基调如此严肃，他对以美国为中心的批评就显得相对单薄。如果从美国角度看机器翻译技术质量不好，费用昂贵，难道换一个角度就会对他国合适？

事实上，ALPAC 报告之所以被认为臭名昭著，是因为它的怀疑论直接导致了机器翻译的资金寒冬，尤其是在美国方面。然而，报告（第34 页）实际上建议在两个不同方向上增加经费开支：

1. 对于语言学和计算语言学的长期的基础学术研究，以及
2. 对于实用的、可以短期奏效的提高翻译质量的工作。

第一类基础研究应该以其科学价值为基础，经过同行评议，而评估第二类应用程序应该着重于实用的指标：速度、成本和质量。

皮尔斯的这两个建议凸显出他的两个不同侧面，正由于这种两面性使得皮尔斯能够同时认同乔姆斯基和香农那样两种不同的立场。一方面，皮尔斯是基础科学的坚定支持者。皮尔斯反对任何将科学扭曲成其他东西（例如应用程序）的企图，以及试图以误导性演示和盲目的指标（如今天所例行的各种评估办法）歪曲科学的发展。另一方面，皮尔斯也有实用的一面，他在语音编码、真空管、晶体管和通信卫星等领域所取得的非凡成就就是证明。他是应用型工作强有力的支持者，但所用的规则与基础研究完全不同，比如强调从商业案例出发。应用型工作要按应用型工作来评估（基于商业标准），而科学必须按科学的标准来评估（基于同行评审）。

如果皮尔斯今天还活着，他会被学术界的现状深深困扰。太多的资金投入到了模式匹配技术和数值评估上，干扰了他认定的作为核心科学问题的学术发展。

从更积极的方面看，皮尔斯的应用一面应该会对谷歌的商业成功留下深刻印象，尤其是在搜索方面。尽管如此，谷歌的边缘业务如语音识别和机器翻译是否可以称作成功，从他的角度应该还有疑问。虽然我们有理由对这些领域抱有希望，像皮尔斯这样的怀疑论者会觉得，比起过去的几十年研发的巨额投资，机器翻译和语音识别的应用成就并不相称。作为一个合理的投资回报，现在的语音识别和机器翻译应该产生一个杀手锏级的应用，使得几乎每个人每天都离不开它，就像当年AT ＆ T 发明的电话，或者像微软Windows 系统或谷歌搜索一样。谷歌在搜索方面的核心业务已经实现了这个理想，也许有一天他们的语音和翻译等边缘业务也能最终达到这一目标。

皮尔斯能给今天的我们提供什么？迄今为止，该领域已经做得很好，采摘了不少低枝果实。在有很多果实容易采摘的好时光里，我们自然应该充分利用这些机会。但是，如果这些机会逐渐枯竭，我们最好还是遵循皮尔斯的教诲，认真面对核心科学的挑战，而不是继续寻找不复存在的容易采摘的果实。

无视历史注定要重蹈覆辙

在大多数情况下，机器学习、信息检索和语音识别方面的实证复兴派简单地无视PCM 的论辩，虽然在神经网络领域，感知机附加的隐藏层可以看作是对明斯基和帕佩特批评的让步。尽管如此，明斯基和帕佩特对他们所著的《感知机》出版20 年以来领域进展之缓慢深表失望。

“在准备这一版时，我们本来准备‘把这些理论更新’。但是，当我们发现自本书1969 年第一次出版以来，没有什么有意义的进展，我们认为保留原文更有意义……只需加一个后记即可……这个领域进展如此缓慢的原因之一是，不熟悉领域历史的研究人员继续犯别人以前已经犯过的错误。有些读者听说该领域没有什么进步，可能会感到震惊。难道感知机类的神经网络（新名称叫联接主义）没有成为热烈讨论的主题吗？……当然不是，该领域存在很多令人感兴趣的问题和讨论。可能确实也有些现在的发现也会随着时间逐渐显出重要性。但可以肯定的是，领域的基础概念并没有明显改变。今天令人兴奋的问题似乎与前几轮大同小异……我们的立场依然是当年我们写这本书时的立场：我们相信这个领域的工作是极为重要和丰富的，但我们预计其发展需要一定程度的批判性分析，可那些更富浪漫精神的倡导者却一直不愿意去做这种分析，也许因为连通主义的精神似乎变得与严谨分析南辕北辙。

多层网络并不比感知机更有能力识别连通性。”

计算语言学课程的缺陷

正如上面明斯基和帕佩特指出的，我们不断犯同样错误的部分原因与我们的教学有关。辩论的一方在当代计算语言学教科书中已被遗忘，不再提及，只能靠下一代人重新认识和复原。当代的计算语言学教科书很少介绍PCM 三位前辈。在汝拉夫斯基(Jurafsky) 和马丁(Martin) 编著的教科书以及曼宁(Manning) 等编著的两套教科书中根本没有提及皮尔斯。三本教科书中只有一本简要提起明斯基对感知机的批评。刚刚进入此领域的学生也许意识不到所谓“相关学习算法”包含了很多当今非常流行的方法，如线性回归和logistic回归。

“一些其他的梯度下降算法(gradient descent algorithms) 有类似的收敛定理，但是在大多数情况下，收敛只能达到局部最优。……感知机收敛能达到全局最优是因为它们从线性分离机这样一类比较简单的模型中选择分类器。很多重要的问题是线性不可分的，其中最著名的是异或问题。……决策树算法可以学习解决这类问题，而感知机则不能。研究人员在对感知机最初的热情[29]消褪以后，开始意识到这些局限性。其结果是，对感知机及相关学习算法的兴趣很快消褪，此后几十年一直一蹶不振。明斯基和帕佩特的论文《感知机》通常被看作是这类学习算法开始消褪的起点。”

曼宁等人的2008 版教科书中有简短的文献指向明斯基和帕佩特1988 年的论文，称其对感知机有不错的描述，但并未提及他们的尖锐批评：

“对文中提到但本章未进行细述的算法，感兴趣的读者可以参阅以下文献：神经网络方面的毕夏普(Bishop) 、线性和logistic回归方面的黑斯蒂(Hastie) 等人以及感知机算法方面的明斯基和帕佩特等的论文。”

基于这样的描述，学生可能会得出错误印象，以为明斯基和帕佩特是感知机算法（以及当今流行的线性和logistic 回归相关方法）的支持者。

毕夏普明确指出，明斯基和帕佩特绝不是感知机和神经网络的赞许者，而且把它们认作“不正确的构想”予以排斥。毕夏普把神经网络在实际应用中的普及看作是对明斯基和帕佩特上述批评意见的反击证明，认为并非如他们所说的那样“没有多少改变”、“多层网络并不比感知机更有能力识别连通性”。

当代教科书应该教给学生认识神经网络这类有用的近似方法的优点和缺点。辩论双方都大有可言。排除任何一方的论证都是对我们的下一代不负责任，尤其是当其中一方的批评是如此的尖锐，用到“不正确的构想”和“没有多少改变”这样的说法。

乔姆斯基比皮尔斯和明斯基在当代教科书中被提及得多一些。曼宁和舒兹(Schütze) 的教科书引用乔姆斯基的论文10次，汝拉夫斯基和马丁的教科书的索引中共有27 处引用乔姆斯基的论文。第一本书中较少引用是因为它专注于一个相对狭窄的话题——统计型自然语言处理。而第二本教科书涉及面广泛得多，包括音韵学和语音。因此，第二本书还引用了乔姆斯基在音韵学方面的工作。

两本教科书都提到乔姆斯基对有限状态方法的批评，以及这些批评在当时对经验主义方法论的抨击效果。但是话题迅速转移到描述这些方法的复兴，而对这一复兴的论辩、动因及其对目前实践和未来的影响的讨论则相对较少。

“由乔姆斯基1956 年的论文开始的一系列极具影响力的论文中，包括乔姆斯基1957 年的论文以及米勒(Miller) 和乔姆斯基1963 年的论文，乔姆斯基认为，‘有限状态的马尔可夫过程’虽然是可能有用的工程探索，却不可能成为人类语法知识的完整认知模型。当时的这些论辩促使许多语言学家和计算语言学家完全脱离了统计模型。

N 元模型的回归开始于耶利内克(Jelinek)、默瑟(Mercer)、巴尔(Bahl) 等人的工作……”

两本教科书对N 元文法的讨论都是从引用其优缺点开始：

“但是必须认识到，无论怎样解读，‘一个句子的概率’都是一个完全无用的概念……。”

“任何时候，只要一个语言学家离开本研究组，识别率就会上升。”（弗雷德·耶利内克(Fred Jelinek)，当时他在IBM 语音组，1988）

曼宁和舒兹是以这样的引用开始讨论的：

“统计的考量对于理解语言的操作与发展至关重要。”

“一个人对合法语句的产生和识别能力不是基于统计近似之类的概念。”

这种正反面观点的引用确实向学生介绍了争议的存在，但却不能真正帮助学生领会这些争议意味着什么。我们应提醒学生，乔姆斯基反对的是如今极其流行的一些有限状态方法，包括N 元文法和隐式马尔可夫模型，因为他相信这些方法无法捕捉远距离的依存关系（例如一致关系的限制条件和wh- 位移现象）。

乔姆斯基的立场直到今天仍然是有争议的，本文审阅者之一的反对意见也佐证了这种争议。我不希望站在这场辩论中的某一方。我只是要求应该教给下一代双方的辩论。对于任一方，都不至于由于我们疏于教授而使他们需要重新“发现”。

计算语言学学生应该接受普通语言学和语音学的培训

为了让进入这行的学生对低枝果实采摘完后的情形做好准备，今天的教育最好向广度发展。学生应该全面学习语言学的主要分支，如句法、词法、音韵学、语音学、历史语言学以及语言共性。我们目前毕业的计算语言学的学生在一个特定的较窄的子领域具有丰富的知识（如机器学习和统计型机器翻译），但可能没听说过格林伯格共性(Greenberg’s universals)、提升(raising)、等同(equi)、 量词辖域(quantifier scope)、 空缺(gapping)、孤岛条件(island constraints) 等语言学现象。我们应该确保从事共指关系(co-reference) 研究的学生都知道成分统制(c-command) 和指称相异(disjoint reference)。当学生在计算语言学会议上宣讲论文的时候，他们应该已经了解形式语言学(formal linguistics) 对此问题的标准处理。

从事语音识别工作的学生需要了解词汇重音（如文献）。音韵学重音对于下游的语音和声学过程具有各种各样的影响。

图3 “politics”and“political”的谱图显示有三个/l/同位音。在重音前后出现不同的音位变体。

语音识别目前没有充分利用词汇重音特征是一个不小的遗憾，因为重音是语音信号中较为突出的特性之一。图3 显示了最小对立体 (minimal pair)“ politics”和“political”的波形和谱图。这两个词千差万别，目前的技术着重于语音单位层面的区别：

1. “politics”以 –s 结尾，而“political”以-al 结尾。
2. 与“politics” 不同，“political”的第一个元音是弱化的非重读音节的元音(schwa)。

重音的区别更为突出。在诸多与重音有关的区别中，图3 突出显示了重音前与重音后/l/ 的音位变体之间的区别。另外还有对/t/ 音的影响。“politics”中 /t/是送气音，但在“political”中却是闪音。

目前，在语音单位层面，仍有大量低枝果实可以采摘，但这些工作终有完结之时。我们应该教给语音识别领域的学生有关音韵学和声学语音学的词汇重音知识，以便他们在目前的技术水平超越语音单位层面的瓶颈时依然游刃有余。由于重音存在超过三元音素的远距离依存关系，重音方面的进展需要对目前流行的近似方法的长处与缺陷均有深入的理解。语音识别方面的基础性进展，例如能有效使用重音，很可能要依赖于技术的根本性进步。

学界前辈皮尔斯、乔姆斯基和明斯基曾经严重质疑过当年流行后来复活了的一些经验主义方法。他们的反对意见涉及许多当代流行的方法，包括机器学习（线性分离机）、信息检索（向量空间模型）、语言模型（N 元文法）、语音识别（隐式马尔可夫模型）和条件随机场。

学生们需要学习如何有效地使用流行的近似模型。乔姆斯基指出了N 元文法的缺陷，明斯基分析了线性分离机的局限性。许多局限性很明显（由自身算法设计带来的），但即便如此，对其支持与反对之间的争辩有时仍然非常激烈。有时，其中一方的论点不会被写进教科书，只有等到下一代人去重新发现和复兴这些被遗忘的思想。我们应该鼓励下一代学者充分了解辩论双方的论据，即使他们选择站在一方或另一方。

20 世纪90 年代，当我们复兴经验主义时，我们选择了实用主义的理由来反对我们导师的观点。数据从未如此丰富，我们能拿它做什么呢？我们认为，做简单的事情比什么都不做要好。让我们去采摘一些低枝果实。虽然三元模型不能捕捉到一切语言现象，但它往往比其他方法更有效。捕捉我们可以轻易捕获的一致性事实，要比好高骛远试图捕捉更多语言事实而最终得到更少要好。

这些说辞在20 世纪90 年代有很大的意义，特别是学术界在前一波繁荣期提出了很多不切实际的期望。但是今天的学生在不久的将来可能会面临一系列非常不同的挑战。当大多数低枝果实采摘完毕，他们应该做些什么呢？

具体就机器翻译而言，统计方法的复兴（例如文献）由于实用主义的原因，始于采用有限状态方法。但随着时间的推移，研究人员已经越来越接受使用句法捕捉远距离的依存关系，尤其是当源语与目标语缺乏平行语料库，或者当两种语言具有非常不同的词序的时候（例如，从主谓宾词序的语言（如英语）翻译到以动词收尾的语言（如日语））。展望未来，我们可以预料到机器翻译的研究会越来越多地使用越来越丰富的语言学表达。同样，很快也将有一天，重音将成为语音识别的重要依据。

既然计算语言学教科书不可能涵盖所有这些内容，我们就应该与其他相关科系的同事合作，确保学生能接受到广泛的教育，足以让他们为所有可能的未来做好准备。

选自《中国计算机学会通讯》第9卷第12期。
本文译自Linguistics issues in Language Technology, 2011; 6(5) K. Church 的“A Pendulum Swung Too Far”一文。
译者：李维（美国网基公司首席科学家。主要研究方向为信息抽取、舆情挖掘等）唐天（美国网基公司首席科学家助理兼助理工程师。主要研究方向为自然语言处理和机器学习）。