【相关】

词义消歧（WSD）

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-940905.html

上一篇：衙门文化（后续）
下一篇：【新智元笔记：词类消歧没那么漂亮，也没那么重要】

独: 从最近几天的文章来看，人工智能已经不仅仅是被炒作了，已经成了玄学，宗教，甚至邪教了。信之得永生，不信被淘汰，还让不让我们愉快的瞻仰了？

这是很有意思的社会现象。人工智能（AI）曾经那么神秘和流行，记得我刚入行的80年代，有同行开始把机器翻译做到电子词典里去，广告上非要加上人工智能的字样去吸引人。后来呢，机器学习热潮起来以后，人工智能作为老一代的玩具技术开始式微，名声越来越坏。

如今，机器学习"被"借尸还魂，趁着深度学习的热潮，合二为一，AI 一下子又成了香饽饽。所有关于AI的媒体宣传，全部似曾相识。AI 的历史上，总是这样大起大落。

机器学习当年躲 AI 唯恐不远，楚河汉界，泾渭分明。

可是从大众媒体来看，还是AI对于宣传好使。它刺激人的想象空间，与各种科幻紧密相连。最有意思的是，人类的忘性真大，再"被"臭的东西也可以重新芬芳起来。

如今，旧的 AI 已死，没有躲避的必要了。现在是可以利用它，但要忌讳的是过度消费。

如今，AI = DL，这是大多数人的潜意识，至少。

很多人以为规则类的 NLP 等同于旧的 AI，或者至少是其中的一个分支，所以 规则派 NLP 会随着旧 AI 寿终正寝。可是，恰恰在这一点，我有严格区分，因为事实不是这样子的。

旧AI就是60年代70年代的那些玩具系统，极端的domain specific，也只能做玩具实验。唯一不 domain specific 的旧 AI 是 cyc，这是旧 AI 的最大亮点，但如今也是 stuck there，原因不仅仅是常识的包罗万象使得知识形式化太过繁难（愚公移山总还有希望），更因为常识本身就是人类知识的缺省机制，无法单靠它打天下，更难以做推理。最后还有一个巨大的 overhead 的拖累。不排除很远的将来 cyc 这路有复兴的可能。

总之，旧AI面对的是世界知识，或者是专项知识（玩具世界所需要的），或者是常识（cyc），因此难以 scale up。NLP 则不同，NLP 面对的是语言学知识，而作为核心的句法是 tractable 的，因此可以 scale up。这种区别决定了其命运的不同。

做一个能 scale up，达到（甚至超过）一般人分析水平的 deep parser，已经不是梦想，而是现实了。

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-932959.html

上一篇：《立委科普：机器可以揭开双关语神秘的面纱》
下一篇：贴身小蜜的面纱和人工智能的奥秘

谈世界语和老柴老乔以及老马老恩： http://blog.sciencenet.cn/blog-362400-925052.html

南: 没注意到，你们居然谈esperanto……  这个群几乎是啥都有人在行，无语

白: 爱死不难读。

不是，白老师，是爱斯（才）不难读的: 《立委随笔：Esperanto: 爱斯不难读》 ，所以我几天就学会，两个月就拿它写论文了。这个事迹，我师姐写过，《师弟轶事：疯狂世界语》

白: 哈哈, 爱得死去活来，自然不难读了

南: 爱死佩兰拖

Nick: @wei 你得编段世界语鼓词十八摸，让鹏爷场，否则他不会买账的。

不过，白老师说世界语是垃圾，我还是很诧异。一般搞语言的人，或者无视它，或者喜欢它，厌恶它则有点蹊跷。

南: 我初中时赶时髦学过一阵子，但是觉得没啥意思最终没有坚持下来。但奇怪的是我同时期就开始喜欢编程语言。

毛: 爱死不来读

我女儿学了，跟我说，有啥用啊。她会西班牙语，学起来容易。我说，没啥用，就是因为没用，学起来才没压力，没功利，纯粹是 fun 和对语言的新奇。现在我们父女对话，倒是不怕别人看到，反正一般人不懂。

南: 编程语言在解决问题过程中能体会到思维的美丽。世界语，我感觉不到语言表达的美丽。纯个人感觉，没有啥理由。

表达的美丽在我这里是表达的自由。我学语言学，对于世界语的表达丰富性体会特别深。同样的意思，爱怎么表达都可以。这个语言学特点我正经写过文章发表的，作为一个 chapter， 用世界语发表在 Li, Uej (Wei) 1991.
Lingvistikaj trajtoj de la lingvo internacia Esperanto. In Serta gratulatoria in honorem Juan Rgulo, Vol. IV. pp707-723. La Laguna: Universidad de La Laguna

不仅仅是语序的自由，而且其他的语言形式也是比“纯自然语言”来得丰富。因为纯自然语言常常是倚重一种形式，或者是倚重语缀，或者是倚重小词。二者同时倚重的很少，总是大体有个不同的比例，因此语言才分成不同的类型。但世界语是人造的，柴大师为了表达的丰富性，有意吸取尽可能多的不同语言形式，这样来自不同类型语言背景的人可以找到自己倚重的形式来表达。其结果是，同一个意思，表达的方式多于纯自然语言。语序的自由加上同一个意思既可以用小词来表达，也可以用语缀来表达，是世界语的一个特别有意思的语言学特点。

南: 可能是我还没有学到可以自由运用的地步，无法体会。

对于普通人，可能不会涉及那么多形式，可对于我，这种丰富性和表达的自由，让我觉得空前的语言学满足。

洪: 记得巴金一直提倡世界语

是 巴金是国内最老的世界语之友了，年轻时学过。同情和支持世界语的还有蔡元培 冰心 鲁迅 胡愈之 陈毅， 高尔基 托尔斯泰 罗曼罗兰。还有爱因斯坦 铁托。毛泽东也被忽悠了一阵子。见《中外名人论世界语》 。社会语言学家和出版家 陈原 可以流利用世界语演说 我听过 生动的很 也幽默。我的导师刘涌泉也是世界语之友。

一不小心，我后来也被编入《中国世界语名人录》里了，有本书收了我《我的世界语国》系列。

北: 我愿意做一个坚定地反对世界语的人

你和白老师的反对都没听到坚实的理由。不过是说因为人造的，显得单调，丑陋。这个理由是仁者见仁智者见智。

北: 对啊 人造的语言就是反人类的事

我觉得美是我真地感受到美，而且我有这个条件去领略其表达丰富性，我不仅能写，也能说。你觉得丑也是你的感受。

比起语音上类似的意大利语和法语，世界语听起来也的确单调多了。加上很多人说起来生硬，磕磕巴巴。因为老柴是在简洁和单调中玩平衡，所以会牺牲一些听觉的美感。

北: 没错 所以您宣传 我反对 两不妨碍。

但是好的世界语朗诵也真地很好听，国内有几位优秀的世界语电台的播音员。听他们说世界语是一种听觉上的享受。

毛: 世上本没有路，走的人多了，就成了路。

北: 那也只是您觉得好听 我相信觉得好听的人很少很少。实际上 我觉得法语也很难听。

不是每个人说都好听，毕竟大多数世界语者都是拿他做辅助工具。不过电台播音员和一些出身在世界语者家庭一生下来就说世界语的人，他们的世界语与其他语言从听觉上和语音上，基本处于同一个水平，绝对没有生硬和难听的感受。

北: 即使您说好听的播音员 我相信觉得好听的人仍然很少。我说的丑陋不是语音上的 是文化上和内涵上的单调。这种丑陋与人工设计出来的某某主义制度如出一辙。对于我来说 这都是突破底线的 完全无法接受的丑陋。或者说 与主义制度一样 是反人类的。

文化上没有民族的根基，这一点是有道理的。以前有说，民族的才是世界的。没有根基就显得贫乏。这个批评我同意有点道理。为了弥补这一点，世界语运动中，以及柴门霍夫本人，为世界语逐渐创造了另一种文化的基础。就是那种普世的、大同的、理想主义的文化。

北: 这种文化与某某运动一样 已经为世界人民所抛弃了。

本来语言是语言，文化是文化，可以勉强分开来。

毛: 好好，小孩子别吵了，再吵城管叔叔可就要过来了。

就是拿它纯粹当工具。有些理呆喜欢世界语，就讨厌其类似国际共产主义的文化背景。但是真正的世界语者却一直在强调理想主义的一面，有意识把这种文化基因，发扬光大。也正因为此，世界语也招来了一些非议。因为作为工具，顶多是好用不好用的争论，没人会带有那么大情绪去厌恶或热爱。但是一旦融入了文化因素，好恶就开始作怪。

我个人一方面是语言学家，拿它当做工具去领略其美妙。另一方面又是文傻和骨子里的大同主义者，或社会主义者。所以对其特有的世界大同文化背景心里是认同并为之兴奋的。柴门霍夫本人创造世界语就是有崇高的大同动机，这一点他多方面阐述过。

Philip: 是不是 Java 才是普世码农的共同语言？

北: 语言的文化属性远远强于其工具属性

所以从一开始，世界语就不单纯是工具，而是作为一种主义和运动的形式在发酵。

北: @Philip php才是最好的编程语言！

我要说的是，世界语文化上有先天缺陷，因为没有民族根基。但是它比起其他纯工具的方案，还是更多一些特别的文化基因，更具有人文主义情怀，世界语圈子里也弥漫这种人文格调和自我优越感，曾一度深深吸引我。这种文化就是世界大同的理想。

白: 站在印欧语视角的世界大同，就是世界印欧语化。

白老师，那也是没办法的事儿。世界语几乎做到了极限。技术上，很难找到一个方案，非印欧化，但又不能排斥印欧。毕竟，印欧语言在世界语言的比重和影响是无法超越的。

北: 所以我反对世界语就在这里 打着工具主义的旗号 行文化同化之实 大奸大恶不过如此。没有人需要这样一个普世方案。

白: 所以当我们面对看书、看电影、看演出的时候，世界语并不会给我们同一个看。并不照顾汉语母语者哪怕半分。

“照顾”了也，客观上看。譬如 数字系统与汉语是几乎完美一致的。不像法语，也不像英语（11到20不规范），世界语的数字系统与汉语几乎一一对应。另外，汉语的句子如果词对词翻译成世界语，比起翻译成任何其他印欧语言，其结果是更加顺达。因为世界语的表达力在小词和语缀间是兼容的。而大多数印欧语言是一种繁复的语缀形式。倚重的是语缀的繁复，结果就离汉语更加遥远。

RW: 所以，汉语更接近世界语？

白: @RW 不可能有这样的结论

世界语的语缀可以极其简单，很多时候可以用类似汉语的小词（主要是介词）来表达各种语义。比起印欧纯自然语言，汉语更接近世界语。这个结论没错。虽然世界语的来源是印欧语言的公约数，但是它与汉语的距离，比起任何单个的印欧自然语言的确更近。这个我可以做语言学的证明。

北: 有个有趣的问题 我国官方队世界语什么态度呢？

RW: 我想表达的是，汉语有汉语的优势

中国政府和党一直是支持世界语 把它作为一个御用的部门。中国老世界语者独立性很差，一直有点媚上的味道，也是生存之道，无可厚非。

RW: @wei 能否比较粗犷地说，世界语是拉丁语的简化版？

北: 奥 不过这些年知道世界语的人很少了

有人说，世界语是简化的拉丁语，这么说主要是从拉丁语在历史上是事实上的欧洲世界的书面共同语的角度，觉得世界语也抹平了印欧语言可以做共同语言。

严格地说，不是拉丁语的简化，因为拉丁语只是印欧语系三大旁系之一。而世界语的确是吸收了三大旁系（拉丁、日耳曼和斯拉夫）的所有的长处，并加以简化的。

白: 官方态度那是因为世界语很弱。如果像天主教或者绿色和平组织那样成为跨国大NGO，你试试。

柴门霍夫的天才怎么赞誉也不过分。

RW: 然后就和汉语神似？ 可见汉语不差嘛

真地与汉语相对接近。

RW: 柴老精通中文吗？

但是那不是因为设计时候考量了汉藏的因素，柴大师不懂汉语的。

北: 这就是关键的差别之一 @wei 老师，我就认为语言只有特点，无所谓长处短处。

但是因为人类语言是有很多共性的，而柴门霍夫是追求共性的大师。追求语言形式的多样化, 在这种追求过程中，自然而然地，与汉语接近了。

RW: @wei 我绝对可以想象世界语的简洁和中文神似

@RW 你的想象没错，我可以验证。

RW: 我想说的是中文有它的先进性

根据我的语感和经验，的确有神似的方面。我以前的世界语语言学特点的论文中也举例过（举的还是文言的例子呢），好像也阐述过这个类似的意思。

RW: 我女儿可以说很好的拉丁语，非常优美。

中文的 “先进性”，简洁是一。印欧语言不简洁，是因为叠床架屋。这种叠床架屋的繁复语缀，有它严谨的一面，也有它不简洁的缺点。不简洁的结果是，冗余信息多，这个对交流和通讯工具是有好处的，可以抗干扰，消歧义。但是却失去了简洁的 “美”。

RW: 但中文也有其无法比拟的优美感！

这么说吧，在 90% 的情况下，冗余是不必要的，是多余的，但是作为语言的文法规定，你还是必须要冗余。但是在 10% 的时候，你会发现这些繁复带来的冗余是非常有利的。它消除了歧义。语言因此严谨。而中文倒是简洁，既没有语缀，而且小词也是能省就省，甚至语序也是有相当自由度的。这样一来，中文的表达显得特别简洁和自由，最大程度地不依赖显性的语言形式（语序，语缀，小词），而是靠上下文去”意合“。这对于人 通常不是问题，而且成就了简洁和自由的美，但是却丧失了严谨性。同时 在 10% 的情形下 造成了理解上的困扰。

RW: 但缺点也显而易见，中文的系统性越来越少。英语实际上是个很不错的平衡。语言不能太累赘，梵文有十几个变格，是很精确，但不能传下来。

同意，英语是个不错的平衡，就那么三四个语缀，词尾 -ed -ing -s，但是这三四个语缀可是顶了大用的。

世界语的词尾也不多，格也只有一个（宾格），比起拉丁语是简化太多了。

~~~~~~~~~~~~~~~

白: 目前看，五线谱成为音乐世界语，地位比爱死不难读牢固多了。

查: 直接对应钢琴的键 简单直接

笑得最后笑得最好，现在断言爱斯不难读的结局还为时过早。

大数据的信息化时代，不定哪一天人类突然聪明了，超越了国家政治和民族差异，要建立一个松散的全球共同体。那个时候要选一个有根基有实践有底蕴的中立语言作为 official 工作语言的话，除了 Esperanto，也没多少选项了。

白: 那时候机器翻译早就过关了吧，我对机器翻译过关的信心都比这个大。

你看如今 TPP，还有好多这个P那个P的经济共同体，弄得人眼花缭乱，本质上就是世界大同前的种种迹象。

机器翻译与世界语可以并行，二者互补，为世界大同服务。关键的一条是，选择任何自然语言都是明显偏向某些民族的，也是政治不正确的。Esperanto 的中立性，奠定了自己独一无二的有利地位。当然，历史上出现过200多种人造语方案，基本都是中立的，但是有这么多实践的人造自然语，唯此一家。

查: 世界语是yy吧 有正常人用吗？

我心中的理想社会与柴门霍夫完全相同：从此一个人一辈子只需要学两门语言。

一个是跟父母和社区自然而然学出来的母语，一个是面对世界需要学的国际辅助语言。

把现在学第二外语（英语、西班牙语等）的宝贵时间解放出来以后，人类的科技进步和生产力会大大解放。

反复的 benchmarks 结果表明，世界语的学习一般只需要我们现在学第二外语的五分之一的时间。

查: 世界语还是洗洗睡了吧 谁用啊 浪费那时间还不如学黎曼几何 虽然也没用

如果人的一辈子在最美好的青少年时代，平均为学英语等第二外语花费了一万小时的话，我们说的是每个人就会节约 8000 小时的青春。

查: 呵呵 你这是理科生思维@wei 

八小时算一天，那就是节省生命1000天，而且节省的是生命最美好的年华。

查: 学习英文也是一种享受。

对于愿意学其他外语作为享受的是另外一回事。这里说的是，为了生活和工作，不得不学的外语。

查: 假设你说流利的世界语 哪个学术会议你听得懂？

查理，乱弹琴，我说的是理想社会，你跟我说现实，不是捣乱么。

白: 机器翻译也是理想，到时候学一种语言就够了。

理想社会是需要n代人的过度最后确立的。

查: 理想社会那就用edi吧 还要语言干吗？

现实的不合理，是显然的。我为什么花那么多时间学英语？

白: 这不过是个技术问题。语言之间的大同，放到机器里去吧

就是一个工具而已，好用就行，花费的时间应该越少越好。

查:以后所有的交流都采用edifact 就不需要语言了@wei 

白: 不花时间岂不更好？

当然，机器翻译也是一个路。

也许真地就只要学一门语言就管一辈子了。比世界语的大同更好。

白: 大鼓可能还是翻译不了，不过大鼓也翻译不成世界语。

查: 联合国标准 不需要翻译@wei 

那都不是事儿。

以后的世界学一门以上的语言的人，都是专家。是真正爱好语言的，而不是被迫学习外语的人。这些人可以用来对付机器翻译难以胜任的任务。

查: 现在孩子会三门语言很普通。你对未来的预测是错的@wei 

也许吧。目前来看，机器翻译的大同胜过世界语大同的概率，更大一些。不过这两个预测都是建立在批判目前的强制性外语教学的基础之上，浪费了太多的青春。

有人天生喜欢学语言，就跟有人喜欢学多门乐器一样，另当别论，不能与被迫学外语以求生存相提并论。

最最可悲的是，很多人学外语劳而无功。赔了夫人折了兵，外语还是学不会，学不好。毛泽东就是一位，找再好的老师也没用，他老人家就不是学语言的材料。直到老，据说就是学会了几个孤单的不成句的哲学术语, 什么辩证法之类。

【相关博文】

泥沙龙笔记：聊一聊世界语及老柴老乔以及老马老恩 2015-10-03
泥沙龙笔记：三论世界语 2015-10-06

科学网—灵感有如神授，巧夺岂止天工

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-925135.html

上一篇：泥沙龙笔记：漫谈语言形式
下一篇：泥沙龙笔记：汉语就是一种 “裸奔” 的语言

说到含金量，其实很多课题，特别是面向应用的课题，并不是什么高精尖的火箭技术（not rocket science），不可能要求一个申请预示某种突破。撰写申请的人是游说方，有责任 highlight 自己的提议里面的亮点，谈方案远景的时候少不了这个突破那个革命的说辞，多少迎合了政府主管部门好大喜功的心态，但实际上很少有多少研究项目会包含那么多闪光的思想和科学研究的革命性转变。（纯科学的研究，突破也不多吧，更何况应用型研究。）应用领域“奇迹”的发生往往植根于细节的积累（所谓 the Devil is in the details），而不是原理上的突破。而对于问题领域的细节，我是有把握的。这是我的长处，也是我提出科研方案比较让人信服的原因。有的时候，不得不有迎合“时尚”的考量，譬如领域里正流行 bootstrapping 等机器自学习的算法，虽然很不成熟，难以解决实际问题，但是基金报告列上它对申请的批准是有益的。不用担心所提议的听上去时尚的方案最后不工作，由于科研的探索性质，最终的解决方案完全可以是另一种路子。说直白了就是，挂羊头卖狗肉不是诚实的科研态度，但是羊头狗头都挂上以后再卖狗肉就没有问题。绝不可以一棵树上吊死。

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-927003.html

上一篇：社媒大数据的困境：微信的风行导致舆情的碎片化
下一篇：【置顶：《泥沙龙笔记》汇总一览】

【立委按】读者的反应是，这次笔记是《立委科普》专栏中最深奥的。看得稀里糊涂，不明觉厉。的确，没有专业背景不行，这两篇不算严格意义的科普，当然也不是科唬，而是严肃的探讨，希望对后学和同仁更有价值。

好了，咱们接着聊，第二章：为什么多层系统，尤其是 多层 FSAs ，不受伪歧义的困扰？

白: 只要证明毛毛虫以外不是人话，就只管放心玩毛毛虫好了。

头头绪绪，怎么讲好呢？

白: 伪歧义跟规则的递归形式无关，跟规则的词例化水平和压制机制有关。但是，要hold住十万百万量级的规则，CFG一开始就必须被排除在外。

对。

说到底是规则的个性与共性关系的处理，这是关键。这个不是我的发现，我的导师刘倬先生早年就一再强调这个。刘老师的系统命名为 专家词典（expert lexicon ）系统，就是因为我们把个性的词典规则与共性的句法规则分开了，并且在个性与共性之间建立了一种有机的转换机制。

白老师说得对，单层的 CFG 基本是死路。眉毛胡子一把抓，甚至所谓词典主义的 CFG 流派，譬如 HPSG 也不能幸免，不出伪歧义才怪呢。如果规则量小，做一个玩具，问题不严重。如果面对真实自然语言，要应对不同抽象度的种种语言现象，单层的一锅炒的parsing，没有办法避免这种困扰。

白: HPSG 之类可以依托树做语义信息整合，但是在树本身的选择数目都在爆炸时，这种整合是不能指望的。

可以说得具体一点来阐释其中道理。分两个小节来谈，第一节谈多层系统中，单层内部的伪歧义问题。第二节谈多层之间的伪歧义问题。

白: 但是仍然困惑的是某种结构化的压制，比如“美国和中国的经济”’。“张三和李四的媳妇”

如果这两种伪歧义都有自然的应对方式，那么伪歧义不是困扰就理所当然了。待会儿就讲解白老师的例子。我这人啰嗦，学文科的，生存下来不容易，各位包涵了。说到现在，从白老师的眼中，都是偏离主题核心了的。

白: 抽象的并列，天然优越于抽象的长短不齐。似乎并不关乎词例，词例化的、次范畴化的规则，都好理解。抽象的结构化压制，处于什么地位呢？

但是难得大家围坐在一起，忍不住借题发挥一下，顺带进一步阐释了上次“上海会面”上的论点：我对乔老爷既爱且恨，爱他批判单层统计派的一针见血；恨他一竿子打翻一船人，敌我不分，重理论轻事实。

白: 是因爱成恨好吧

我们实际上半条身子在统计派的船上，大家都是有限状态；半条身子在语言派船上，毕竟我们不是单层的有限状态。统计派的有限状态的典型表现 ngram 实际上是 n-word，而我们的有限状态是真正的 ngram，这个”gram“ 就是刘老师当年一再强调的 “句素”，是一个动态的句法单位，可以是词、短语或者小句，随 parsing 的阶段而定。这样的 ngram 是统计派难以企及的，因为它反映的是真正的语言学，统计学家天然不懂。

白: 世界上只有深层派和浅层派，这是复旦美女教授教导的。我认为只要touch深层，无论什么派都会殊途同归。

先说单层内部的伪歧义。这个白老师心里应该没有疑问了，不过为了完整还是先讲它。

单层的有限状态说到底就是一个 regex （正则表达式），只不过面对的单位根据语言层次的不同而不同而已。如果是 POS tagging 这种浅层，面对的单位就是 words （or tokens）。如果是句法关系的解析层，面对的单位就是短语（可以看作是头词，它代表了整个短语，“吃掉”了前后修饰语）。

对于单层，有两种结构歧义，一种是伪歧义，占多数；一种是真歧义，占少数，但存在。单层系统里面的每一条规则都是一个 pattern，一个缩小版的局部 parser （mini-parsing），试图模式匹配句子中的一个字符子串（sub-string）。歧义的发生就是 n 个 patterns 对相同的输入文句的字符子串都成功了。

白: 然后？

这是难免的：因为描述语言现象的规则条件总是依据不同的侧面来描述，每条规则涵盖的集合可能与其他规则涵盖的集合相交。规则越多，相交面越大。每条规则的真正价值在于其与其他规则不相交的那个部分，是那个部分使得 parsing 越来越强大，涵盖的现象越来越多。至于相交的部分，结论一致的规则表现为伪歧义，这是多数情形。结论不一致的规则如果相交则是真歧义。这时候，需要一种规则的优先机制，让语言学家来定，哪条规则优于其他规则：规则成为一个有不同优先度的层级体系（hierarchy）。

白: 在线？

FSA Compiler 事先编译好，是 FSA Runner 在线做选择。

白: 那要隐含规则的优先关系，不能初一十五不一样。

个性的现象优先度最高。共性的现象是默认，优先度最低。这个很自然。一般来说，语言学家大多有这个起码的悟性，什么是个性现象，什么是共性。

白: ”张三的女儿和李四的儿子的婚事“

如果优先语感不够，那么在调试规则过程中，语言数据和bugs会提请语言工作者的注意，使得他们对规则做有意义的优先区分，所谓数据制导 (data-driven) 的开发。

白: specificity决定priotity，这是个铁律。在非单调推理中也是如此。

这个优先权机制是所有实用系统的题中应有之意。

优先级别太多太繁，人也受不了。实际情形是，根本不用太多的优先级别区分，只要三五个级别、最多八九个优先级别的区分就足够了。

白: 我还是觉得优先级初一十五不一样的时候一定会发生，而且统计会在这里派上用处。

一切是数据制导，开发和调试的过程自然做到了这种区分。而更多的是不做优先区分的歧义，恰好就落在了原来的伪歧义的区间里面。这时候，虽然有n条规则都产生了 local parses，他们之间没有优先，那就随机选取好了，因为他们之间没有 semantic 的区别价值。

换句话说，真歧义，归优先级别控制，是数据制导的、intuitive 的。伪歧义则随机选取。这一切是那么自然，以至于从业者根本就没有真正意识到这种事情可能成为理论上的困扰。

关于初一15的问题，以及白老师的具体实例，等到我们简单阐释第二节多层之间的伪歧义的应对以后，可以演示。

第二章第二节，多层之间可能的真伪歧义之区分应对。

对多层之间的真歧义，不外是围追堵截，这样的应对策略在开发过程中也是自然的、intuitive 的，数据制导，顺风顺水。围追堵截从多层上讲，可以在前，也可以在后。在前的是，先扫掉例外，再用通则。在后的是先做默认，然后再做修补（改正，patching）。道理都是一样的，就是处理好个性和共性的关系。如果系统再考究一点，还可以在个性中调用共性，这个发明曾经是刘老师 Expert Lexicon 设计中最得意的创新之一。个性里面可以包括专业知识，甚至常识（根据应用需要），共性里面就是句法模型之间的变式。

好，理论上的阐释就到此了，接下去可以看实例，接点地气。白老师，你要从哪个实例说起？我要求实例，加问题的解释。

白硕: “中国和美国的经济”。这就是我说的初一十五不一样。

这是真的结构歧义，Conjoin （联合结构）歧义 。在语言外知识没带入前，就好比西方语言中的 PP attachement 歧义。结构歧义是NLP的主要难题之一。Conjoin 歧义是典型的结构歧义，其他的还有 “的”字结构的歧义。这些歧义在句法层无解，纯粹的句法应该是允许二者的共存（输出 non-deterministic parses），理论上如此。句法的目标只是区分出这是（真）歧义（而这一点在不受伪歧义困扰的多层系统中不难），然后由语义模块来消歧。理论上，句法和语义/知识 是这么分家的。但是实践中，我们是把零散的语义和知识暗度陈仓地代入句法，以便在 parsing 中一举消歧。

白: 一个不杀当然省事。但是应该有个缺省优先的。

缺省优先由”大数据“定，原则上。统计可以提供启发（heuristics）。

白: 有次范畴就能做出缺省优先。不需要数据。

当然。次范畴就是小规则，小规则优先于大规则。语言规则中，大类的规则（POS-based rules）最粗线条，是默认规则，不涉及具体的次范畴（广义的subcat）。subcat based 的其次。sub-subcat 再其次。一路下推，可以到利用直接量（词驱动）的规则，那是最优先最具体的，包括成语和固定搭配。

白: 次范畴对齐的优先于不对齐的，就联合结构而言。但是，about 次范畴，理论上有太多的层。

那是，联合结构消歧中的次范畴不是很好用，因为这涉及词的语义类的层级体系。不管是 WordNet 还是董老师的 HowNet，里面的 taxonomy 可以很深，统统用来作为次范畴，不太现实。但理论上是这样使用的。

白: 再一个，“张三的女儿和李四的儿子的婚事”。这个也是真歧义吗？

上例的问题和难点，白老师请说明。"的"字结构的 scope歧义加上联合结构的歧义的叠加现象？

白: 上例是处理深度的问题，各自理解即可。歧义叠加，只有更加歧义了。可是实际相反，叠加限制了歧义。

在分层处理中，我们是这样做的:

（1）Basic NP, 最基本NP层的结果是：NP【张三】 的 NP【女儿】 和 NP【李四】 的NP【儿子】 的 NP【婚事】

（2）Basic XandY, 最基本的联合结构层：在这个层次，如果条件宽，就可能发生联合错误，错把 【女儿 和 李四】 联合起来。这个条件可以是 HUMAN，二者都符合。而且在 95% 的现象中，这个条件是合适的。如果条件严的话，譬如用 RELATIVES 这个语义次范畴（HUMAN的下位概念），而不是 HUMAN 来限定的话，这个句子在这一层的错误就避免了。

那么具体开发中到底如何掌握呢，这实际上决定于设定的目标，没有一定之规。做细总是可以做到更好质量，大不了多加几层 NP 和 XandY 的模块（FSAs），但还是增加了开发和维护的负担。如果做粗一点，只要所造成的 parsing 质量上的后果能控制在应用可接受的范围，那也未尝不可，因为说到底，世界上没有完美的系统。上帝允许人类的不完美。

雷: 联合类的问题一直是nlp的难点。

白: 把这个换成“AB的中点与AC的中点的连线”？同样的结构。

另一个思路，就是多层协调中的修补。对于上述两个例子，修补的办法似乎更好。与其分多层，代入各种繁琐的语义条件来消歧，不如任他出错，然后根据pattern的平行因素加以修正。在多层系统中，这个常常是有效的策略，也符合开发的总体规划。先把系统大体弄得work了，可以对付多数现象，然后有时间和余力了，后面可以 patching。前提是，错误是 consistent 和 predictable 的。对于多层管式系统（pipeline system），错误并不可怕，只要这种错误 consistent 有迹可循，后面总可以把它们修正。

多层管式系统常常被批评存在一个 error propagation（错误放大）的难题。其实，多层系统也可以做到负负得正（矫枉过正是也）。一个好的系统设计，是后者，通过 data-driven，可以做到把错误放大控制到最低限度，并发扬负负得正来得到最终正确的结果。

白: 伟哥的诀窍其实是把握一个适中的词例化-次范畴化水平问题。太粗则伪歧义盛行，太细则边际效益大减。

上例中 “中点与AC” 可以联合，不过是一个暂时的内部错误而已，后面可以修正。总之，这些都不是根本的 challenge，想做就可以做，实际操作上，也可以选择不做。问题大了，就做；用户发飙了，就做；否则就无视。很少有歧义是做不出来的，功夫和细节而已。最终决定于值得不值得花这份力气，有没有这样的开发时间和资源。

白: 做与不做，有可能影响架构选择。补丁有好处也有后遗症。

NLP 可以做一辈子，在基本机制（优先机制，修正机制，范畴、次范畴机制，专家词典等）由平台实现提供以后，慢慢磨到最后就是 diminishing return，与爬山类似，这决定了我们何时罢手。如果85%的精度作为parsing的目标，那么系统会选择不做一些稀有的现象。有了这个 85%，已经可以满足很多应用的要求了。

有了 85% 做底， 还可以让机器变得智能起来，自动地自我提高，所谓 self-learning，这是研究课题了，但是是可以实现的。实际上在我指导的实习生实验中已经实现，不过就是不大实用而已。

白: 再看“馒头吃光了”？

这个例子更容易讲清楚,。在系统的某一层，可以有个规则 把某种 “V+光" parse 成为动补结构，这个V的限制可以调试出合适的子范畴来。

白: “光”词例化肯定是可以的。

好，这就解决了95%以上这类以“光”收尾的现象。如果遇到了反例，譬如，”黑洞吃光了“， 那么或者修正它，或者作为个体知识的规则前置。围追堵截是也。总是可以把零碎的专业知识做成规则，如果需要的话。至于这么做值得不值得，那是应用层面的决定。很多时候是不必要的。错了就错了，不过是显得系统缺乏专家的知识，so what？

即便是人，也决定于他的知识面，小学生和文盲一般不能正确 parse 理解 ”黑洞吃光“  的动宾语义来。动宾的语义是需要语言外知识在语言内非优先的潜在结构上作用才能得出。而动补结构则不需要，那是语言内的句法知识（最多说是句法子范畴或小规则，但不涉及专业知识），是所有国人的默认理解。

白: 这一点非常重要。一个开放，一个封闭。一个外部，一个内部。

外部的事儿，就算没有专业知识，也可以大数据招呼。

今天似乎可以结束了，说到底，就是

一，平台需要提供一些基本机制来处理共性与个性的关系，从而应对歧义，这些在 FSA formalism 的教科书定义中可能不存在，或被忽略，但却是实用系统不可或缺的。

二，NLP 的确是个力气活，有无限的可能深入。当然，我们可以选择不深入，可以选择何时罢手。

至于大数据招呼，那个在前述的自学习上也必须用到。

雷: 人在语言理解中也会发生许多歧义。如果机器发生的理解歧义同人的歧义，这个反而正常了。

我们教授机器做到 85%，大数据基础的自学习可以让它自行提高到 90%，这个是部分证实了的，可惜还没有发表出来，以前说过，懒得成文。都骨灰级老革命了，谁在乎那个。

雷: 大数据太笼统了。言语理解有太多层了。比如，比喻或隐喻。

白: 他就是要抹平这些层 @雷

我说的大数据是指与大语料库对应的 grammar trees 自动形成的 forest，比 PennTree 大好几个量级。

啰里啰嗦，把大家都吓跑了，只剩咱哥仨了？

雷: 这些抹平是暂时的还是永久的？

白: 实用主义的

雷: 同意，实用主义

对。实用主义，就是小平的猫路线。

这次神侃算不算基本回答了疑惑，可以得出 ”伪歧义在多层系统中不是困扰“ 这个结论？

白: @wei 是，非常感谢

不过，我们一方面实用制导，一方面没有忘记基本面和大局。与纯粹的实用主义，头痛医头，脚痛医脚，还是不同。

雷: @wei 这些可以发表在你的博客吗？@wei 许多东西在博客里更好更有指导意义

既然讲了，就博客吧。这种积一辈子挖煤的经验之谈，正式论文中罕见，也算一件功德。

难得的是白老师还有雷司令身为主流精英，居然能一开始就高于主流，不排斥异端或少数派。

所以上次上海聚会，我就说，火药味的架掐不起来的, 因为相互的理解和欣赏多于分歧。

白: 可以再关心一下NLP的商业模式，怎么能讲一个好故事。我们说fsa也好分层也好，资本都是不感冒的。

雷: 是，商业模式, 如李长官以前说的，怎么2c，而不是仅仅2b

白: 只要聚焦于深层，一定会殊途同归。

但我知道也有很多统计死硬派，甚至大牛，是不尿这壶的。

白: RNN记在统计账上，但已经是深层了。

滑稽的是发现有些死硬派做了n年NLP，却真地不懂语言学，有个别大牛连常识都不懂，让人跌破眼镜。当然这个只能内部说说，不能博客的。所以往往是互相地不尿对方那一壶，与宗教之战类似。

RNN 我还需要学习，才敢发言, 不过从白老师零星的介绍来看, 很可能殊途同归。不过 FSA 这套 deep parsing 是已经稳定成熟的技术。RNN 的工业成熟度如何，我不知道。

可能都是核弹, 不过是原子弹氢弹区别而已。

白: Ngram说不定变出个什么花样来，也殊途同归。

其实 多层 FSAs 本质上就是 ngram 的花样，不过 gram 不再仅仅是词了，而是等于或大于词的句素。能以动态句素作为 ngram 的对象，是因为多层的原因，跟剥笋子一样，层层扒皮，gram 当然就是动态的了。这一点很关键，是乔姆斯基都没想到的 power。

白: 对，边扫描边归约，边抛出句素。

黄: ngram是简单的统计，这几年也有许多进展，representation learning 算是深度学习在自然语言处理的热点。

这里面最 tricky 的不是机制而是细节。魔鬼在细节，就是指的这个。FSA 是”古老“简单的机制了，细节就是玩平衡，玩模块之间的协调。玩得好的就好比中餐的大厨，可以做出满汉全席来，玩不好的还不如麦当劳、keywords。到这一步，经验因素开始起作用。没碰过n次壁，甚至几万小时的炼狱，这个火候掌握不好。

白: 句素的个头大，影响范围就大，相当于抛得就远。可以进入远距离的滑动窗口，伟哥说的Ngram的缺点就不存在了。

黄: 很多新的模型都试图去capture long distance, sentence, paragraph的依赖关系，这里头可做的事情很多。

这类系统很难做得表面上漂亮光洁，总是在混沌中前行，要忍受不完美。这方面的忍受，数学家不如语言学家。他们天生追求简洁完美，不愿意将就。

白: dirty是必然的

ngram 的缺点是主流的缺点，不是语言多层派的缺点。恰好相反, ngram 多层以后，很容易比任何 CFG 做得细致深入，以至于，想怎么深入就怎么深入, 如果持续开发的话。

黄: 我感觉统计模型的优点之一是在某种程度上加上了semantic，比pure syntactic有很多好处

CFG 那套单层范式，无论统计模型还是传统文法加以实现，真地深入不下去，是框框决定的。两边都玩过，这种对比太强烈了。我对我的博导说过， HPSG 真地不好用，那边费那么大劲的事儿，在我这儿是小菜。说拿的是牛刀，可对象不是牛，而是鸡。不如我剪刀和匕首好宰鸡。

白: 我一个学生搞蛋白质折叠的分析。蛋白质大分子折叠的点恰好是若干局部的代表（相当于语言的head中心词）之间发生全局相互作用的地方。真是神了。

为世界和平和人类福祉计，统计模型和规则系统一定是要融合和弥补的，in some form。

这个忽视统计的教训我们也有过。如果没有统计的概念，没有大数据的制导，往往拍着脑袋而过度开发，最终是系统的臃肿不堪，甚至报废。我们语言学家是一种可能走火入魔的动物。必须要用数据制导和工程操作规范来制约我们，不能由着我们任性胡闹。

白:飞机要起飞了。关机。到北京再继续。

今天到此，特别谢谢白老师的互动和精彩的及时点评。

黄: 大胆假设，小心求证。复杂模型的威力如果有了海量带标数据没准能发挥。这几年好些统计模型都是老树开花。

黄老师还沉浸在主流的傲慢与光荣中，呵呵。

黄: 不好意思。

当然，任何奇迹都可能发生，就如在图像和语音中发生的奇迹一样。也许 deep learning 在 parsing 方面会有突破。可以想见，很多 DL 研究者正在朝着这个目标奔跑，似乎谁跑得快，谁就可以摘除NLP皇冠上的明珠。

不过这边厢有半个多世纪的传承和几十年的积累，奇迹已经发生了。

我最乐观的预测是，统计的奇迹一旦发生，从功能上也就是多层规则派奇迹的再现。从今后扩展上，也许更具优势？

拭目以待-ing。

【相关博文】

泥沙龙笔记：骨灰级砖家一席谈，真伪结构歧义的对策（1/2) 2015-09-21

 乔姆斯基批判

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-922450.html

上一篇：泥沙龙笔记：真伪结构歧义的对策（1/2)
下一篇：【旧文翻新：温哥华，我的梦之乡】

说到含金量，其实很多课题，特别是面向应用的课题，并不是什么高精尖的火箭技术（not rocket science），不可能要求一个申请预示某种突破。撰写申请的人是游说方，有责任 highlight 自己的提议里面的亮点，谈方案远景的时候少不了这个突破那个革命的说辞，多少迎合了政府主管部门好大喜功的心态，但实际上很少有多少研究项目会包含那么多闪光的思想和科学研究的革命性转变。（纯科学的研究，突破也不多吧，更何况应用型研究。）应用领域“奇迹”的发生往往植根于细节的积累（所谓 the Devil is in the details），而不是原理上的突破。而对于问题领域的细节，我是有把握的。这是我的长处，也是我提出科研方案比较让人信服的原因。有的时候，不得不有迎合“时尚”的考量，譬如领域里正流行 bootstrapping 等机器自学习的算法，虽然很不成熟，难以解决实际问题，但是基金报告列上它对申请的批准是有益的。不用担心所提议的听上去时尚的方案最后不工作，由于科研的探索性质，最终的解决方案完全可以是另一种路子。说直白了就是，挂羊头卖狗肉不是诚实的科研态度，但是羊头狗头都挂上以后再卖狗肉就没有问题。绝不可以一棵树上吊死。

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-927003.html

上一篇：社媒大数据的困境：微信的风行导致舆情的碎片化
下一篇：【置顶：《泥沙龙笔记》汇总一览】

关于乔姆斯基和统计学习的两种文化（编译） (2013-09-25 08:21:18)

转载▼

转载自： Yankee_Tootle的博客
中文原文：http://blog.sina.com.cn/s/blog_591858120101bhpi.html
英文原文：http://norvig.com/chomsky.html

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-899452.html

上一篇：泥沙龙笔记：从乔姆斯基大战谷歌Norvig说起
下一篇：Parsing nonsense with a sense of humor

泥沙龙笔记：把酒话桑麻，聊聊 NLP 工业研发的掌故

尼克介绍的那个讯飞语音输入，简直是神器，向我们的语音同行，脱帽致敬。相信语音是统计的天下。Nuance作为源头的爱疯Siri和讯飞的语音，都快登峰造极了，叹服。

两年前 Nuance 语音以上，要往 text NLP (Natural Language Processing) 发展，找过我多次，作为他们新实验室头儿的候选人。互动了很久。这要是进去，可不是就进入了统计学家和精算师们的海洋，虎口啊（笑）。精算师们的头脑里压根儿就想不到统计外还有其他。

后来他们把老革命家Ron Kaplan 从微软 Powerset 挖去，做了他们这个部门的头儿。Ron 是 PARC实验室的老将。早期 FSA 算法研究的推手（之一）。他们当时的电脑硬件的限制，对线性和效率要求极为苛刻。他津津乐道的就是当年怎么在最苛刻的硬件条件下，做出名堂来。后来他想让我做他的副手，毕竟他老人家比我还老，希望找一个能带队伍打仗的。我们相谈甚欢，有很多共同语言，因为他也是规则派，线性派，也做过 deep parsing，有很多共同的感受。

这里面涉及NLP的一些掌故，就索性在这里说说。大家都知道的是，施乐的PARC实验室是世界上最著名的IT发明创造的发源地。他们有本事招揽天下最优秀的科学家和天才发明家，但没本事开发产品，都是为他人做嫁衣裳。于是成就了乔布斯，乔布斯又成就了微软，如此等等，才有我们今天的电脑和IT大业。

这件事儿对施乐很刺激。于是十五六年前，PARC 决定尝试肥水不外流。自己 spin-off 一些 start ups, 对 PARC 的成果做技术转移和产品孵化。其中搞NLP这块的，就spin off了一家叫做 Inxight 的公司，大家应该听说过，那是工业界的NLP leader。PARC 名声大啊，除了自己投资外，吸收其他投资也不难，前后圈了10+轮风投。他们在 PARC FSA（有限状态自动机）研究的基础上，推出一个 LinguistX 的平台，从浅层开始做起，Stemming, POS，NE，多语言。FSA 特别擅长 stemming （主要是削尾）和 morphology（词法分析），就是对词的各种分析。

这样唠叨下去，太慢，还是要长话短说。

总之是，一开始还不错，因为搜索引擎市场里面，做多语言的都要stemming，他们也就有了一些客户。可是世界上有多少家做搜索引擎？以前百家齐放还好，后来天下归一就难了。

雷: 如果可能，希望短话长说

总之是，NLP 做平台的，做 component technology 的，很难在市场生存发展。Inxight 在融资10+轮后，终于撑不住了。那些当年雄心勃勃要在工业界掀起NLP革命的Inxight的创始人们（四个创始人，我认识三位），也都跟我差不多，随着这个行业一同老去，还是看不到希望。（我个人算幸运的，先是赶上了世纪末的大跃进（互联网泡沫），如今又赶上了大数据，似乎见到了NLP真正的工业曙光）。

RW:@wei component technology 很难生存，这句话到位

他们也真能，圈了那么多钱，终于无疾而终。白菜价卖给了 SAP。

高科技的事情大多如此，一旦被巨头买下，科技创新就死，然后就是不了了之。

毛:不奇怪

见过很多这样的。这 Inxight 进了 SAP 就是如此。这里面的故事非常 telling，因为若干年后 SAP 与我现在的公司达成战略伙伴，要用我们的social这块。开始接触的时候，我说，你们的 Inxight 呢，不是听说后来也做了 sentiment 吗，而且是 NLP leader 出身啊。进一步接触才明白，那叫一个天壤之别。将别三日，江河日下啊，廉颇老矣不能饭，不足道也。

回头再说这 PARC，Inxight 虽然不成，这个“上世纪的技术” FSA 并没死，前仆后继者还有。Component technology 很难活，但是从这个源头，还是引出了另外两家步 Inxight 后尘的。一个就是 Ron 创立的 Powerset，Ron 是拿它做 parsing，向深度进军。另一家是BASIS，现在还活着，在旧金山，只做 stemming，多语言，那是向广度进军。

Powerset 其实很值得赞佩，因为他做的parser工业最靠谱（除了在下的外，呵呵）。但是钱要烧完了. 总得有个产品啥，它没有。只做出了一个技术 demo，证明 parsing 对搜索有用，比关键词高一筹。概念上证明了，关键词做不到的搜索，NLP parsing 是有用的。

RW:那怎么活？@wei

Nick:@wei powerset我还较熟悉。powerset现在还在吗？

还在，但跟死了一样，头儿和主要技术人都走了，技术本身基本也没融入微软产品。

Parsing 对搜索的好处是精准，因为语法结构的匹配代替了没有结构的关键词查询。譬如要搜索微软都并购过哪些公司，关键词就很难找到好的结果。可是Powerset 在 parsing 基础上的搜索或答问，就可以整出非常漂亮的结果。行内叫做 SVO search（主谓宾支持的结构化搜索）。结果一定是漂亮的，因为把句法结构加入了，微软必须是主语，并购必须是谓语，那么出来的结果就不会不干净。SVO 就是parse的主干，主谓宾，语言学叫 argument structure，是 parsing 的核心结构。

当时，Powerset 钱快烧完的时候，还想不出来做什么产品，Ron 的团队着急了。嚷嚷着超越Google，可是只有个高效的parser，没法说服人啊。于是想到，找一个什么不大不小的对象开刀合适呢，因为 parsing 是有成本的。他们口口声声，是要做下一代Google，取代关键词搜索。Google 最多是牛顿，Powerset 要做爱因斯坦。

这些宏观上的忽悠，完全没有问题，因为原理没错，parsing 是 keywords 的爱因斯坦，可是工程上有成本的考量啊。结果他们想了一招，拿 wiki 开刀。wiki 当时的那个量，还比较合适做demo，Ron 于是在互联网的大海找到了这么一滴水。

Nick:@wei 这是何时的事？

六七年前吧。他们于是把wiki parse 了一遍，做了一个 demo 给大家看，蛮impressive，于是，微软就买了。他们也算善终了，至少投资人没亏，小赚一笔。微软的心态，是不管三七二十一，只要宣称能取代Google 的技术，先拿下再说，管他消化得了消化不了。因此 Powerset 比 Inxight 的风投结果好，至少没有贱价出售。如果 Powerset 错过了微软这个冤大头，那就比Inxight 还惨。

RW:是不是最终又给微软毁了？

微软当然毁了它，比SAP 还不如。

Nick:貌似powerset还做search整合，把好几个搜索结果拿来从他们这过一下

前几年我做多语言deep parsing项目，招人的时候，去 Powerset 挖到一位，很能干的。本来高高兴兴做 parsing，是从 PARC 被 Ron 带出来的，后来微软吃掉后，被分配去做 query 的分析。query 在搜索是啥,不就是两三个词的组合么,一个做语言语法分析的人,现在必须抠那几个词，为了一些细琐的需要（应用上自然很重要），简直郁闷极了。这位其实懂很多欧洲语言，也有电脑素养，我挖他过来做大数据的语言分析，他自然很开心。Ron 不乐意了，曾明着跟我说过。可他也没法，他自己勉强在微软帮助支撑了两三年，最后还是去了 Nuance，祝他在 Nuance 可以开一个新局面。

Nick:parsing完再搜索vs搜索完parsing，哪个效果好？

这都扯到哪里了。这些掌故说起来一大车，包括当年的 Whizbang！那可是名校计算机主任亲自出来领头做的NLP 公司啊，特别擅长网页layout的机器学习，从中做信息抽取，最后比我的前一个公司 Cymfony 结局还惨。世纪之交高科技泡沫破灭，我们挺住了，开发了产品，他们的3000多万的投资人却中途撤资了，最后各种技术贱卖，100万即可买到所有的源码和技术说明，先找到我们，说是最适合的买主，我们当时没精力消化这些，后来是Inxight买了。

雷: 说起来话长，故事好听

再往前的掌故还有Answerlogic问答系统，也是在上一轮 bubble 时候闹腾得特欢的NLP 公司。钱烧完了，就完了。

RW:这句话经典！[微笑]

所以说，这 NLP 要做成，不容易。不是技术不到位，技术参差不齐，但是优秀的引擎（精准、鲁棒、高效）是已存的现实。我敢打包票。

RW:是不是有ahead of the market 之嫌？@wei

技术不是问题（笨蛋不算，你要是找到一个只会忽悠的笨蛋，那是 due diligence 太差，怨不得人）。

Nick: 嗨，老套路，骂别人是为了夸自个。

可不，卖瓜王爷。不过，那也是客观事实，内举不避己，不能因为自己能就偏要说不能，最后还是要系统说话。

当然，这玩意儿要做好（精准达到接近人的分析能力，鲁棒达到可以对付社会媒体这样的monster，高效达到线性实现，real time 应用），确实不是一蹴而就能成的。这里有个n万小时定律。大体是，NLP入门需要一万小时（大约五年工龄），找到感觉需要两万小时，栽几个有意义的跟头需要三万小时，得心应手需要四万小时，等你做到五万小时（入行25年）还没被淘汰的话，就可以成精了。那是一种有如神助、如入无人之境的感觉，体会的人不多。打住。

高精的NLP技术虽然很难，但技术的确不是问题，问题在于产品。从 NLP引擎 mapping 到产品或产品的 features，这里面有千百种组合，哪种组合能在市场上站住，到目前为止基本是盲人摸象的过程。

RW: 否则不叫风投

为了减少盲目性，产品经理和制定产品策略的老总至关重要。

高技术公司的产品老总在宏观上了解NLP的潜力，同时深谙市场的卖点，了解客户的需求和痛点，可以具体制定产品和产品features的specs给 NLP developers，只有这样合作才能成事。

回尼克的问题, parsing 和搜索的关系。parsing 完再搜一定是效果好的，因为搜不到就backoff 到关键词。你可以肯定高于搜索，问题是成本。搜索完再根据情况调用parsing，也是可行的。

Nick:我就是这个意思。我印象当年powerset给我看的demo是先搜后parsing。

但是这个问题，更准确的表述应该是，一个query来了，有个 routing 的process，这个 routing 可以包括局部搜索探路，也可以包括其他的策略，总之是，应该可以找到一类 query，这类 query 最适合用 parsing 来回应。最好是那些关键词最难回应，而结构最拿手的。如果这个子集能大体确定，那么 parsing 在互联网搜索上是大有可为的。其实，目前的搜索巨头，在利用 parsing 的路上走得太慢。原因我不清楚，但是明显是利用不够。话说回来，如果巨头都能那么灵活，也就没有小公司的活路了。

Jing:用户量大了后用户的历史行为就间接人肉parsing了。

历史行为那是另一个侧面和角度，可以满足信息需求的一个部分。历史行为确实也等于间接利用了人工的parsing的结果，因为人在选择点击阅读某个网页的时候是扫描理解（parse）了链接上的标题的。但那不能涵盖 parsing 所能起的全部作用。

Jing:query understanding包括这个步骤。你前面提到的那个分去做query的哥们完全可以做这个呀

query understanding 是非常重要的一个环节，可是做的人痛苦啊，两三个词玩不出语言学的名堂来，没意思。做 text 的人面对的是整个互联网。query 是语言中的一个分子，那种感觉是不一样的。

【相关博文】

泥沙龙笔记：从乔姆斯基大战谷歌Norvig说起 2015-06-20

乔姆斯基批判 2015-06-15

把酒话桑麻，再泡一壶茶，白头老机译，闲坐说研发

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-901032.html

上一篇：“运动”损伤与体重有很大的关系
下一篇：权利？义务？说说“父亲们休产假”的事儿

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-902391.html

上一篇：泥沙龙笔记：再聊乔老爷的递归陷阱
下一篇：人机接口是机器人的面子

肮脏也是人类生活的一部分，总得有人研究。肮脏语言的研究可以提醒人们注意语言文明，防止语言暴力，支持垃圾清扫或过滤等。有了互联网的匿名性，人类更加肆无忌惮，不雅用语横行，但人类不幸文人幸，互联网也为语言学家对不雅语词的研究提供了极大的方便。

最近在做英语和汉语这方面的调查研究，发现其实不同文化和语言也差不多，都有庞大的肮脏语词词汇。其中主要类别不外乎是：

（1）性：性器官、性行为、性取向

性行为是人类繁衍的根本，人人做，人人骂，古今中外，概莫能外，这里收集了约30多个骂法：

// F-word and the like

fuck, fucken, clitfuck, cunnilingus, dicksucking, dickslap, fellatio, feltch, assfuck, handjob, humping, blowjob, fuckin, fucking, fucks, munging, pussylicking, rimjob, skullfuck, titfuck, tittyfuck, wank, wankjob, dick-sneeze, fucketh, fark, feck, fook, frick, blow job, jerk off, fuckest, motherfucking, mothafucking, mothafuckin, mothafuckin', mothafucka, grandmafucka, motherfucker,dildo, fuckbutter, fucker

很长时间，人类把同性恋看成是性行为中最为肮脏的苟且之事。英语骂同性恋的单词据不完全收集有近 70 个之多：

//homosexual

cocksucker, assfuck, ass-jabber, ass-pirate, assbandit, assbanger, assfucker, assgoblin, asshopper, assjacker, asspirate, bitchtits, brotherfucker, bumblefuck, butt-pirate, buttfucka, buttfucker, cockjockey, cockknoker, cockmaster, cockmongler, cockmongruel, cockmuncher, cocksmith, cocksmoke, cocksmoker, cocksniffer, cumguzzler, cumjockey, cuntlicker, dickfucker, dickmonger, dicksucker, dicktickler, carpetmuncher, dike, douchewaffle, dyke, fag, faggot, fagbag, fagfucker, faggit, faggot, faggotcock, flamer, fudgepacker, gaybob, gaydo, gayfuck, gayfuckist, gaylord, gaytard, gaywad, homo, lesbo, lezzie, mcfagget, muffdiver, penisbanger, penisfucker, penispuffer, polesmoker, queer, queerbait, queerhole, twatwaffle, unclefucker, fagtard

女性器官类有30个骂词，男性器官类有 20 个：

// vagina

cunt, axwound, coochie, coochy, cooter, cunnie, cunthole, minge, kooch, kootch, gooch, panooch, pissflaps, poon, poonani, poontang, punanny, pussy, poonany, clit, kunt, muff, snatch, twat, twats, va-j-j, vag, vajayjay, vjayjay, camel toe, pussies, queef

// penis

penis, bollocks, bollox, choad, dickhole, fuckstick, nutsack, pecker, prick, chode, schlong, scrote, testicle, nut sack, dick, cock, dickhead, hard on, boner, renob, cum, dickjuice, dickmilk , jizz, skeet, dickbeaters, butt plug

侮辱女性为女巫和婊子的也不少，连带有对女性第二性征的辱骂：

bitch, whore, hoe, punta, skank, slut, slutbag, cumdumpster, cumslut, bitchy

tits, chesticle

屁股离性器官较近，又是排泄污物的器官，自然也成为骂人的利器，收集到 15 个单词：

// butt

anus, arse, arsehole, ass, assclown, asscracker, assface, asshat, assmuncher, assshole, asswad, asswipe, fuckbutt, fuckhead, gayass, shitspitter

（2）弱智傻逼等：

英语有 80+ 个不堪入耳指着鼻子骂人的话语，这还仅仅是单词层，不包括扩展性和创造性的短语类骂法：

// idiot

ass-hat, assbag, assbite, asscock, asshead, asshole, asslick, assmonkey, assmunch, assshit, asssucker, bampot, bitchass, clitface, cockbite, cockburger, cockass, cockface, cockfucker, cockhead, cockmonkey, cocknose, cocknugget, cockshit, cockwaffle, cumbubble, cumtart, cuntass, cuntface, cuntrag, cuntslut, dickbag, dickface, dickfuck, dickwad, dickweasel, dickweed, dickwod, dipshit, doochbag, douche-fag, dumass, dumbass, dumbfuck, dumbshit, dumshit, fuckass, fuckbag, fuckboy, fuckbrain, fuckersucker, fuckface, fucknut, fucknutt, fuckhole, fucktard, fucktart, fuckup, fuckwad, fuckwit, fuckwitt, homodumbshit, jackass, jagoff, jerkass, peckerhead, shitass, shitbag, shitbagger, shitbrains, shitcunt, shitdick, shithead, shithole, puto, suckass, thundercunt, twatlips, whorebag, whoreface, tard, lameass, bastard, douche, douchebag, jerk, dickhead, assshole, dumb ass, shitface

（3）种族

非我族类，都是鬼子，于是有各种鬼子的骂法：

beaner|wetback|spic|spick （老墨巴子）
chinc|gook （老中巴子）
chink （东亚病夫）
cracker|spook|honkey （白鬼）
dago|deggo|guido|wop （意大利鬼子）
gringo （老外）
heeb|kike|kyke （犹太鬼子）
jap （日本鬼子）
kraut （德国鬼子）
pollock （波兰鬼子）
paki （巴基斯坦巴子）
mick （爱尔兰鬼子）
ruski （俄国老毛子）
sand nigger （中东巴子）

coon|negro|nigaboo|nigga|nigger|jigaboo|junglebunny|porchmonkey|niglet|jungle bunny|porch monkey （黑鬼）

可见骂的最多的还是苦难深重的黑人兄弟。不怪他们的平权运动和反歧视示威经久不衰。

（4）最后的杂类不外是屎（shit）尿（piss）等脏物，但远不如上述类别的丰富多样：

// SHIT

shit, bullshit, dookie, shitstain, shitting, shiz, shiznit, smeg,  shitty

// PISS

piss, bugger off

最后还有 damn （诅咒） 和 hell （地狱）两个常用的诅咒见鬼的恶毒语词。

【Related】

科学网—社会媒体比烂，但国骂隐含舆情- 李维的博文

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-827442.html

上一篇：解释不清楚“动量”并不是因为语言文字的问题
下一篇：职业随想曲：语言学万岁

【立委按：微信泥沙龙，谈笑鸿儒，高朋满座，信马由缰，言无所忌，摘之与同仁分享。】

【泥沙龙对话录】

今儿个咱要吐槽乔老爷，不吐不快。

开题：乔姆斯基，对领域的误导，或负面影响，与他对语言学的革命性贡献，一 样大。

他的hierarchy，是天才绝顶的理论，是不可泄露的天机，从而奠定了形式语言的基础，用来创造、解释，或编译计算机语言，是完美的指导。

可是，完美往上走一步，就可能成谬误。乔姆斯基拿这套理论，硬往自然语言套，导致整个领域，在所谓自然语言是free，还是sensitive，还是 mildly sensitive等不靠谱的争论中，陷入泥潭。

太多的人被引入歧途，理所当然地认定，因为自然语言复杂，因此需要 powerful的文法。这个 powerful，是世界上用的最误导的词。

工程师发现，有限状态好用，但经不起理论家的批判：你那玩意儿太低级，不够 powerful，只能拿来凑合事儿。

实际上，做过大工程的人都明白，对象的复杂，并不是使用复杂机制的理由，有本事使用简单机制对付复杂的对象，才是高手。

乔姆斯基最大的误导就是，用所谓自然语言的center递归性，一杆子打死有限状态，他所举的center递归的英语实例，牵强和罕见到了几乎可笑的地步，绝非自然语言的本性。结果一代人还是信服他了，彻底地被洗脑，理所当然以为必须超越有限状态才可以做自然语言深度分析。

为了所谓语言的递归性，人脑，或电脑，必须有个堆栈的结构才好，这离语言事实太远，也违背了人脑短期记忆的限制。世界上哪里有人说话，只管开门而不关门，只加左括号不加右括号，一直悬着吊着的？最多三重门吧，一般人就受不了了。就算你是超人，你受得了，你的受众也受不了，无法 parse 啊。说话不是为了交流，难道是故意难为人，为了人不懂你而说话？不 make sense 嘛。

既然如此，为什么要把不超过三层的center循环，硬要归结成似乎是无限层的递归？

（毛老：递归成了他的宗教。）

不错。乔老爷的递归误导语言学，坑了NLP太久。我对他的语言学不感冒，对他对NLP的误导，更感觉痛心。一个如此聪明强大的人，他一旦误导就可以耽误一代人。被耽误的这一代是我的前辈一代（上个世纪70年代80年代），他们在自然语言理解上的工作几乎一律为玩具系统，在实际应用上无所作为，从而直接导致了下一代人的反叛。老一代被打得稀里哗啦，逐渐退出主流舞台。

在过去30年中，统计NLP的所有成就，都是对乔姆斯基的实际批判，因为几乎所有这些模型，都是建立在ngram的有限状态模式的基础之上。

（洪爷：从乔姆斯基的所作所为，就能分出构造机器智能和解构人类智能难度上的差异。他五十年代略施小计就把形式语言夯成了计算机的Cornerstone，可是穷毕生精力，总是在重构其语言学理论。
毛老：如果没有乔老的那些理论，人们能做出计算机语言编译吗？）
洪爷：语法mapping到语义，总是要做的，不必须用形式语言，就像现在做nlp的人也不必须懂语言学。还是 David Marr，David Rumelhart 等立意高远，总想找到人机等不同智能实现上的共通计算机制。
刘老师：Marr 也是人神级别的
毛老：跟上面问题类似的是：如果没有图灵和冯诺依曼的理论，人们会造出计算机么？
洪爷：Babbage的分析机可行，Ada的程序/算法也早可行。其实，问题不在于出冯诺依曼还是马诺依曼，问题在于，不管他们的理论表面上如何不同，可能都受同样的约束，能力上可都能都等价。而Chomsky 研究的是这些约束能力。
毛老：那图灵不是更加么？
洪爷：Turing 从机器一侧，Chomsky从人一侧。）

洪爷说的是事实，过去三十年不懂语言学做NLP的占压倒多数。但那不是健康状态。不过，语言学里面也很混杂，进来的人很容易迷糊。但是，语言学里面确实有一些指导性的东西，了解与不了解大不一样。比如索绪尔，就值得琢磨。索绪尔说的大多是原则性的，有哲学的意味，是传统的非科学性的语言学，特别具有宏观指导意义，可以提醒自己不至于陷入细节的纠缠，而忘记了方向。他谈的是共性与个性的关系，语言和言语，规则与习惯，共时与现时，都很洞察、到位。

（白老师：我觉得线速、柔性很关键，多层次递归和远距离相关必须搞定。方法不限，八仙过海。）

那些已经搞定了，伪歧义也不是问题，都搞定了。有一种叫做cascaded FSA的方法，与软件工程的做法极其类似，就能搞定这些。前提是指挥者架构者不能失去全局，要胸怀索绪尔，而不是乔姆斯基。架构和interfaces设计好，下面就是模块的开发，匠人的干活，可以做到很深，接近逻辑表达，比chomsky的文法深。传统规则系统受乔姆斯基CFG影响太大，很不好用，而且也无线性算法，所陷入的困境与神经网络以及一切单层的统计系统类似。正如多层的深度学习被认为是AI的突破一样，有限状态一多层，一 cascade，以前天大的困难，递归啊远距离啊伪歧义啊，就消解于无形。

（白老师：数学上的函数复合。）

就这么一个简单的道理，结果至今批判规则系统的人，还在打稻草人，以为规则系统都是CFG那么愚蠢和单层。

乔姆斯基对nlp的误导，还在于它的短语结构的表达法。那个phrase structure破树，叠床架屋，为了追求所谓语言共性，太多的assumptions，既不经济也不好用，却长期成为 community standards，误导了不知多少人。起码误导了 PennTree，通过它误导了整个领域。，

(白老师：某种意义上，nlp是应用驱动的。与应用匹配，Ngram也不算误导。与应用不匹配，HPSG也算误导。抽象的误导不误导，让语言学家掐去吧。一个topic问题，扯了这么多年。)

语言学家打烂仗的事儿多了，说起来这与乔老爷也有很大关系。有个 self，相关的所谓 Binding Theory也是论文无数，大多垃圾，这与老乔的负面影响直接相关。为追求 universal grammar，和脱离语义的generalizations，走火入魔，大多是无谓的口水战争，既不能推进科学，也不能推进应用，唯一的好处是帮助了很多语言学博士的选题，培养出一茬接一茬的语言学博士。可是，毕业了还是找不到工作。老乔由于其超凡的智力和名气，帮助提升了语言学的地位，但他没有能力影响市场，结果是全世界语言学家过剩，懂得茴字五种写法的落魄腐儒，如过江之鲫，谁能给他们就业机会？

这里面的要害在，所有的语言分析，不可能为分析而分析，都是为了求解语义的某种需要，可老乔强调的语法纯粹性，要脱离语义才好研究终极的机制，这个argument有历史的革命意义，有某种学术价值，但非常容易形而上学和片面化，结果是语言学家脱离了目的，脱离了需要，在争论一种分析，或一个模型与另一种的优劣。其实这些相争的方案，只要系统内部相谐，都大同小异，根本就没什么本质区别，而且没有客观的可量度的评判标准，那还不打成一锅粥。

（刘老师：摆脱语义，直接进入语用？）

哪里，乔老爷是要直接进入共产主义，要世界大同。他对语义不感兴趣，更甭提语用。语义在他属于逻辑，不属于严格意义的语言学。句法语义是分割开来的两个范畴，句法必须自制。

（白老师：句法自制是错误的。）

对传统语言学完全不分家的那种分析，老乔有革命意义，也确实推进了结构研究，但凡事都是过犹不及。句法自制推向极端，就是本末倒置，失去方向。

我做博士的时候，在一个小组会上，举一些汉语的例子，作为证据反对一刀切的句法自制，说老乔有偏差，看到的语言事实不够，结果被我导师劈头盖脸批了一通，言下之意，不知天高地厚。我当然口服心不服。

问题是，我一辈子只思考一个问题，只要醒着，头脑里除了语言，就是文法，除了词汇，就是结构，突然有一天觉得自己通达了，看穿了语言学上帝，乔姆斯基。

原来，智商高，不见得离真理近，智者乔老爷，也不例外。

（洪爷：老乔不是上帝，他只是让咱看到来自造物主的理性之光。）

形式语言理论，非人力可为，绝对属于天机，单凭这，乔就是人神。

吐槽乔老爷，一次抱怨完，明儿依旧是偶像。

【后记】

到了我们的年代，俄语退居其后了，所以我本科的二外选的是法语，到研究生才选了俄语做三外，不过全还给老师了。虽然语言是还给老师，体悟到的语言学却长存，所以也不冤。到 30 年后的今天主持 multilingual program，带着参考书，我还一样可以指导法语和俄语的 NLP 研发，语言的不同，换汤不换药也。

不管我怎么批判乔姆斯基，我还是服他到不行：他老人家的威望可以把 Universal Grammar 这种乍听很荒唐的观念，转化成一个让人仰视的语言哲学理念。UG 的真理之光由此不被遮蔽。当然最厉害的还是他的 hierarchy 形式语言理论，那几乎不可能是人的理论，那是上帝之光，尽管乔老爷在描述的时候，不免机械主义，hence 造成了极大的误导。

【相关博客】

巧遇语言学上帝乔姆斯基

泥沙龙笔记：从乔姆斯基大战谷歌Norvig说起 

Chomsky’s Negative Impact

泥沙龙笔记：再聊乔老爷的递归陷阱

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-898036.html

上一篇：Automated survey based on social media
下一篇：米拉围脖：质疑？还是质询？

@王小科Victor

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-804472.html

上一篇：回答一些行星绕太阳运行轨道的话题
下一篇：再谈机器学习和手工系统：人和机器谁更聪明能干？

顺便说一下一人一票的民主制度。几亿人去投票唱票算大数据尺度吧。其实随机剥夺一半，甚至90%，公民的投票权，其选举结果是不变的。注意，我说的是随机，譬如所有姓名以S开头的人都不允许投票。被剥夺投票的人也不用担心，作为人民一分子，大海一滴水，你的那份权利已经被恰当地代表了，结果反正也不会因为你不参与而改变。从结果看，经济上应该这么做，当然没有任何民主政府这么做，因为里面牵涉到公民权利和意识等，不仅仅是结果的问题。

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-753349.html

上一篇：大数据帮助决策实例：《走进“大数据”——洗衣机寻购记》
下一篇：大数据挖掘问答2：会哭的孩子有奶吃

【立委按】刘钢老师来函，邀请我从我的大数据博文系列选辑一篇书面发言，参加社科院哲学所题为“大数据与认识论”的研讨会。盛情难却，更不用说社科院是我老家了。那就把散在科学网博客【社媒挖掘】和【立委科普】专栏的博文中的立委论大数据拼接汇总一下吧。无论国内国外，学界业界，“大数据”都是滚烫的热词。上次愚人节应中文信息学会邀请在软件所做了一个题为【大数据时代中文社会媒体的舆情挖掘】的演讲，科学网编辑还特地录了像，高挂在【科学网公开课】里，与那些世界级大师的讲座并列，与有荣焉，不胜惶恐（倒不是要自我矮化，说自己的大数据工作不在世界水平之列，但科学大讲堂这座庙里请的都是何等人物？面对的是科学殿堂让人高山仰止的大牌科学家和诺贝尔奖得主，在下乃区区一介匠人而已，何德何能，登堂入室）。无独有偶，去年流行大数据，硅谷科学家和工程师举行一系列关于大数据的讨论会，被邀请作为 panelist 参加了两个大数据研讨会，现场问答热烈，气氛很活跃。旅美华人科学家协会最近征集出版了一期大数据专刊，也发表了几篇论文。硅谷的【丁丁电视】也很早就邀请立委在其《创新频道》做一个大数据的科技访谈，一直抽不开身准备，推迟到三月左右。一来二去，俨然是大数据专家了。其实，立委所长不过是大数据之一部，即自然语言的文本挖掘这块儿。而对于大数据的非文本形式（譬如语音、图片、录像、交易数字记录等），对于大数据的云处理手段及其工程架构等，所知十分有限。因此，本文仅仅就自然语言文本挖掘，特别是对近年火热的社会媒体的挖掘，谈一点一己之见，抛砖引玉，供各位参考。

(1) 大数据热的背景

（2）什么是大数据

顾名思义就是强调数据的量，但其实这个概念并不是那样简单。如果单纯论量，大数据不是今天才有的，而且数据的量也是一个积累渐变（当然可能是加速度增长）的过程。

所谓大数据，更多的是社会媒体火热以后的专指，是已经与施事背景相关联的数据，而不是搜索引擎从开放互联网搜罗来的混杂集合。没有社会媒体及其用户社会网络作为背景，纯粹从量上看，“大数据”早就存在了，它催生了搜索产业。对于搜索引擎，big data 早已不是新的概念，面对互联网的汪洋大海，搜索巨头利用关键词索引（keyword indexing）为亿万用户提供搜索服务已经很多年了。我们每一个网民都是受益者，很难想象一个没有搜索的互联网世界。但那不是如今的 buzz word，如今的大数据与社会媒体密不可分。当然，数据挖掘领域把用户信息和消费习惯的数据结合起来，已经有很多成果和应用。自然语言的大数据可以看作是那个应用的继续，从术语上说就是，文本挖掘（text mining，from social media big data）是数据挖掘（data mining） 的自然延伸。对于语言技术，NLP 系统需要对语言做结构分析，理解其语义，这样的智能型工作比给关键词建立索引要复杂百倍，也因此 big data scale up 一直是自然语言技术的一个瓶颈。

大数据也包括声音、 图片和录像等媒体。本文只谈文本大数据。

除了与社会媒体以及施事背景密切相关以外，大数据此时的当红也得力于技术手段的成熟。大数据的存贮架构以及云计算的海量处理能力，为大数据时代的到来提供了技术支撑平台。在此基础上，大数据的深度挖掘才有可能跳出实验室，在具体应用和服务中发挥作用。

大数据时代只认数据不认人。Of course, In God We Trust. But in everything else we need data. 道理很简单，在信息爆炸的时代，任何个人的精力、能力和阅历都是有限的，所看到听到的都是冰山一角。大V也是如此，大家都在盲人摸象。唯有大数据挖掘才有资格为纵览全貌提供导引。

当然，这不是说，大数据挖掘就是完美的解决方案。但是，正如一人一票的民主选举也不是人类社会完美的体制，而只是最少犯错误的机制一样，大数据挖掘比任何其他个人或利益集团的分析，较少受到主观偏见的干扰。这是由大数据本性决定的。

大数据是忽悠么？吆喝多了，烂了，就跟转基因似的，本来是正经的研究，也要被人怀疑是忽悠，甚至骗局。要说忽悠，大数据有没有忽悠？当然有，应该说很多。所有的泡沫都是吹起来的，但特别大的泡沫其所以能被吹起来并且持续，就不仅仅是吹功可为。正如我演讲中说过的，大数据不仅仅是忽悠，一场革命也许在酝酿着。

（3）大数据挖掘技术及其挑战

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-766229.html

上一篇：为什么叫“上”厕所，“下”厨房？
下一篇：从分辨率与精度的话题，到单位和认识论

【置顶：立委科学网博客NLP博文一览（定期更新版）】

薛蛮子的嫖娼事件，由于其社交媒体的高知名度以及主流媒体包括央视的渲染，在网络上传得沸沸扬扬。堂吉诃德曰，鸟大了，什么林子都有，网络世界见怪不怪。甚至有卫护者抱怨薛蛮子空有千万粉丝，居然没有女粉给他送温存，以致老顽童不得不寻花问柳，养成“特殊癖好”。

这些都不当紧，当紧的是我们做媒体自动挖掘的，对热点话题不能放过。热点话题是技术人小试牛刀（或吹破牛皮）的机会。

于是，用自家研发的系统一挖，傻了，难道真是成也嫖娼，败也嫖娼？

See，老顽童的短处（cons，左图）是嫖娼，老顽童的长处（pros，右图）居然是（不）嫖娼（那个小圈圈是远距离否定的一个图示）。另一个长处是“（不）是官吏”，似乎是说，既然不是官吏，也就无需私德无暇，也是常见的替他辩护的一种说法。

到底嫖还是没嫖，这不仅仅是哈姆雷特的天问，这更是语言学的拷问。难道地球人都知道的嫖娼事件，还有广泛流传的他本人供认不讳的视频等，系统居然挖掘出否认事件的情报？吹破大天的语言技术就这么颠倒黑白，歪曲事实？

作为系统设计者，本能的第一反应是，这一定是一个 bug，技术层面的 bug。不管怎么说，挖掘出的反面情报前15中的第一位就是嫖娼，多达 4861 条，占 95.6% 呢，比起否认嫖娼的仅有 44 条的情报，即便44条全抓错（反）了，精确度也远超 90%，还有什么好说的，咱的中文系统就是牛！

虽然这么说，心里还是一个疙瘩。灰色地带的挖掘，不准确也就罢了，这黑白分明铁板钉钉的铁案，如果抓错，是可忍，语言学不能忍。一定要查个究竟，到底是在社交媒体说话的人信口胡说，还是代码化了的中文语言学出了问题？Drill down，看看原句都是怎么样的（见【附录】）。

原来、原来是酱紫的：V大了，什么粉丝都有，一些确实是他的粉丝真滴在矢口否认（“早知道薛蛮子不是嫖娼被抓”，“说薛蛮子嫖娼会有人信吗”，“我认为薛蛮子没有嫖娼”），另一些是以否定或疑问的口气在反讽（“薛蛮子不是嫖娼好吧! 是去为性工作者谋取利益”，“谁说薛蛮子就一定是去嫖娼的? 楼主不要造谣哦, 也许人薛老汉是去买淫呢”：这不是坑我嘛，机器再聪明再语言学，也难琢磨你的言外之意呀），再有就是句子太绕，把如此冰雪聪明的系统也给绕进去了（"薛蛮子就不会嫖娼吗? 薛蛮子嫖娼你怀疑个屁, 除非你能证明他没嫖娼或者他性无能"）。

总而言之，言而总之，检查结果是事出有因。中文系统虽然不完美，却也非常不赖：晚上可以睡个安稳觉了，天下太平。中文是复杂的；语言学是工作的；而工作着是美丽的。

【附录】否认情报的挖掘来源样本（随机）：

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-721104.html

上一篇：小学生“减负”成了一个话题
下一篇：北京富人的郊外生活

上篇博文【科普随笔：NLP的宗教战争？兼论深度学习】匆匆写就发出以后，没想到在新浪微博上一夜间有好几万点击，而平时我在新浪转发的博文最多也不到几千点击。想来一是题目比较花哨（宗教，深层学习，都是容易引起热议的 buzz words），难逃标题党嫌疑；二来内容也容易引起这个领域的争论、不屑或共鸣。

需要说明一句，那篇里面关于深度学习的notes，是信口发挥，各位不要认真，因为对于这样崭新的东西我是老外，是想当然地瞎议论，难免牵强。万一从某个角度让人看出了“道理”，那也纯粹是瞎猫撞死耗子，不足采信。

不过关于NLP过去20年两条路线的宗教式斗争，我和很多同时代人都是亲历者，这方面的每一句话都是有根据、负责任，经过深思熟虑的，有过惨痛的经历或胜利的喜悦。

虽然统计学界有很多对传统规则系统根深蒂固的偏见和经不起推敲但非常流行的蛮横结论（以后慢慢论，血泪账一笔一笔诉 :），但是机器学习的巨大成果和效益是有目共睹无所不在的：机器翻译，语音识别/合成，搜索排序，垃圾过滤，文档分类，自动文摘，知识习得，you name it

摘自【科普随笔：NLP的宗教战争？兼论深度学习】

近来浏览几篇 NLP (Natural Language Processing) 领域代表人物的综述，见其中不乏主流的傲慢与偏见，令人惊诧。细想之下，统计学界的确有很多对传统规则系统根深蒂固的成见和经不起推敲但非常流行的蛮横结论。这些一览众山小的大牛聪明绝顶，居然如此偏见蛮横，可见宗教式思维定势的危害之深，深入骨髓，对青年学子个更是贻害无穷。（主流掌门人中也有有识之士，以后再论。）可怕的不是成见，成见无处不在。真正可怕的是成见的流行无阻。而在NLP这个领域，成见的流行到了让人瞠目结舌的程度。不假思索而认同接受这些成见成为常态。因此想到立此存照一下，以后再一条一条细论。下列成见随处可见，流传甚广，为免纷扰，就不列出处了，明白人自然知道这绝不是杜撰和虚立的靶子。这些成见似是而非，经不起推敲，却被很多人视为理所当然的真理。为每一条成见找一个相应的 crappy 规则系统的案例并不难，但是从一些特定系统的缺陷推广到对整个规则系统的方法学上的批判，乃是其要害所在。

• 【成见一】规则系统的手工编制（hand-crafted）是其知识瓶颈，而机器学习是自动训练的（言下之意：没有知识瓶颈）。

• 【成见二】规则系统的手工编制导致其移植性差，转换领域必须重启炉灶，而机器学习因为算法和系统保持不变，转换领域只要改变训练数据即可（言下之意：移植性强）。

• 【成见三】规则系统很脆弱，遇到没有预测的语言现象系统就会 break（什么叫 break，死机？瘫痪？失效？），开发不了鲁棒（robust）产品。

• 【成见四】规则系统的结果没有置信度，鱼龙混杂。

• 【成见五】规则系统的编制越来越庞杂，最终无法改进，只能报废。

• 【成见六】规则系统的手工编制注定其无法实用，不能scale up，只能是实验室里的玩具。

• 【成见七】规则系统只能在极狭窄的领域成事，无法实现跨领域的系统。

• 【成见八】规则系统只能处理规范的语言（譬如说明书、天气预报、新闻等），无法应对 degraded text，如社会媒体、口语、方言、黑话、OCR 文档。

• 【成见九】规则系统是上个世纪的技术，早已淘汰（逻辑的结论似乎是：因此不可能做出优质系统）。

• 【成见十】从结果上看，机器学习总是胜过规则系统。

   所列“成见”有两类：一类是“偏”见，如【成见一】至【成见五】。这类偏见主要源于不完全归纳，他们也许看到过或者尝试过规则系统某一个类型,浅尝辄止，然后遽下结论（jump to conclusions）。盗亦有道，情有可原，虽然还是应该对其一一纠“正”。成见的另一类是谬见，可以事实证明其荒谬。令人惊诧的是，谬见也可以如此流行。【成见五】以降均属不攻自破的谬见。譬如【成见八】说规则系统只能分析规范性语言。事实胜于雄辩，我们开发的以规则体系为主的舆情挖掘系统处理的就是非规范的社交媒体。这个系统的大规模运行和使用也驳斥了【成见六】。

上述每一条都可以写一大篇或一个系列来详细论证其荒谬蛮横，描述学界主流中存在的傲慢与热昏。可是不用着急，血泪账今后一笔一笔诉 :）

【系列姐妹篇】

【科普随笔：NLP主流最大的偏见，规则系统的手工性】

【科普随笔：NLP主流偏见之二，所谓规则系统的移植性太差】

【科普随笔：NLP主流之偏见重复一万遍成为反真理】

【其他相关篇什】

【科普随笔：NLP的宗教战争？兼论深度学习】

坚持四项基本原则，开发鲁棒性NLP系统

why hybrid? on machine learning vs. hand-coded rules in NLP

《立委随笔：语言自动分析的两个路子》

《朝华午拾：在美国写基金申请的酸甜苦辣》

《立委随笔：机器学习和自然语言处理》

【立委科普：从产业角度说说NLP这个行当】

【置顶：立委科学网博客NLP博文一览（定期更新版）】

原载 《W. Li & T. Tang: 主流的傲慢与偏见：规则系统与机器学习》
【计算机学会通讯】2013年第8期（总第90期）

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-688230.html

上一篇：后发优势的新学科——失败学
下一篇：米拉围脖：不能把底稿给人看

【立委按】鬼子的进村，打枪的不要：立委的北京演讲在【科学网公开课】论坛悄悄地露脸。感谢编辑MM录像、剪辑和整理上网 ，这里面的辛苦只有伊人自己知道。MM来函，要先让讲员过目。说句大实话，除非你是演员出身，或者是久经沙场的 marketer，譬如饶教授、诺奖得主那类超级大牛，像立委这样的的8级码工，看自己的录像纯粹是一场精神折磨。主要是，人长得丑，从小就不爱照镜子，积重难返。后来有了镜子也自己不用，从来都是拿 mirror 照别人。如今看录像就是逼一个怕镜子的人照镜子，那种对自己的不满，恨石不成器，不说也罢。就事论事，首先是太长，近两个小时，成裹脚布了。口音也重（一辈子也没改成）。语速太快，含混不清，还夹杂了太多的发音很不堪的 English。虽然意思基本都传达出来了，但是想来作为听众大概是跟自己一样很受罪的，不熟南方口音的估计不太搞清楚这个委员在说什么。再有就是台风不正，老揉鼻子、扶眼镜，身体晃动太厉害。没治了。不过，透过这些表层，应该可以看到磨难、坎坷、血汗和鸿运，还有一些NLP和大数据的鸟瞰式介绍 -- 如果您有足够耐心的话。感谢热心听众忍受我的口音做出来的 transcript，并允许我校正后在自己博客发表。

【立委大数据演讲公开课】链接：

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-692826.html

上一篇：半导体的单晶硅
下一篇：照镜子的“效果”

由于自然语言的歧义性和复杂性以及社交媒体的随意性和不规范，要想编制一套查准率（precision）和查全率（recall）两项指标综合水平（所谓 F-score）都很高的NLP（Natural Language Processing）系统非常不容易。但是，研发实践发现，自然语言系统能否实用，很多时候并不是决定于上述两个指标。还有一个更重要的指标决定着一个系统在现实世界的成败，这个指标就是系统对于大数据的处理能力，可以不可以真正地 scale-up 到大数据上。由于电脑业的飞速发展，云计算技术的成熟，大数据处理在现实中的瓶颈往往是经济上的羁绊，而不是技术意义上的难关。其结果是革命性的。

在处理海量数据的问题解决以后，查准率和查全率变得相对不重要了。换句话说，即便不是最优秀的系统，只有平平的查准率（譬如70%，抓100个，只有70个抓对了），平平的查全率（譬如30%，三个只能抓到一个），只要可以用于大数据，一样可以做出优秀的实用系统来。其根本原因在于两个因素：一是大数据时代的信息冗余度；二是人类信息消化的有限度。查全率的不足可以用增加所处理的数据量来弥补，这一点比较好理解。既然有价值的信息，有统计意义的信息，不可能是“孤本”，它一定是被许多人以许多不同的说法重复着，那么查全率不高的系统总会抓住它也就没有疑问了。从信息消费者的角度，一个信息被抓住一千次，与被抓住900次，是没有本质区别的，信息还是那个信息，只要准确就成。疑问在一个查准率不理想的系统怎么可以取信于用户呢？如果是70%的系统，100条抓到的信息就有30条是错的，这岂不是鱼龙混杂，让人无法辨别，这样的系统还有什么价值？沿着这个思路，别说70%，就是高达90%的系统也还是错误随处可见，不堪应用。这样的视点忽略了实际的挖掘系统中的信息筛选（sampling）与整合（fusion）的环节，因此夸大了系统的个案错误对最终结果的负面影响。实际上，典型的情景是，面对海量信息源，信息搜索者的几乎任何请求，都会有数不清的潜在答案。由于信息消费者是人，不是神，即便有一个完美无误的理想系统能够把所有结果，不分巨细都提供给他，他也无福消受（所谓 information overload）。因此，一个实用系统必须要做筛选整合，把统计上最有意义的结果呈现出来。这个筛选整合的过程是挖掘的一部分，可以保证最终结果的质量远远高于系统的个案质量。总之，size matters，多了就不一样了。大数据改变了技术应用的条件和生态，大数据 更能将就不完美的引擎。

对于大数据，缺失部分数据也不是大问题，只要这种缺失对于要挖掘的话题或品牌没有针对性。缺失数据的原因很多，譬如，服务器或数据库故障，由于成本考量只取一定比例的样本，还有垃圾过滤系统的误删，当然也有系统本身查全率的不理想，等。总之缺失是常态，而求全则是不现实也是不必要的。大数据追求的是有影响力的信息和舆情动态，而这些原则上都不会因为数据的部分缺失而改变，因为动态和影响力的根基就在信息的高冗余度，而不是大海捞针。重要的是，冗余本身也是情报的题中应有之义。这与同一个情愿诉求为什么要征集成千上万的签名道理一样，至于最终是10万签名还是9万五千人签名了，完全不影响诉求的内容及其整体效应。

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-711780.html

上一篇：On Big Data NLP
下一篇：为什么做大数据的吹鼓手？

民调自动化：实时监测

奥巴马赢了昨晚辩论吗？舆情自动检测告诉你。

技术改变世界，甚至总统

对奥巴马真正具有挑战性的议题有二：一是他在第一任总统期间的经济表现（6:55pm）；二是批判他对中国不够强硬 (7:30pm)。
人气曲线反映了由我们自然语言技术支持的实时舆情挖掘。

《大数据时代的购物策略：洗衣机寻购记（1）》

《大数据时代的购物策略：洗衣机寻购记（2）》

《大数据时代的购物策略：洗衣机寻购记（3）完结篇》

行业品牌自动民调：国际快餐品牌舆情图

 【社媒挖掘：外来快餐店风光不再】

行业品牌自动民调：手机市场品牌对比图

【社媒挖掘：中国手机市场仍处于战国争雄的阶段】

【社媒挖掘：臺灣政壇輿情圖】

【立委名言：民主總統不好玩，當家五年狗都嫌】

【社媒挖掘：臺灣政壇輿情圖】

这是近一周的媒体评价。

【社媒挖掘：第一夫人光彩夺目赞誉有加】

更多的热点话题，见立委科网博客

立委科学网博客有【社媒挖掘】专栏

寻立委博客，请搜索：立委  liwei999

更多立委“创业”故事，见：

【立委科普】【朝华午拾】专栏

【立委名言：傻子过年看隔壁，凡事不决问社媒】

谢谢大家！再祝各位愚人节愉快！

下面是Q&A

 北京演讲幻灯片上网（1/3）

北京演讲幻灯片上网（2/3）

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-677015.html

上一篇：北京演讲幻灯片上网（2/3）
下一篇：长安街白兰花开，夜色如水

有回顾NLP（Natural Language Processing）历史的大牛介绍统计模型（通过所谓机器学习 machine learning）取代传统知识系统（又称规则系统 rule-based system）成为学界主流的掌故，说20多年前好像经历了一场惊心动魄的宗教战争。其实我倒觉得更像49年解放军打过长江去，传统NLP的知识系统就跟国民党一样兵败如山倒，大好江山拱手相让。文傻秀才遭遇理呆兵，有理无理都说不清，缴械投降是必然结果。唯一遗憾的也许是，统计理呆仗打得太过顺利，太没有抵抗，倒是可能觉得有些不过瘾，免不了有些胜之不武的失落。苍白文弱的语言学家也 太不经打了。

自从 20 年前统计学家势不可挡地登堂入室一统天下以后，我这样语言学家出身的在学界立马成为二等公民，一直就是敲边鼓，如履薄冰地跟着潮流走。走得烦了，就做一回阿桂。

NLP 这个领域，统计学家完胜，是有其历史必然性的，不服不行。虽然统计学界有很多对传统规则系统根深蒂固的偏见和经不起推敲但非常流行的蛮横结论（以后慢慢论，血泪账一笔一笔诉 :），但是机器学习的巨大成果和效益是有目共睹无所不在的：机器翻译，语音识别/合成，搜索排序，垃圾过滤，文档分类，自动文摘，知识习得，you name it

甚至可以极端一点这么说，规则系统的成功看上去总好像是个案，是经验，是巧合，是老中医，是造化和运气。而机器学习的成功，虽然有时也有 tricks，但总体而论是科学的正道，是可以重复和批量复制的。

不容易复制的成功就跟中国餐一样，同样的材料和recipe，不同的大厨可以做出完全不同的味道来。这就注定了中华料理虽然遍及全球，可以征服食不厌精的美食家和赢得海内外无数中餐粉丝，但中餐馆还是滥竽充数者居多，因此绝对形成不了麦当劳这样的巨无霸来。而统计NLP和机器学习就是麦当劳这样的巨无霸：味道比较单调，甚至垃圾，但绝对是饿的时候能顶事儿, fulfilling，最主要的是 no drama，不会大起大落。不管在世界哪个角落，都是一条流水线上的产品，其味道和质量如出一辙。

做不好主流，那就做个大厨吧。做个一级大厨感觉也蛮好。最终还是系统说了算。邓小平真是聪明，有个白猫黑猫论，否则我们这些前朝遗老不如撞墙去。

就说过去10多年吧，我一直坚持做多层次的 deep parsing，来支持NLP的各种应用。当时看到统计学家们追求单纯，追求浅层的海量数据处理，心里想，难怪有些任务，你们虽然出结果快，而且也鲁棒，可质量总是卡在一个口上就过不去。从“人工智能”的概念高度看，浅层学习（shallow learning）与深层分析（deep parsing）根本就不在一个档次上，你再“科学”也没用。可这个感觉和道理要是跟统计学家说，当时是没人理睬的，是有理说不清的，因为他们从本质上就鄙视或忽视语言学家 ，根本就没有那个平等对话的氛围（chemistry）。最后人家到底自己悟出来了，因此近来天上掉下个多层 deep learning，视为神迹，仿佛一夜间主导了整个机器学习领域，趋之者若鹜。啧啧称奇的人很多，洋洋自得的也多，argue 说，一层一层往深了学习是革命性的突破，质量自然是大幅度提升。我心里想，这个大道理我十几年前就洞若观火，殊途不还是同归了嘛。想起在深度学习风靡世界之前，曾有心有灵犀的老友这样评论过：

To me, Dr. Li is essentially the only one who actualy builds true industrial NLP systems with deep parsing. While the whole world is praised with heavy statistics on shallow linguistics, Dr. Li proved with excellent system performances such a simple truth: deep parsing is useful and doable in large scale real world applications.

我的预见，大概还要20年吧（不是说风水轮流转20年河东河西么），主流里面的偏见会部分得到纠正，那时也不会是规则和知识的春天重返，而是统计和规则比较地和谐合作。宗教式的交恶和贬抑会逐渐淡去。

阿弥陀佛！

【相关篇什】

【立委随笔：文傻和理呆的世纪悲剧（romance tragedy）】

[转载]ZT: 2013突破性科学技术之“深度学习”

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-687627.html

上一篇：解读“独立之精神、自由之思想”
下一篇：【科普笔记：没有语言结构可以解析语义么？（之二）】

                                  

褒贬分析只提供舆情的一个概览，它本身并不是 actionable insights.  知道很多人喜欢或者不喜欢一个品牌，so what？企业还是不知道怎么办，最多是在广告宣传投资量的决策上有些参考价值，对于改进品牌产品，适应用户需求，褒贬舆情太过抽象，不能提供有价值的情报。这就要求舆情分析冲破两分、三分、五分的分类法，去发掘这些情绪的背后的动因（reasons/motivation），回答为什么网民喜欢（不喜欢）一个品牌的问题。譬如挖掘发现，原来喜欢麦当劳的主要原因是它发放优惠券，而不喜欢它的原因主要是嫌它热量太大，不利减肥。这样的舆情才是企业在了解自己品牌基本形象以后，最渴望得到的 actionable 情报，因为他们可以据此调整产品方向（如增加绿色品种和花样，水果、色拉等），改变广告策略（如强调其绿色的部分）。

摘自【立委科普：舆情挖掘的背后】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-662101.html

上一篇：不错的话题——对技术社会价值的评价
下一篇：什么是分子？As2O3是个啥模样？

【置顶：立委科学网博客NLP博文一览（定期更新版）】

科学网编辑MM也有走眼的时候

立委名言：阿基米德说，给一个支点，我将翘起地球。今天的NLP技术官僚和工程师们可以说，给我一片云，一片足够大的云，我将鸟瞰整个儿信息世界。

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-630930.html

上一篇：讲究的各类瓶子
下一篇：《OVERVIEW OF NATURAL LANGUAGE PROCESSING (1/5)》 by Wei Li

安娜是个很可爱的俄罗斯上进女青年，从小弹钢琴跳芭蕾，小学没毕业即随父母移民美国。她身材高佻，曲线优美，性情温和，举止得体，善解人意，给人一种古典但不古板，现代却不俗艳，阳光而浪漫的印象。大家知道，虽然俄罗斯大嫂大多偏胖粗线条，但俄罗斯姑娘却多有迷人的风采，老帮菜耳熟能详念念不忘的就有钢铁怎样炼成里面的资产阶级小姐冬妮亚，芭蕾舞天后乌兰诺娃，风华绝代的花样滑冰艺术家 Ekaterina Gordeeva。安娜也是这样一位俄罗斯女郎，每天就在身边，给满屋大多是 boys 的办公室带来了温馨柔和的气息。自然地，大家都喜欢她。

然而，安娜辞职了，很快就要离开，大家都舍不得。我心里也不是滋味,想到午餐时不再有她的说说笑笑，餐后也不能邀她打乒乓球了，失落落的。我问她一定要离开么，你不是说很喜欢这个环境么？You know this office is already too crowded with boys, and we are trying to change this situation, trying to find some girls with affirmative action, and you are leaving?

她回说，我喜欢这个环境，是因为在这里我接触的都是你这样的世界上最聪明的人，因为你们太聪明了，结果我的发展道路堵死了，只好痛下决心离开了，我还是去 consulting company 做我擅长的分析工作去吧。两年来，我亲眼目睹我的20小时的人工怎样被你的20秒的全自动搜索所替代，而且结果往往比人工更好更全更有一致性。

她说的不假。确实是技术的转移抢走了她的饭碗，但公司不想辞她，决定让她转型做在线客户服务，可她思前想后，觉得年轻轻不能放弃自己的专长，只好决定离开了。

作为技术带头人，她的离开与我直接相关。这是一个活生生的机器取代人工的例子。

两年前我加入公司的时候，公司基本上是一个 professional service 类型的公司，虽然也开发了一个内部使用的系统，但系统的输出只是缩小了人工范围，必须有长时间的后编辑，手动增删修补，分析归纳，才能提供给客户。编辑人员我们称为信息分析员，要求语言能力强，阅读理解一目十行，并具有分析综合的技能。安娜就是信息分析员中的佼佼者。经她过手的分析报告，客户特别满意。

可是公司需要成本核算。核算的结果是，肉工可以，要适度，否则入不敷出，是亏本买卖。当时平均每个搜索分析的订单需要肉工22小时方能完工，这22小时叫做 pain time (既是分析员的pain, 更是公司的pain)。要想赚钱，理想的 pain time 支出需要控制在两个小时之内，在当时有点天方夜谭。老板找我谈的时候，就把它定为主要目标，但并没有设置时间限度，因为没有人知道其可行性以及达成这样的目标需要多少资源。我自己也不明白，只是感觉到了这个重担。我以前做过的工作，都是先研究，后做原形引擎，然后寻找应用领域，最后开发产品。而这家公司与多数技术创新公司截然相反，它是先有客户，后有粗糙的引擎，最后才引进人才和技术，把希望寄托在技术的快速转移身上。这条路子让我觉得新鲜和刺激，觉得可以试一下，我的技术转移技能能不能如鱼得水，发挥出来。先有客户和应用领域的好处是显而易见的，就向搞共产主义有了遵义会议的明灯一样，省却了在黑暗中的漫长摸索。道路是光明的，就看路怎样走才能赚钱了。

长话短说。我上马以后，三个月把系统的核心部分替换了，半年下来结果明显改善，到一周年的时候，肉工的痛苦时间已经缩短到两小时以下，老板喜不自禁。

人心不足蛇吞象，老板告诉我，Wei,你知道，你的技术给我们的业务带来了革命性变化。我们的立足已经不成问题，只要我们愿意，维持一个机器加人工的服务，发展成年入几千万的企业指日可待。但是，只要有人工，就不能 scale up, 赚钱就有限，盘子就做不大。我知道你是有雄心的人（我心里说，子非鱼），肯定不满足小打小闹。不管多大风险，我们还是决定放弃这条道路，而走全自动的路子，让系统可以服务所有的分析客户，而不是只供我们内部人工（安娜这样的）或者需要专门训练的 power users 使用。我们的目标是让世界上每个分析员都离不开我们，就如大家离不开Google一样。为此，我们必须做到 pain time  为零，这是着险棋，但是前景不可限量。

好家伙，这个口气，就梦想称霸全世界了。美国是个很有意思的地方，这方水土盛产百折不挠，心比天高的企业梦想家。但美国并非梦想家的乐园，95％的梦想家牺牲了，不到5％得以生存，其中不过1％最终做大，真正是一将功成万骨枯。虽然如此，美国造企业梦想家仍然前赴后继，生生不息。我其实很喜欢这些梦想家，他们的坚韧豪情很感染人。

一年又过去了。我们实现了在一个主要分析领域完全铲除痛苦时间的目标（pain time 0），把搜索分析从两年前的22小时人工，发展成为如今的20秒钟全自动立等可取，无需任何人工编辑。

得之桑榆，失之东隅, 两年的奋战取得了超出所有人预料的成就，但同时也失去了一位可爱的俄罗斯女郎。

【二次创业笔记】 记于2008年四月

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-634076.html

上一篇：【创业故事：技术的力量和技术公司的命运】
下一篇：【欢迎你，丰田油动混合车 V】

Big data 与 云计算一样，成为当今 IT 的时髦词 （buzzword / fashion word). 随着社会媒体的深入人心以及移动互联网的普及，人手一机，普罗百姓都在随时随地发送消息，发自民间的信息正在微博、微信和各种论坛上遍地开花，big data 呈爆炸性增长。对于信息受体（人、企业、政府等），信息过载（information overload）问题日益严重，利用 NLP 等高新技术来帮助处理抽取信息，势在必行。

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-628017.html

上一篇：回答一个压力的问题
下一篇：需要有些靠谱的思考。而“科普”往往是不靠谱。

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-523130.html

上一篇：孩子对圣诞老人的评价
下一篇：专业老友痛批立委《迷思》系列搅乱NLP秩序，立委固执己见