【生涯花絮：1989年的老照片】

1989 年荷兰董老师、立委访问 BSO 机器翻译组，组长 Witkam 请客并合影

董振东老师翻出来一张老照片，让我想起往事。说话快30年了。1989，我不过是刚入行两年的初生牛犊，而董老师已经完成了中国第一个实用MT【译星】产品的研发，风华正茂。

“出道之初的上世纪80年代，我为一家荷兰的多语机器翻译BSO项目，参照英文依存文法，设计过一个【中文依存文法】（Li, W. 1989. “A Dependency Syntax of Contemporary Chinese”, BSO/DLT Research Report, the Netherlands），概括了几乎所有的重要句型，纸上谈兵地画过无数的中文依存关系句法树。那应该是中文依存关系形式化研究的真正开拓期，如此说来 yours truly 也可以算是中文处理研究的化石级元老了。现在回看当年的图画，对照最近在机器上实现的依存句法分析器（dependency parser），一脉相承，感慨万千。年轻时就有绿色的梦，那么喜欢树，欣赏树，着迷画树，好像在画天堂美景一样体验着绿之美，梦想某一天亲手栽培这颗语言学之树，为信息技术创造奇迹。如今终于看到了实现的曙光，天时地利人和，研发的辛苦与享受已然合一，这是何等美妙的体验。” 摘自《中文之心，如在吾庐》

“1989年夏天，我和导师刘倬去德国慕尼黑应参加第二次国际机器翻译最高级会议。此前，我跟荷兰BSO（Buro voor Systeemontwikkeling BV）公司的机器翻译研究组一直有联络，应约为他们的以世界语作为媒介语的多语机器翻译系统 DLT，编写了一部现代汉语依从关系的形式句法。他们听说我们要来欧洲，就邀请我和我的导师，还有中国机器翻译界知名人物董老师，会后顺道访问他们的实验室一周，做学术交流，共同讨论汉语句法里的一些疑难问题。这次活动，他们称作 Chinese Week.

“我们是应慕尼黑机器翻译峰会的召集人，西门子公司的S先生特邀，提交论文，介绍我们的JFY英汉系统。这是我第一次出国，一切陌生而新鲜。大会在大酒店的拱圆形讲演大厅举行，气派豪华。我的导师是俄语出身，所以派我上台宣讲论文。初生牛犊不怯场，我报告完后，回答了两个问题下场，正赶上中场休息时间。大概东方面孔的报告人很少，慕尼黑电台的记者现场采访了我，询问我的观感，还好没有涉及64的问题（当时64刚过，风声很紧，我们办到一半的出国手续，又重新审查一遍，险些泡汤）。

“游览阿姆斯特丹后，我们按计划去Utrecht的BSO公司访问一周。DLT 项目研究组十几个人，一半是语言学家，一半是工程师，看得出来，这是个气氛融洽的团队。德国世界语者 Klaus Schubert 博士是系统枢纽“依存关系句法”（dependency grammar）的设计人，在项目第二阶段继 Witkam 成为项目组长。71届大会后招进来的美国世界语者 Dan Maxwell 博士，负责东方语言的句法项目的承包、质询和验收，是我的直接领导（十年河东，十年河西，后来我成为他的 boss，这是后话，见《朝华午拾：水牛风云》）。Dan一看就是老实人，照顾我们客人殷勤有加。我看到他早上骑自行车来上班，笑着跟他说：“我在北京上班跟你一样”。

“研究组的骨干还有国际世界语协会的财务总监，知名英国籍世界语者 Victor Sadler 博士，我在71届国际世界语大会上跟他认识。作为高级研究员，他刚刚完成一项研究，利用 parsed （自动语法分析）过的双语对照的语料库(BKB, or Bilingual Knowledge Base)的统计信息，匹配大小各异的翻译单位（translation unit）进行自动翻译，这一项原创性研究比后来流行的同类研究早了5－10年。显然，大家都看好这一新的进展，作为重点向我们推介。整个访问的中心主题，仍然是解答他们关于汉语句法方面一些疑难问题。他们当时正在接洽欧洲和日本的可能的投资人，预备下一步大规模的商业开发，汉语作为不同语系的重要语言，其可行性研究对于寻找投资意义重大。

“期间，Victor以世界语朋友身份，请我到他家吃晚饭。他住在离公司不远的一栋公寓里，太太来开门，先跟丈夫轻吻，然后招呼我进来。太太也是世界语者，忘了哪国人了，总之是个典型的世界语之家，家庭用语是世界语。Victor告诉我，太太实际上会一些英语，但是用英语对她不公平啊。太太很和善，跟我说，他们俩非常平等，她做饭，Victor洗碗。我说，这跟我家的分工一样，我最爱洗碗这种简单劳动。她笑着说，“Victor, vi havas helpanton hodiau (你今天有帮手了)”。饭后Victor洗碗，并没有让我插手，我站在旁边陪他聊天，一边看他倒进大把的洗涤液，满是泡沫把餐具拿出来，用干布擦干。我告诉他们，这跟我的做法不同，我们总是怀疑化学制品有毒或副作用，最后必须用清水涮净才好。太太不解地问：“洗涤液如果有毒，厂家怎么能生产呢？” 这倒把我问住了。Victor夫妇和蔼可亲，我感觉在老朋友家一样，饭后一边吃甜点和水果，一边闲聊，尽兴而归。” 摘自《朝华午拾：欧洲之行》

30多年前，我在社科院硕士报考专业上填写了“机器翻译”四个大字，内心充满了敬畏和神秘感。刚入行的时候做的是外汉机器翻译，一直不大敢碰汉外，原因是汉语语法不好形式化，感觉太难了。

把酒话桑麻，再泡一壶茶，白头老机译，闲坐说研发，说一点儿机器翻译的掌故吧。曾几何时，机器翻译处于手工业研发时期，每个语言对（language pair）要手工开发两套系统，A 到 B 一套，B 到 A 一套，语言对一多就有一个类似系统数组合爆炸的问题。于是，怎样实现多套语言之间的相互翻译成为机器翻译领域的经典话题之一。各种探索和方案都有提出，主要有两类：一类是所谓基于媒介语的设计思想；另一类是合一文法（unification grammar，又叫 constraint－based grammar）支持的方案。第一种方案很动听，因为如果有一种比较中性可以表达意义的媒介语，那么每个语言只要编制两套针对媒介语的互译系统，就可以实现通过媒介语而成的任意语言对的翻译。这幅图画是如此美妙，为老一辈机器翻译宣传家门所津津乐道。由此而来又引发了媒介语设计和选择的种种争论和探索，有主张全新设计一套基于逻辑的形式语言（日本曾经联合亚洲其他国家实施过这个方案），有主张利用或者改造世界语（Esperanto，立委出道当年也曾著文鼓吹过世界语作为媒介语，荷兰一家公司BSO也曾尝试过），还有研究者坚持认为只有采用自然语言（譬如英语，或者简化版英语）做媒介语才现实可行。第二类合一文法的研究在理论上也很诱人，它的兴起伴随着新型计算机语言 Prolog 问世：合一运算是 Prolog 语言的内置特性。所谓合一文法，就是排除蕴含在传统计算文法（computational grammar）里面的语言分析和生成的过程性，在合一文法的旗下出现过一系列以后缀G（gammar）命名的形式化系统方案（formalisms），如 GPSG，HPSG（立委的博士课题就是在HPSG这个框架下做的机器翻译实验）等。因为语言规则不再具有单向性，那么分析文法和生成文法就可以是同一套语法，由这套文法支持的系统是做分析还是做生成，是在文法资源被调用的时候才得以确定。理论上，A 语言翻译为 B 语言，与 B 语言翻译为 A 语言，在语言资源上归一以后，开发系统的工程就节省了一半，对于多语互译的效率虽然不如媒介语方案高，省工一半也还是非常诱人的。长话短说，这两类方案都是传统的基于规则的系统，虽然都做过相当程度的研究探索，但最终由于局限于手工规则系统难以 scale up 而没成大气候，最终修成正果的还是后起的统计型机器翻译（statistical MT）。多语翻译的问题因此转化为海量双语对照语库的资源问题。同一个架构和算法，原则上只需要同一个双语对照语库对互译的两个方向训练两次即可生成两套机译系统，近几年也有对于缺乏对照翻译数据的语言对，通过语料更丰富的语言作为媒介语绕个弯的做法。

机器翻译（MT）是自然语言处理（NLP）领域历史最悠久的应用方向，从上个世纪50年代初发轫，承载了中外几代不知道多少人的青春和梦想，也包括青年时代的立委。如今，梦想化为现实，嵌入式机器翻译在互联网无孔不入，已经成为普罗大众手中招之即来挥之即去的便捷工具，每时每刻在默默服务着千百万互联网用户。女儿学汉语用它，学西班牙语用它，去日本动漫网页也用它，用到对它熟视无睹，把机器翻译视为理所当然。只在翻译错得离谱的时候才意识到它的存在，不时报以嘲讽：真笨。可机器翻译呢，谦谦君子，玉树临风，虚怀若谷，任劳任怨。对于已经天然成为女儿这代人生活一部分的机器翻译，我满腹机器翻译的历史和掌故，却不知如何给她诉说。耳濡目染，她从我断续的话语中似乎隐隐觉得机器翻译对于她父亲的一生具有特别的意义，可是我还是无法象对同辈人那样娓娓道来，如数家珍，传达出我内心深处的机器翻译所蕴含的那份厚重和神圣。不仅仅是一般意义上的代沟，是技术的跨越式发展造成了两代人迥然不同的视角，让人欣慰更感慨。摘自《机器翻译万岁》

“学自然语言的人如果入行做的就是规则机器翻译，那是上天的赐福。新一辈这种人没有了，所以很多入行多年的人，看到的语言世界，还是一线天。如果你在没有平台支持下被逼着去做规则机器翻译，你有福了。你必须从头开始做词典、做 tokenization，做 POS，做短语，做 SVO 句法，你还要做双语结构转换、WSD 词义消歧，最后还有目标语的生成，包括形态生成、调序，修辞上的一些 final touches。总之，从语言分析到语言生成，方方面面你必须全部做到。如果没有平台没有专用语言像我们做硕士论文那样用 general purpose language （COBOL，ALGOL，BASIC，甚至汇编）做，那就是在太上老君八卦炉里炼，没得不炼成火眼金睛。现在的 CL 硕士博士呢，动不动就下载一个软件包，瞅准一个子任务譬如切词，譬如 sentiment，譬如WSD，哪怕是做 MT，也不用涉及那么多的层次和模块。

“索性把怀旧进行到底《朝华午拾：一夜成为万元户》：这是我为这个DLT项目所做的 Chinese Dependency Grammar 的故事。这篇汉语形式文法的原始版本有链接可以下载：Li, W. 1989. “A Dependency Syntax of Contemporary Chinese”, BSO/DLT Research Report, the Netherlands. 我的工作应该是中国做依存关系最早最完整的作品了。所谓【美梦成真】就是这么个来历，跨越近 30 年，纸上谈兵的 syntax 终于化为现实的 deep parser。刚才一边吃晚饭，一边琢磨这段MT外传，觉得还是有几点可以总结的，笔记如下。
（1）荷兰这个多语 MT 计划本来是规则系统起家，用世界语作为媒介语，用的是依存关系文法的框架，实现的机制是 ATN （Augmented Transition Network），技术领头是德国语言学家舒伯特。
（2）可是做着做着，剑桥出身的 Victor 博士想出了统计的路线，定义了一个在句法分析基础上、根据统计和记忆决定的可大可小的 Translation Unit （有点像我们用的“句素”的概念），做了实验验证了这条路线的创新，把整个项目在收尾阶段翻了个个儿。而这时候（1989年），其他的MT研究虽然也有 IBM 等开始的统计 MT，但没有一个达到这样的深度。
（3）事实上，直到今天，回顾这个科研创新可以看出，根据 parsed 以后的双语数据库的平行对比，从统计去找 Translation Units，比起后来多数缺乏结构、本质上是 ngram 记忆的 SMT，还是远高出一筹。（当然现如今的深度学习对MT的革命性推进，虽然仍然没有利用显式的语言结构，但真正海量数据的深度学习似乎有效弥补了结构的不足，不像此前的 SMT 那样捉襟见肘。）
（4）在 SMT 中加入 parsing 并不是每个人都有这个条件，DLT 赶巧是先做 parser 做了四五年，有了这个基础。现在和今后的方向从宏观上来看是，SMT和NMT 可以重温类似 BKB 双语parsed平行语料库的尝试，走带入结构的道路。深度神经是一种训练的算法，与语言的结构深度没有必然联系。事实上迄今为止对于 text NLP 的深度神经的尝试，除了专门做中间件 parsing 的 research 如 SyntaxtNet 外，对于 NLP 应用方面的任务，基本上还是在语言浅层端对端进行。” 摘自《河东河西》