微信最近疯传人工智能新进展：谷歌翻译实现重大突破！值得关注和庆贺。mt 几乎无限量的自然带标数据在新技术下，似乎开始发力。报道说：
十年前，我们发布了 Google Translate（谷歌翻译），这项服务背后的核心算法是基于短语的机器翻译（PBMT:Phrase-Based Machine Translation）。
自那时起，机器智能的快速发展已经给我们的语音识别和图像识别能力带来了巨大的提升，但改进机器翻译仍然是一个高难度的目标。
今天，我们宣布发布谷歌神经机器翻译（GNMT：Google Neural Machine Translation）系统，该系统使用了当前最先进的训练技术，能够实现到目前为止机器翻译质量的最大提升。我们的全部研究结果详情请参阅我们的论文《Google`s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation》。
几年前，我们开始使用循环神经网络（RNN：Recurrent Neural Networks）来直接学习一个输入序列（如一种语言的一个句子）到一个输出序列（另一种语言的同一个句子）的映射。其中基于短语的机器学习（PBMT）将输入句子分解成词和短语，然后在很大程度上对它们进行独立的翻译，而神经机器翻译（NMT）则将输入的整个句子视作翻译的基本单元。
这种方法的优点是：相比于之前的基于短语的翻译系统，这种方法所需的工程设计更少。当其首次被提出时，NMT 在中等规模的公共基准数据集上的准确度，就达到了可与基于短语的翻译系统媲美的程度。
自那以后，研究者已经提出了很多改进 NMT 的技术，其中包括模拟外部对准模型（external alignment model）来处理罕见词，使用注意（attention）来对准输入词和输出词 ，以及将词分解成更小的单元应对罕见词。尽管有这些进步，但 NMT 的速度和准确度还没能达到成为 Google Translate 这样的生产系统的要求。
我们的新论文描述了怎样克服让 NMT 在非常大型的数据集上工作的许多挑战、如何打造一个在速度和准确度上都足够能为谷歌 用户和服务带来更好的翻译体验的系统。
来自对比评估的数据，其中人类评估者对给定源句子的翻译质量进行比较评分。得分范围是 0 到 6，其中 0 表示「完全没有意义的翻译」，6 表示「完美的翻译」。
............
使用人类评估的并排比较作为一项标准，GNMT 系统得出的翻译相比于之前基于短语的生产系统有了极大提升。
在双语人类评估者的帮助下，我们在来自维基百科和新闻网站的样本句子上测定发现：GNMT 在多个主要语言对的翻译中将翻译误差降低了 55%-85% 甚至更多。
今天除了发布这份研究论文之外，我们还宣布将 GNMT 投入到了一个非常困难的语言（汉语-英语）的翻译的生产中。
现在，移动版和网页版的 Google Translate 的汉英翻译已经在 100% 使用 GNMT 机器翻译了——每天大约 1800 万条翻译。GNMT 的生产部署是使用我们公开开放的机器学习工具套件 TensorFlow 和我们的张量处理单元（TPU：Tensor Processing Units），它们为部署这些强大的 GNMT 模型提供了足够的计算算力，同时也满足了 Google Translate 产品的严格的延迟要求。
汉语到英语的翻译是 Google Translate 所支持的超过 10000 种语言对中的一种，在未来几个月，我们还将继续将我们的 GNMT 扩展到远远更多的语言对上。
from 谷歌翻译实现重大突破！
作为老机译，不能不被吸引。准备小试一下这最新版的谷歌神经翻译。
此前试过谷歌在线翻译，总体不如百度，可现如今说汉语mt已经很神经了：深度神经，接近人类。我有几百篇待译 正好一试，先试为快。期待谷歌的神译。
董:
@wei 但愿不致让你失望。我曾半开玩笑地说：规则机译是傻子，统计机译是疯子，现在我继续调侃：神经机译是“骗子”（我绝不是指研发者）。语言可不是猫脸或马克杯之类的，仅仅表面像不行，内容也要像！
我：现在是见证奇迹的时刻：
The automatic speech generation of this science blog of mine is attached here, it is amazingly clear and understandable. If you are an NLP student, you can listen to it as a lecture note from a seasoned NLPer (definitely clearer than if I were giving this lecture myself with my strong accent). More amazingly, the original blog was in Chinese and I used the newest Google Translate claimed to be based on deep learning using sentence-based translation as well as character-based techniques. My original blog in Chinese is here, you can compare:【立委科普：自然语言系统架构简说】。
董老师，您是知道我的背景和怀疑的。但是，面对这样的进步，这种远远超出我们当初入行的时候可以想象的极限的自动翻译质量和鲁棒性，我们不得不，不得不，不得不叹服。
董:
用他们的术语叫“less adequate，but more fluent”。机译已经历了三次paradigm shift，当人们发现无论如何它只能是一种很好的信息处理工具，而无法取代人类翻译时，那就选取代价较少的。
我:
无论如何，这个小小的测试让我这个老机译有点瞠目结舌。还没有从这种冲击回过味来。当然，赶巧我测试的是正规文体，谈的又是电脑和NLP话题，肯定在语料库的涵盖范围内，撞上枪眼了。可比起此前我使用的前神经时代的谷歌SMT和百度SMT，这个飞跃式突破还是让人惊异的。向我们的神经同行致敬。这是一批绝顶聪明的疯子。
毛老，这是我对谷歌最近的 claim 的一个反馈。上次对他们的 parser 嘲笑了一通，这次对他们用同样技术带来的MT的突破，表达一下深深的敬佩。这种 contrast 不是我神经了，或分裂了，而是在 parsing，他们苦于没有自然带标数据，巧妇难为无米之炊，因此无法跟符号逻辑派比试。可是 MT 不同，几乎有无穷无尽的自然带标数据（人的翻译从来没有终止过，留下的对照译文浩如烟海）。
毛: @wei 这就是说，你服了基于神经元的MT，改变了自己的见解和主张？
我: 我服了，但没真地改变。
毛: 怎么说？
我:
无论多少门户之见，基本事实总应该看清吧。听一下上面列出的他们的 SMT 翻译，其流利程度和对我原文的忠实程度，已经超过了一个普通的人做翻译。因为一个口译如果不懂我这一行，我如果拿着这个讲稿讲课，让这样的 average interpreter 做现场翻译，他是比不过机器的，无论信还是达。（翻译高手不论。）这一点不得不服。另一方面，我以前说的，神经再深度，我看不出它在今后几年内可以赶上我的深度 parser，这一点还没改变。尤其是应对不同 domains 和 genres 的能力，他们不可能做到。因为在自然世界里面，没有带标的句法树，有的只是线性句子。而迄今看到的突破都是有监督的深度学习（supervised learning），离开海量带标数据（labeled data）就抓瞎了。
毛: 我被你弄糊涂了。你究竟是说哪一派强哪？@wei 究竟谁是世界第0？
我: parsing 我是第0，谷歌赶不上。MT 谷歌有重大突破，估计符号逻辑派的 MT 的日子不好过。
毛: 我问的是，MT谁是第0，不管用什么方法。
我: 这不是说，MT 规则系统就没有活路了，但是总体而言，SMT（statistical MT）占据上风的 trends 还在增强。
云: THKS. 我来试试能不能翻译我写的公司白皮书？
我:
你要是加一点译后人工编辑的话，我估计会很好的。再不要傻傻地从头请人工做翻译了。翻译公司如果不使用 MT 做底，将会被淘汰，成本上看很难存活。
董:
学习上，初二是一个分水岭，学科数量明显增多，学习方法也有所改变，一些学生能及时调整适应变化，进步很快，由成绩中等上升为优秀。但也有一部分学生存在畏难情绪，将心思用在学习之外，成绩迅速下降，对学习失去兴趣，自暴自弃，从此一蹶不振，这样的同学到了初三往往很难有所突破，中考的失利难以避免。
Learning, the second is a watershed, the number of subjects increased significantly, learning methods have also changed, some students can adjust to adapt to changes in progress, progress quickly, from the middle to rise to outstanding. But there are some students there is fear of hard feelings, the mind used in the study, the rapid decline in performance, loss of interest in learning, self-abandonment, since the devastated, so the students often difficult to break through the third day,
毛: 这翻译没什么好呀？
我:
要的就是这句话 🙂 @毛，需要一个对比，才能回答你的问题。
毛: 那就拿你的出来比比？
我: 我早就不做 MT 了，我是逃兵。近20年前，我就转移到信息抽取 IE（以及sentiment）挖掘了，这方面我有底气，不怕比。
我: thanks 似乎评论得比较中肯。对于口语现在肯定还不行，它的训练集一直对口语 cover 的很不够。以前测过，有些常用的简单的口语表达也弄错。不知这次这方面加强多少。
董老师上面给的那段谷歌翻译的段落，毛老说翻译不咋样。不过我做过MT多年，知道达到这一步其实是有很大进步的。以前的汉译英的不可读，到现在读起来大体能听得懂。这里面有很多的进步值得留意。
刘: @wei 转一个: 话说大数据干的一些事属于人工智能操练（不能用“研究”这词了）的范畴吗，那本来不就是传统计算机系的人干的？动不动嘲笑每开掉一个语言学家就往前多走几步这眼界太浅了
马: 在数据充足的领域，这几年DL方法都突飞猛进，我认识的好几个以前对DL有偏见的都多少改变了看法。在IR领域DL还基本不见功效，但也在慢慢渗透中。
毛: 不认同“传统计算机系”这个话。计算机系应该跟着实践走，而不是反过来。
董:
NMT的关键是个“像”。于是出了一个有时不懂原文的人以为翻的很顺溜。没了信的翻译，不就成骗子了吗？如何知道自己的翻译是满拧了?这也是NMT的死穴。
马: 董老师，我觉得统计方法都有这个死穴
我:
寸有所长尺有所短，这也不奇怪。我今天自己听这个对我的blog的翻译已经三篇了，一步一叹。NND 咋这么溜呢。找碴子 找翻译错 总是有的。可是人也有译错啊。从可懂度和流畅程度看，我反正是服了。而这发生在没有亲属关系的两个语言之间。
董:
想当年有的领导干部对我说，“其实机器翻译只有百分之50的正确性，也不要紧，问题是你能不能把那个一半告诉我，我可以找人专翻那部分。”我回答说我做不到。从那时起我一直在关注这个问题。直到如今很多人在叫嚷要取代人工翻译了。这真有点像有了麦当劳就说不要法式大餐了一样。何况机译还做不到麦当劳。计算机、以致机译是上帝给人类玩的，上帝没有给人类那种可以复制自己的本领。
洪:
我的观点很简单：
影子不能三维变。
人若二维非压扁，
自叹弗如影子前。
人工智能影子般，
随人活动数据攒。
深度学习模型建，
类似皮影戏好玩。
董:
是的。我曾对照过10多本英国名著，曾经发现有一本译著明显的是译者故意大段大段地漏译的，那里面有太多的花草等，估计大师懒得查。就不译了。
为什么GNMT首先选择的语言对是汉英，而不是英汉？这是非常精明的。人工翻译即使错了或漏了，译文通常会是顺溜的，至少绝不会像传统的机译那样有傻又疯的，诘屈聱牙的，而这正是NMT的特点，它挑选的是译文中最大相似的。那样一来广大的英语读者，多数不懂中文，就容易被它“唬住”了。
我：
对。仔细看来，这次“突破”是达有余而信不足，矫枉过正了。
但一切才刚开始。我可以理解做NMT的人面对突破的欣喜心情。
洪:
伟爷久玩nlp，
一直孤傲头不低。
今朝服膺叹奇迹，
深度神经已皈依！
我:
皈依还不至于，也不够格。赞佩是由衷的，希望今后有合作的机会，取长补短，达成共赢。人家要是看不上咱呢，咱就单干。deep parsing 是 NLP 的皇冠。神经 parsing 何时全方位超过在下，咱就退休。现在仍然觉得，照这个标准，估计这辈子也退休不了。但愿自己错了，可以提早周游世界。
【相关】
