李：刘群老师转了一篇好文：The Bitter Lesson ，机器之心翻译过来了，《AI先驱Rich Sutton：利用算力才是王道，人工智能一直在走弯路》
是以历史事实对符号AI和规则NLU的批判。人的方式就是符号逻辑：这样比较舒服，容易理解。但是面对依赖蛮力（算力）的海量搜索和海量学习，符号逻辑显得单薄。无论多么 bitter，历史事实（speech，vision，MT）很难回避，不得不承认。剩下的问题集中在：
1. 可解释性/可定点纠错性
这是不是蛮力/算力的死结？符号逻辑不存在这个问题，by definition，它就是人可解释的。但实际上，可解释性只是一个表象，因为稍微复杂一点的任务，符号逻辑的模型和算法理论上虽然可解释，但实际上也不是容易说清楚的。
白：过程的可解释性和表示的可解释性是两个不同的issue，没有人苛求过程的可解释性。但是表示的可解释性不同。明明有合理的显性表示，非要把它“嵌入”，这就说不过去了。
李：那是。另外一点就是，可解释性背后的东西似乎更重要，那就是定点纠错的能力。因为是符号逻辑，甭管路径多复杂，专家真想 debug 的话，就可以追下去。学习的模型就很难。可解释性/可定点纠错性，这是符号派还可以拿得出手的一张王牌。第二张王牌就是：
2. 不依赖海量标注
这第二张王牌，也越来越让人“担心”了。倒不是担心无监督学习，或者迁移学习会突然有革命性突破。而是实际上看到的是一种渐进的改变。
第一个改变是所谓预训练的进展。的确从方法论上 把通用的模型与应用的需求做了分工，使得对于后者的标注要求理论上是减轻了：这还是正在进行的过程。但预计不会太久，不同的效果就会显现得更有说服力。方向上，很看好预训练的作用，现在只是一个开始，但已经很让人兴奋/担心了。
第二个改变是，很多标注数据可以半自动收集，通过各种方法，各种 tricks，加上时间积累效应，再加上调动用户积极性的“引诱式”标注的反馈，等等。大规模标注数据的人力要求 并不总是想象的那样无边无际和困难。
白：问题是：什么标注？标注体系的科学性，决定它的天花板。标注含不含复杂结构？如果含，又能自动标注，那还训练个啥，就是解析了。如果不含，怎么保证能“命中”目标语言？命中场景，而不是命中“端到端”游戏？
李：“复杂结构”和体系天花板，这些深层符号逻辑的东西，当然也可以是王牌。靠蛮力/算力的端到端学习可能难以应对。但是深层逻辑的东西，感觉上，在 real world 的任务中，占比不大。可以拿来说事，实际限制往往不大。
最近遇到一个同好，聊起来，朋友对我的符号悲观主义很不理解。说做了一辈子的符号了，“李老师”怎么自己跟自己过不去呢，灭自己威风，长他人志气。
这要看年龄段了，到了这个岁数了，威风志气都是小事，不值一提，主要还是看解决问题的能力和潜力。对于上面几张“王牌”或挡箭牌，估计还要两三年的时间可以化解，或见分晓。到那个时候，可以比较确定地看到符号路线的合理定位。到底有多大价值，如何相处和自处。相信不会“蒸发”，但定位成秘书或打杂的可能性，感觉不是完全不可能的事儿。
白：包含/容纳结构，是NLP不同于普通视觉任务的根本特质。深度学习的猪飞不了多久了。
李：“包含/容纳结构，是NLP不同于普通视觉任务的根本特质”，这话自然不错，可是MT是NLP呀，没有结构，NMT 达到的成就，不得不信服。唯一的退路就是，MT 太独特了，端到端的数据是几乎无限的。这自然是 NMT 奇迹发生的根本原因，但逻辑上这个奇迹反驳和弱化了 没有显性结构，学习难以完成NLP任务 的立论。当然，我们总可以找到 NMT 里面的痛点和笑话，来反证其缺乏结构的短板。可事实是，这些痛点和笑话确实没有什么统计意义，对于任务完成的整体效果，其实影响没那么大。对于传统的文法翻译派，NMT 是一个真正的苦果，又是一个不可逾越的标杆。
白：MT的成功是不可复制的。而且MT不是场景化的。这意味着它只能是陪衬。在核心应用的智能化方面起的作用很边缘，算不上什么苦果。
李：做过RMT很多年的人体会有所不同。苦果是说，曾经相信只要自己努力，RMT就可以创造奇迹，直到有一天发现，这是一个无法匹敌的力量对比。所谓“臣服”，大概就是这样。
白：我们提倡黑白双煞，提倡端到端和场景化并举。端到端不适合做产品，也不适合做整体解决方案。2B尤其如此。场景必须是黑白相得益彰，甚至是白远远大于黑。黑盒子做场景先天劣势。
李：场景化怎么说法？我以前的说法就是 NLU 支持 domain porting，NLU 做得功夫越足，domain 落地这边就越轻省，场景化效率越高。
白：我认为，在过程、控制这些地方，神经大用特用都没有关系，在表示则不然。
做场景化的，千万别被MT带歪了。
【相关】
