对于 tractable tasks, 机器学习很难胜过专家》 屏蔽留存

新智元笔记:对于 tractable tasks, 机器学习很难胜过专家》

屏蔽已有 3503 次阅读 2015-12-26 19:50 |个人分类:立委科普|系统分类:科研笔记| parsing, 机器学习, 信息抽取, 规则系统

我们 “语义计算” 群在讨论这个句子的句法结构:The asbestos fiber, crocidolite, is unusually resilient once it enters the lungs, with even brief exposures to it causing symptoms that show up decades later, researchers said.
我说,it looks fine in its entirety. "once-clause" has a main clause before it, so it is perfectly grammatical.  The PP "with even brief exposures to it" is an adverbial of  "causing ...": usually PP modifies a preceding verb, but here it modifies the following ING-verb, which is ok.

然后想到不妨测试了一下我们的 parser,果然,把 PP 连错了,说是 PP 修饰 enters,而不是 causing。除此而外,我的 parse 完全正确。这也许是一个可以原谅的错误。如果要改进,我可以让两种可能都保留。但是统计上看,也许不值得,因为一个 PP 面对前面的一个谓语动词和后面的一个非谓语动词,修饰前者的概率远远大于修饰后者。

张老师问: 是否此句在你的训练集里?如是统计方法。否则太不容易了
我说,我这是语言学程序猿做的规则系统,不是统计方法。句子不在我的 dev corpus 里面。parsing 是一个 tractable task,下点功夫总是可以做出来,其水平可以达到接近人工(语言学家),超越普通人(非语言学家)。说的是自己实践的观察和体会。靠谱的 parsing,有经验的语言学程序猿可以搞定,无需指靠机器学习。为了说明这个观点,我测试了我的汉语 parser:

这个汉语句子的 parsing,只有一个错误,“语言学”与 “程序猿” 之间掉链子了(说明 parsing 还有改进余地,汉语parsing开发晚一些,难度也大一些,当前的状况,掉链子的事儿还偶有发生)。但整体来看基本也算靠谱了。所以,即便是比英语句法更难的汉语,也仍然属于 tractable 人工可以搞定的任务。

语言学家搞不定的是那些千头万绪的任务,譬如语音识别(speech recognition),譬如文章分类 (document classification),譬如聚类习得 (clustering-based ontology acquisition) 。这些在很多个 features 中玩平衡的任务,人脑不够用,见木不见林。但是对于 deep parsing 和 信息抽取,解剖的是一颗颗树,条分缕析,这是语言学家的拿手好戏,都是 tractable 的任务,当然可以搞定。(甭管多大的数据,一句句分析抽取完了存入库里,到retrieve的时候还是需要“挖掘”一番,那时候为了不一叶障目,自然是需要用到统计的)。

在条分缕析的 tractable 任务上(譬如,deep parsing),我的基本看法是:有NLP经验的语言学家立于不败之地。而机器学习,包括深度学习(deep learning,当前呼声最高的机器学习神器),也许在将来的某一天,可以逼近专家水平。值得期待。最多是逼近语言学家,但是要超越人工,我不大相信。再牛的机器学习算法也不可能在所有任务上胜过专家的手工编码,这个观点本来应该是显然的,但是学界的多数人却天然地认为深度学习总是可以超越人工系统。

parser 的直接目标不是语义求解,而是提供一个靠谱的结构基础,这样后续的(语用层面的)语义理解、信息抽取、舆情分析、机器翻译、自动文摘、智能秘书或其他的NLP应用,就可以面对有限的 patterns,而不是无限的线性序列。从这个目标来看,我们的中文英文的 parsers 都已经达标了。

【相关】

【围脖:做 parsing 还是要靠语言学家,机器学习不给力】

手工规则系统的软肋在文章分类

《立委随笔:语言自动分析的两个路子》

 再谈机器学习和手工系统:人和机器谁更聪明能干?

why hybrid? on machine learning vs. hand-coded rules in NLP

Comparison of Pros and Cons of Two NLP Approaches

 

【置顶:立委科学网博客NLP博文一览(定期更新版)】

http://blog.sciencenet.cn/blog-362400-946065.html

上一篇:《泥沙龙笔记:再谈 cyc》
下一篇:《新智元:有了deep parsing,信息抽取就是个玩儿》

 

3  华春雷 徐令予 陈辉

发表评论评论 (4 个评论)

删除 |赞[2]hongyan123   2015-12-28 15:47
这样的parser也不在少数,问题是怎么grouding,这是和语境有关的,和个体经验知识有关的。所以,一个parser只是一把剃刀,但并不证明它能正确发挥其作用。
 回复  : 可以理解你提出的困扰、困难。但是:(1)“这样的 parser 不在少数”,是你看不出区别,不是这个 parser 太普通:这个 parser 是独一无二的,否则算我白吃了30年NLP的饭;(2)问题是 grounding,自然没错,那是在某类应用中 parser 落地所面临的挑战,但本文不是谈的这个话题,那个需要针对具体应用专论;(3)我没想证明这个parser一定能正确发挥作用:再牛的核武器遇到一个不懂使用的人,也炸不死敌人,反而可能自伤。其实,一般而言,parser 根本就不该用 offshelf 的,自己用才顺手,才能做成事儿。

2015-12-29 01:241 楼(回复楼主)赞|

删除 |赞[1]华春雷   2015-12-26 20:49
信息技术只是在“形式”的计算和理论方面很成功;而在其“涵义”的理论研究方面非常失败。例如关于“语义”的研究实际上仍然是“形式”层面的研究性质。所以,单独地研究语义学,只能在信息的”形式“层面上研究来研究去,会走向虚空,或走火入魔的。
这个问题的解决,还在路上。我们后来采取的解决方法是,将对信息"涵义”的研究转向生态学的理论角度,这将有助于发现信息的“形式”背后的生成原因。也就是信息的”涵义“问题。

[1]华春雷  2015-12-25 02:25

 回复  : 不太懂您的理论及其意义。我的目的很简单,这里一切自动的形式分析都是为了完成某个自然语言的任务提供结构基础。这些任务包括数据挖掘、舆情分析、问答系统等。

2015-12-27 00:331 楼(回复楼主)

发布者

立委

立委博士,问问副总裁,聚焦大模型及其应用。Netbase前首席科学家10年,期间指挥研发了18种语言的理解和应用系统,鲁棒、线速,scale up to 社会媒体大数据,语义落地到舆情挖掘产品,成为美国NLP工业落地的领跑者。Cymfony前研发副总八年,曾荣获第一届问答系统第一名(TREC-8 QA Track),并赢得17个小企业创新研究的信息抽取项目(PI for 17 SBIRs)。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据