分类： 信息抽取

【李白60：事理图谱之辨】

宋:
“普京称，特朗普问了一些尖锐的问题，显然他对某些事情的细节很感兴趣，所以他也尽可能地详细地回答了他。”（来源：看看新闻）三个“他”各是谁，机器能识别码？

白:
这也是“事理图谱”的覆盖范畴，甲问乙，乙答甲。

李:
他回答他，句法绑定理论（Binding Theory）决定了不是一个人。
x 问y ==> y回答 x, 这个知识 hownet 恐怕有。第三个 “他” 于是绑定 “特朗普”，第二个“他” 于是不可能是“特朗普”，上下文只剩一个“普京”，那就是“他”了。至于第一个 “他”，语言的就近原则就对了，绑定“特朗普”。如果用知识推理，那就蛮复杂：需要在 【提问】 与 【感兴趣】 的概念之间，建立某种互为因果的联系：

x 问关于y 的问题 《==》 x 对 y 感兴趣

这是符号逻辑。至于大数据如何反映，“事理图谱”如何表达和支持，这里面水不浅。

不太明白的是，这所谓事理图谱，到底是本体类的图谱（ontology graph），还是情报类的图谱（intelligence graph）。从命名看，应该偏重本体。那就跳进一个大泥坑。 本体不是不可以自动图谱化（严格一点的术语叫知识习得，knowledge acquisition，而不是情报类的信息抽取 information extraction，【语义网笔记：本体与知识图谱之辨】），但是很难很快奏效，也很难打过 hownet 和 cyc，除非是先从 domain 本体着手，各个击破。情报类图谱就是靠 domain 取胜的，本体图谱也应该是这个方向。

白:
本体/情报这个区分完全是工程化的，原理机制方面看不出来不同。所谓原理机制，无非就是核心动词怎么传播，坑怎么跳接。打 和 伤，打传播到伤，打两个坑，其中受事那个坑跳接到伤的当事。明白传播和跳接，这个游戏就可以玩下去了。面向领域见效快些，产品好包装些。面向本体见效慢些，可能不走产品的路子而走公共服务的路子。但这是商业模式问题而不是技术问题。

李:
情报的立足点是个体（NE），本体的立足点是群体类型 （categiry concept），目标相差远去。后者 人工具有显著优势，所以说 想打败 hownet 并非易事。这是从知识本身、 知识的获取和表达来看。至于知识的应用、知识的推理、推理中的模糊与逻辑的平衡等等，又是另一个挑战。而情报图谱的应用相对简单，无论是支持搜索还是挖掘。支持预测比较难些。本体知识因为并非情报，而是常识或专业知识，属于教育的范畴，谈不上搜索、挖掘和预测。

白:
说来说去还是商业模式。定性预测和定量预测又是两回事。涨不涨，和涨多少点，不一样。

李:
我想说的是所谓事理图谱，是个吃力不讨好的活计。高校里面立项做个研究可以，应用上基本可以无视。学了半天也不过就是学会了诸如 【x 从 y 那儿 买 了 z】 ==  【y 卖了 z 给 x】， 【x 吃饱了 ==》 x 不饿】等等。 这种事理哪里用得着去学，拍着脑袋可以想出来更多、更周全、更体系、更逻辑。

白:
法律文书处理需要。证词这么表述，起诉那么表述。这还只是paraphrase。如果涉及到行为与后果，还是要在动作之间传播，比如打与伤。如果要打造alphago级别的律师，这点事儿是必须搞定的。最起码的。说这事儿没有效益，可能过于托大。

李:
两码事儿：本体知识图谱是一码事儿，利用这个图谱做有效的推理应用是另一码事儿。前者基本没有效益，有那个力气 不如把 hownet 进一步完善。后者才是痛点。

白:
我是说从建设的内容看，你分不清是给研究用的还是给应用用的。

李:
谁先把 hownet 或 cyc 里面的知识体系（时髦词叫 “图谱”）用起来，用到 50% 就很了不起了。

白:
绝对不是那个路数。应用的人没那么傻，有现成的好东西不用。问题不是不用，是路数不对。不可用。

李:
傻不傻，要先看到应用实例才好。事理图谱成功应用的突破，咱等着看吧。

cyc 的失败不是知识获取的失败，这方面愚公移山，知识增量获取，知识只会越来越丰富。知识丰富了，没法用才是问题。

白:
就说跳接这事儿，用重武器和用轻武器有本质不同。用轻武器同样可以做的事儿，为啥要用重武器。重武器的副作用太大。

李:
如果事理图谱，也像情报图谱一样，追求的是图谱的建立，那就没有情报图谱的成功可能。

白:
你要等他，要养他。还要顺着他。其实应该他顺着你。

梁:
小声问一句，事理图谱是因果关系图谱吗？

白:
不完全是

李:
我理解就是本体图谱。搞不清对象是常识还是专业知识，还是兼而有之。

白:
有些因果上没道理的事情，事理上有道理。比如，该来的没来--》我是不该来的；
不该走的走了--》我才是该走的。

李:
这样的事理，已经不再独立于语言和文化了。那就比普世（universal）的常识和专业知识更加广泛了。

白:
作案是专业知识，作案里动作之间的关联是常识，没有常识托底的专业知识是有断层的。法律条文是专业知识，案情的描述靠很多常识勾连在一起。在分析案情与法律条文适配性的时候，必须二者兼而有之而且在结合部无缝切换。

李:
对，是个 hierarchy 。

白:
paraphrase可以有更简单的处理方法，就是相对行为在转换为内部表示时是标准化的：
买和卖，娶和嫁，借和贷，都可以。这个不算推理，甚至也不算传播，内部表示都是个trans就得了，只不过参数摆的地方不一样。

李:
真正在应用中的痛点是：

1. 不是没有知识，而是有了知识也不知道如何用
2. 很多时候没有知识也达到了目的，所以见知识就用，往往弄巧成拙
3 就事论事容易，总可以谈出背后一大堆“事理”出来：本群的很多有趣的讨论和钻牛角尖，就显示了这些事理。但是要想找到一个高效的通用算法，来用这些事理知识，那是真地很难。

白:
在不知道知识长什么样时，谈算法是很空的一件事，算法和表示几乎是同时确定的，而不是表示在先，算法在后。

李:
情报图谱的表示与算法可以分开。可以把情报挖掘，建立一个图谱表达。至于别人用什么算法去用它，可以是另一回事儿。其实，我各行各业的分析员一直都在手工做情报图谱，他们并不懂什么算法不算法。自动生成的情报图谱，只要提供一个类似 sql 的搜索图谱的接口就完事。但是，本体图谱不同。它本身不是情报，都是吃饱了不饿这类“废话”，没有应用价值。所以，一定要想清楚如何用它，才能显示价值。

白:
paraphrase和传播是必须的。无方向感的推理可以免了。

李：
想清楚如何用它是比获取和表达，难度大得多的事儿，这里面包括想清楚何时和如何不用它。

白:
用它从来不是问题，问题的关键是“它”是谁。如果是hownet或者cyc，基本可以打住了。一定是把知识的使用圈到一个很务实的圈子里，足够轻，然后才谈得上获取和表达。本体重实体和实体的构成类型，事理重事件和事件之间的传播和激活。这俩早晚要区别对待。混在一起打乱仗是要死人的。现在技术层面的问题是解决坑的跳接。

李:
打乱仗的常见案例是，不知道何时不该用 不能用“事理”。对于不合事理的事儿，自然不能用事理理之。

【相关】

【语义网笔记：本体与知识图谱之辨】

【泥沙龙笔记：再谈知识图谱和知识习得】 

《泥沙龙笔记：知识习得对本体知识，信息抽取对知识图谱》

【立委科普：本体知识系统的一些历史掌故和背景】 

《对于 tractable tasks, 机器学习很难胜过专家》

【语义计算：李白对话录系列】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

 

【李白之45：从变性谈到模糊与歧义的不同】

李:
尼:罗素说科学够不着的哲学，哲学够不着的宗教。

[科学够不着的] [哲学]，[哲学够不着的] [宗教]。

两个主谓结构哎！

哲学、宗教这样的名词也可以做谓语，而且是在“的”字后面，简直是开了眼了。以前琢磨过英语的“银行”（bank），经常做动词谓语用，觉得顺理成章，但汉语的对等物却不行。

白:
儿子挖不完的孙子（接着挖）。

李:
（感觉汉语“银行”的构词法可能在捣乱，silver-bank, 听着就是一个守财奴的物理存在，与金融行为不大兼容？）

白:
硬通货的物流调配。怎么就是“守”了呢。

李:
* 你银行了吗？
老哥，我忘了，对不起。

白:
很行了

李:
* 我明儿一定银行。
我难以接受这种说法。

白:
王天下
四海一
这种用法中文是老祖宗，但是新派词汇不在其列。

李:
为啥？词性活用现代汉语为啥减弱？

白:
不是一个系列的

李:
“我昨天二锅头，今天决定茅台一下。不茅台白不茅台，人一辈子，图啥？”

白:
数数，单字名词活用为动词，可以有声调变化，略等价于形态变化。多字名词没这个招儿了。

李:
“今天床得早，决定微信一下。电脑了半天，微信出不来。”

白:
北京话也就“孙子”做谓词坐稳了。其他都充满临时性和造作。

李:
“现代汉语名词不动词，动词不名词，不如古代汉语，名亦动，动亦名。”

单字词　可以声调变化来反映词性变化，这是一种（蛮新鲜也有理的）说法。
双音词，由于内部的定中的构词结构太透明，干扰了其变性的可能性，也是一种说法。譬如　“红花”、“臭豆腐”、“高楼”。很难想象这么透明如句法的词结构，会忽然变性。不过，如今这社会，再难想象的变性（trans-gender），也是可能发生的。美国的变性人已然成为一个不小的社区了。

“这家伙在北上广，高楼了１０多幢，全国劳模会上一样红花，回到胡同与老哥们一起臭豆腐，这是怎样精彩的腐败人生。”

所以说，语言学家不足采信。啥不可能都整出可能来。

白:
这些一看就是匆匆披了件别人的外套

白:
尼:罗素说科学够不着的哲学，哲学够不着的宗教。可解释为省略了重复的“够”。不知尼克尊意如何？“这道题，张三做不出来李四，李四做不出来王五。”意思是：“这道题，张三做不出来李四（做），李四做不出来王五（做）。”　跟名词动词化真心没啥关系。
“前卫顶不住了后卫（顶），后卫顶不住了守门员（顶）” 同理。

李:
读起来很顺 没觉得需要补充什么。虽然说省略也不能说错。但语感觉得已经完整。因此 我倾向于这是名词坐稳了谓语宝座。叫不叫名词变性另说。而且真要补充 我不大会补充 “够” 而是补充其他更合适的动词：

科学够不着的 哲学上
哲学够不着的 宗教来。

“冲”、“上”、“来” 都比 “够” 贴切。说省略了 “够” 太勉强。最大的兴趣点还是，怎么名词谓语出现在 “的” 后面 居然感觉妥妥的呢。“科学够不着的哲学 从来都是高高在上 只是到了近代 哲学的权威才急剧下降。”　这个才是标配结构。冲破标配估计是一靠排比句式；二靠小句在的字结构后面无其他谓词 ；三靠【的字结构】的多变性。的字结构指代实体 一点也不罕见， 频率差不多可匹敌做修饰语。所以听话人心理随时准备从修饰语角色反悔或回溯到实体名词的角色。

尼:
我原意就是图这种语感，其实确有歧义，还一种解释可以是philosophy lies where science is trying to approach

李:
科学够不着的有哲学（在）。

尼:
可能稍显牵强，不如白老师解释的那个更solid。两种都有点。

李:
没关系 关键是 unspecified，比认为省略了一个特定动词值更合适。

严格说 unspecified 不算歧义，而是模糊。模糊在思维及其语言表达中 都有地位 不应该简单归为歧义。

尼:
可以说是模糊

李:
歧义应该是已经有预定答案值的现象，hence 消歧的任务。没有标准答案的所谓歧义 其实是模糊。

梁:
我理解是 ”科学够不着的（地方）哲学(够)。“ Where science is out of reach, is philosophy's domain.

李:
可以算解读之一。

梁:
第一次听说“歧义是已经有预定答案值的现象”，不知道是不是业界所有人都 share 这个定义？

李:
否则消歧往何处去？有两种歧义，一个是关于 node，一个是 arc, 譬如：

WSD　bank: value1. 银行；value2. 河岸
PP-attachement: V NP PP: value1. V [NP PP]; value2. [[V NP] PP]。

看下组句子：

１.　我吃了午饭了。
２.　我不久前吃了午饭了。
３.　我几分钟前吃了午饭了。
４.　我约３分钟前吃了午饭了。
５.　我３分零５秒前吃了午饭了。

这些句子里面的动作，与所有事件一样，肯定发生在（空间和）时间之内。只有第５句，给定了精确时间，精确到秒。其他句子给的都是模糊时间，或没有给时间（等价于给了一个到说话为止的开放区间）。这就叫模糊。如果硬要在模糊的时间表达中去“消歧”，精确到秒，前四个句子无解。

unspecified 在自然语言中是普遍存在的。最多的时候，它是以零形式而存在（譬如句子１）。也有很多时候是以词义的模糊或结构的模糊来表达。这种词义的模糊或结构的模糊，不能认为是歧义，至少不是语义计算的目标，因为根本就没有目标。我们做过信息抽取（information extraction）和信息融合（information fusion）来构建知识图谱（knowledge graph）的，体会很深。其实人用语言表达出来的关系，事件或情感，只是整个语义之网的一个零星的局部。再加上每一句话的语言学制约（譬如 args 不过三的语言学subcat原则），每次只能表达几个点的信息，因此语义之网的大部都是　unspecified。如果面对的是大数据，这些语句所代表的碎片化信息，通过信息融合（如果是unification系统，信息融合用合一操作），慢慢丰富起来，但最终还是存在很多模糊地带。

白:
话说，模糊和笼统还是不一样的。歧义是集合明确、元素糊涂；模糊是集合明确、子集糊涂；笼统是集合糊涂、超集明确。

李:
这个要得。
wait, 我要说的是：（严格意义的）歧义是集合明确，元素也明确（元素就是　ｖａｌｕｅ，是标注）。人和机器就是要按照元素指向去标注，来消歧。如果我说“吃肉”，你非要消歧，说这肉是猪肉还是牛肉，那就不对了。因为我的语言是模糊的，没有留下消歧的空间。

白:
元素糊涂，说的是不知道是哪一个标注，集合明确，说的是知道哪些是可能的标注。

李：
我以为集合是定义 how many (the scope) in a set，元素是 the list of members.  Anyway, 歧义是元素明确：知道答案，看谁的算法牛了。如果不知道答案（元素模糊），那就是语义模糊了：这里面还可以再分为，语义模糊，但是边界清楚。就是白老师的子集的意思吧。从常识、本体知识带来的边界不算，那个是“元”层次给定的，没有语言什么事儿。

“我吃了午饭。”　时间的边界是到说话为止：这个边界是语言学的，是时体小词“了”所传达的。

“我吃肉”　常识说，不外呼是牛猪羊鸡...肉。不会是人肉（饥荒年代不算）。这个边界就不是语言学的。

白:
外媒：区块链战略上的延迟 将是公司的“灭顶之灾”
这个标题有歧义。一个意思是，一个公司，如果在区块链这件事上不做战略布局，将会面临灭顶之灾。另一个意思是，区块链这股力量，如果在战略上动作迟缓，将使相关公司面临灭顶之灾。

我:
多数人、一般人感觉不到、读不出也不在意这种歧义。因此，即便通过语法的细化和逻辑的分析慢慢能够区别两种路径，最终还是要研究怎么回到普通人的理解，或模糊语义去，除非对于某一个特定的应用，这种区别有重大意义。后者也是有的。譬如昨天说的，限定性与非限定性定语的区别，其中有不小的一块灰色地带，大部分人也搞不清限定还是非限定，也不在意这种区别，就是这么糊里糊涂地表达，糊里糊涂地理解。可是这个区分对于 sentiment 意义重大，因此 sentiment 做到一定火候，就不能不着手对付它，尽管有灰色地带，也还是要尽量把不是灰色的部分模型好，而不是糊涂混日子。

自然语言的表达与理解－董老师说过这个意思，很多时候是包容歧义的，听者说者都不在意那个歧义，甚至大多时候根本就无感，虽然细究起来歧义的确存在。人类有这个模糊的本事，直到某个关节点，那个歧义模糊不下去了，人的对话才会就模糊点予以澄清。通常，大家都是在一知半解中彼此理解的。

例外是法律文书，专利文书，技术手册（波音的受限语言的说明书），这些东西通常经过反复打磨，有特别的手段在表达的时候就把歧义降低到最低限度，堵死误解出差错的可能。但是日常会话，包括谈恋爱，大家都在将就模糊着，也没觉得缺了啥，误会发生的概率也很低。

 

【相关】

【语义计算：李白对话录系列】

《朝华午拾》总目录

【李白董之51：说不完的subcat和逻辑语义】

【立委按：３０年前，董老师就是我学逻辑语义的启蒙老师。３０年后还可以拜技术所赐，与老师坐而论道，由衷感激。逻辑语义这个术语的命名和流行 源自董老师的论文。类似的术语有 Deep case （菲尔墨），Theta role（乔姆斯基）， Semantic role , 但我还是最喜欢用董老师的逻辑语义。】

白:
【今天冲击30度，明天骤降6度伴随雷阵雨】
为啥30度是目标值，6度是差值？

李:
逻辑语义 与 句法角色 的主要差别就是，前者依存的老子是细颗粒的概念或语义，后者依存的老子是粗颗粒的子范畴（ｓｕｂｃａｔ）。“冲击” 与 “降” 的概念差别，决定了所带的逻辑语义角色的分别。从subcat看 这两个动词属于一类，因此句法儿子相同 都叫宾语，但是从语义角度 这两个动作概念有距离，查一下 hownet 就知道了。细颗粒到什么程度呢 要看系统的设计了。譬如 hownet 有将近 100 个逻辑语义角色，相对应的语义颗粒度或分辨度就显得相当细。【升降变化】 这类肯定要单列出来，也可以想象 逻辑语义压缩到 20 到 30 的样子 合并一些接近的角色，那么统领逻辑语义的谓词的概念颗粒度就可以粗一些。

总之逻辑语义不象句法角色那样抽象 独立和粗线条，逻辑语义是比较紧密地配合谓词语义概念去 make sense 的。【心理】谓词的主语 在逻辑语义叫 experiencer（体验者），但【行为动作】谓词的主语 则逻辑语义叫 agent（施事）。这种呼应除了有本体知识（ｏｎｔｏｌｏｇｙ）体系内在的设计需要外，还有让人看着舒服、容易理解的考量，也就是我以前说的，语义表达带有某种人类自己与自己玩的色彩。

在董老师面前说这些 难免显得浅薄。我等董老师打板子 批评纠正。

董:
按知网的规定：冲击30度，30度的逻辑语义是“StateFin-终状态”；降6度，6度的逻辑语义是“QCompare-比较量”。但是知网的分析系统我预计它做不对。因为这样的区别要有更加专门化的知识，气象的常识来解决。知网没有如此细的常识表达。单靠两个动词的语义差别，我想不出来如何解决。

李维说的没错。是会有自己玩的色彩。每个人有自己对客观世界的自己的认识，研究有自己的风格，有自己的要求，或遇到的不同的需求。总觉得自己那个好，不要紧，是正常的，但不要总觉得别人的一定不好，那也许就不太好了。

李:
也有的语义表达体系走极端，觉得哪怕细颗粒度也不够好，100个逻辑语义根本不足以表达语义关系的细微差别。譬如 hpsg，它在语义表达上不喜欢任何抽象，agent呀，patient 呀，experiencer 呀，都太过抽象，就更甭提逻辑主语、逻辑宾语了。一不做二不休，他们的语义关系的命名变成了一个开放集。本体有多少谓词语义终结节点（石实践中常常就用那个谓词的词），就有多少个对应的语义关系。逻辑主语加后缀 -er，逻辑宾语加 -ee，这样来命名逻辑语义。因此，like 的 主语叫 liker，宾语 叫 likee；hit 的主语 叫 hitter，宾语叫 hittee。完全没有概括性了，我把这种设计叫做词汇主义极端派，有点走火入魔了。但有一个优点，人一看就明白是什么角色。

我觉得其所以语义表达有自己跟自己玩的色彩和空间，是因为一个知识体系是某种连续的存在。语义学家在模型这个体系的时候，必须抽象到离散的点去。这就需要切刀。切几刀 怎样切 比较合理 比较适应人的理解和应用，不同的设计家会有不同的考量。

董:
再者，上例中30度是个”点“；6度是个”量“，没有气象知识怕不容易分别了。

李:
“降6度” 感觉没有歧义。难的是 “冲击30度”。后者可能需要专业知识才能消歧。一个通用性常识本体的知识库，不足以做出这种区分。如果是 “降到 6度”，也没有歧义。

讲个故事：
“我们实验室是做低温实验的。我们设计了一个装置可以不断降低实验空间的温度。第一天我们成功降低了10度 只用了三秒钟。第二天我们降了20度。我们改进了设计以后 正全力冲击30度。”

这个故事说明歧义在特定场景是可以翻盘的。在气象领域 他的标配歧义消解了，根据的是气象里面的领域常识。但场景可能打败这个标配语义。

白:
都不需要术语来指定角色。完全可以说，1号角色，2号角色。这是本源。施事受事的，都是次生的。

李:
有不少文法就是这么叫的：ａｒｇ１、ａｒｇ２，然后可以提供一个词典查询来求解：ｌｉｋｅ　的　ａｒｇ１　就是逻辑主语体验者，相当于　ｌｉｋｅｒ。这样看语义表达，就更凸显了人类在逻辑和语义上有相当浓厚的自己玩的色彩。

董:
说实在的，就是主谓宾定状补都不能弄对呢？少了，多了，又能怎样？

白:
信息抽取的角度看，弄不对，就可能提取不出来想要的情报，或者提取出错误的情报。从群体舆情分析的角度看，错一个漏一个都无妨。从个体观点分析角度看，错了，可能认友为敌或者认敌为友。

李:
信息抽取的模板定义本身，也有不少自己玩的色彩，当然是要玩得让客户高兴。譬如【公司购并】事件，谓词是　ａｃｑｕｉｒｅ　或　ｂｕｙ，句法的主语，逻辑语义的施事，与信息抽取模板中的角色【购并公司】的对应，就是在玩命名的游戏。句法的宾语，逻辑语义的受事，模板里面叫【被购并公司】。

白:
当然，只要语义对，句法错甚至没句法，又如何？

李:
没有楼梯爬上三楼的绝技人也是有的。事实是，尽管有这样的绝技存在，生产楼梯的厂家却不会倒闭。

董:
按李维说的，其实是不用再搞一套施事、受事等。

李:
我觉得１００个这个量级是太细了一点儿。另外，逻辑主语、逻辑宾语的概念感觉很好使。这样　ｅｘｐｅｒｉｅｎｃｅｒ　和　ａｇｅｎｔ　的区别就不重要了。因为这种区别，如果某个应用需要的话，总是可以通过查询谓词是什么得出来。

董:
你是能少则少，能省一个是一个。

李:
可能我来了美国１９年，一头扎进了信息抽取。从抽取好用这个角度，我不需要那么细的逻辑语义。换其他应用，我不敢说。

董:
嫌多，少用就是了；如果嫌少了可就不那么好办了。关键是要能自圆其说。多有多的道理，少有少的道理。再一个，就是多了，能否乱。计算机不是不怕多吗？

白:
编号不怕多。

李:
这是一方面，多了总可以合：或者用逻辑或，或者用ｔａｘｏｎｏｍｙ定义一个上位关系。问题不在这里。问题在多了以后，ｄｅｅｐ　ｐａｒｓｉｎｇ那边就不得不费工。费了力气做了区分，发现用到的场合不多，就觉得不值了。关键还是，对于概念之间的依存关系，谁与谁发生关系是第一位的，老子儿子必须区分清楚。关系的种类粗一点无关大局。

白:
deep parsing的首要目标仍然是确定谁跟谁有关系，而不是确定是什么关系。所以角色再多，不应该影响deep parsing. 即便影响，也只是影响搂草打兔子的部分, 那本来就是天上掉馅饼, 可遇不可求的。

李:
因为语义是在句法图中决定的。有了依存关系图，有了节点的本体知识，粗线条关系随时可以细化, as needed，不必把这种细化搅合到ｐａｒｓｉｎｇ里面。

白老师讲的与我说的，是一样的呀。

白:
我是说，语义角色多了就导致deep parsing不得不费工，这样的设计是有问题的。

李:
多了一个　ｒｏｌｅ　ｌａｂｅｌｉｎｇ的细活。而这个细线条　ｒｏｌｅｓ　在落地时候大多不需要。认真说，也没那么多活，也不是不可以做，就是觉得没必要做。因为信息抽取的根本原理是词驱动。在词驱动的语义落地场景，语义关系的细化没有多少助益。

白:
语义角色第一不要设限，第二不要用跨词汇的概念绑死，第三不要跟句法绑死。需要的时候接的上就行，和句法松耦合。想多就多，不要影响句法。直接拿次范畴去玩。

李:
ＩＥ根本连次范畴都不要，就是词驱动。多用几个逻辑或就齐了。范畴集合如此之小，爱怎么枚举怎么枚举，管它的谓词本体概念属于哪个集合呢。

白:
IE和实体知识库的差别，实体知识库是照单全收，IE是只取自己那一瓢。只取自己那一瓢，当然不需要subcat；照单全收是不行的，必须有subcat。

董:
我看你们常说次范畴或subcat，谁是与之相对的主范畴呢？

李:
董老师，文法里面所谓ｓｕｂｃａｔ，其对应是ｃａｔ或叫ＰＯＳ，尤其是ＰＯＳ里面的谓词：ＶＢ或ＪＪ等，这些ｃａｔ会进一步细分为ｓｕｂｃａｔｓ。

董:
那么subcat是诸如什么？

白:
cat那东西，各家也有不同

李:
当然白老师泛化了ｓｕｂｃａｔ，一切的词汇子集给个词典标签都叫ｓｕｂｃａｔ了。但是在ＨＰＳＧ这类文法里面，ｓｕｂｃａｔ是一个谓词句型规则的浓缩。里面是一个丰富的　ｆｅａｔｕｒｅ　ｓｔｒｕｃｔｕｒｅ，句型方面的某个子集。文法里面的　ｓｕｂｃａｔ典型代表是ｖｔ、ｖｉ这类。

董:
你给个具体例子吧?我都快被绕糊涂了？名词是cat，那么sub名词是什么？

李:
名词是ｃａｔ，那么ｓｕｂｃａｔ可以有带宾语和宾语补足语的名词，譬如　translation：其ｓｕｂｃａｔ就是："translate" of NP【受事】 from NP1【来源】 into NP2【目标】。对于这个ｓｕｂｃａｔ的句型潜力，给它取个标签，这个标签就是 subcat 的 atomic feature，譬如　vt、vi。

董:
懂了，谢谢。

李:
但是在复杂特征集的文法里面，ｓｕｂｃａｔ不取一个简单的标签，而是展开来写到数据结构里面去，这样一来这个数据结构几乎就是一个产生式规则，虽然理论上这个数据结构不是过程性的。所以所谓的ＨＰＳＧ没有规则，其实就是玩的这么个游戏。

发现，思想活跃的知识分子永远不显老，而蓝领老人就特别容易衰老。董老师冯老师都有这个特点，我老爸也是。可见信息也是一种养分，比营养更重要。

董:
不看或极少看“养生堂”之类的胡说八道的，多半可以长寿。

冯:
多动脑子有益健康。

董振东:
有道理。
昨晚的有关arg、subcat、等的讨论，我明白了。其实我们是不同路上的车，可能都是被英文parsing误导的，至少我是被误导了。大家的目标、方法、资源等都不一样。但不论如何环视对我们的研发很有帮助的。关于诸如逻辑语义等问题，等你们真的要关心时，你们可以看我们的专著《HowNet and the Computation of the Meaning》。

李：３０年前，董老师就是我学逻辑语义的启蒙老师。３０年后还可以拜技术所赐，与老师坐而论道，由衷感激。

 

【相关】

【语义计算：李白对话录系列】

中文处理

Parsing

【置顶：立委NLP博文一览】

《朝华午拾》总目录

【语义网笔记：本体与知识图谱之辨】

【立委按】语义网＆知识图谱微信群是一个大群，里面不乏知识大佬和语义新秀。最近有人问本体（ontology）与知识图谱（knowledge graph）的异同，引起一番讨论，笔记如下，以飨同好。尽管有很多混淆和混用，这两个术语背后所对应的概念之辨识，在我看来是基础性的本质性的，值得详细解说和进一步讨论，hopefully,　此篇可以抛砖引玉。

梁：
今天读到赵丹老师的一篇讲知识本体的源流的文章，请教二位老师两个问题：1. 知识本体=知识图谱，是否也等于“元数据”？10几年前在北大读书的时候，还没有形成“大数据”新话语体系。那时开的课就是数据仓库、数据挖掘。里面对于数据库表头标签体系称为“元数据 meta data”。所以这里问一下，是不是可以等价

刘：
不是，本体，图谱，元数据是三个概念。可以理解为，图谱是一个简单缺少强逻辑关系的本体

鲍:
元数据，本体，图谱，链接数据，这几个词都是结构化数据在不同历史时期的营销名词。他们本身的ontological difference与其说是基于内涵定义出来的，不如说是结构化数据在不同历史时期外延不同表现出来的。十多年前，当本体和现在的知识图谱一样火的时候，人人皆称本体，各种研究数据库、逻辑、词汇表等等，都自称本体。现在则是所有和结构化数据有关的应用，都自称知识图谱。所以我以为，无需细究两者之间的内涵区别。过三五年，自然会有新词出来再取代它们。

赵：
本体论本身是有问题的，并不存在一个独立于人的思维之外的客观知识体系，知识都是具体的，被特定的人认知的，带有一定主观性的体系

Me:
虽然很多人混用 虽然术语的流行具有历史性和时髦性 其背后的基本概念的区别还是值得强调。本体论 所代表的结构化数据 的确带有 元知识 的意味 处于一般的所谓知识图谱的 另一个层面。我们在谷歌搜索中见到的知识图谱所支持的实体的关系以及相关信息 不是本体 而是情报。

本体作为元知识反映的是常识或相对恒定的知识 它不具有情报价值，而通常所谓知识图谱则是情报挖掘的结果。这个区分极端重要 因为这两种知识在如何形成 何处使用 等方面 非常不同。

wordnet hownet 还有 cyc 这类知识都属于 本体， 它们是专家多年手工编制的 其知识内涵有稳定性 无情报性。也有自动形成本体或领域本体的工作 这个工作叫知识习得（knowledge acquisition）， 而不是一般意义的知识图谱所使用术语 信息抽取 （information extraction） 因为 抽取的要点在于情报性 在于提供具体实体及其关系和事件的流动性。文本挖掘 text mining 也被混用得不行。但最基本的理解还是指的信息抽取基础上的情报挖掘 而不是本体的 acquisition

撇开术语被混用 这种区别的关键在于 对于自然语言理解而言 本体知识是一个支持性的知识 而图谱所反映的情报则是结果。换句话说 前者是帮助理解的 后者是理解后的输出。当句法知识（也可以看成是语言学层面的元知识 形式语言理论里面叫元语言）不够用 或者单单的句法不能排歧的时候 语言理解往往需要借力本体。譬如 “鸡我吃了” 与 “我鸡吃了”，谁吃了谁 句法上无法区分，本体里面的常识开始发力。“鸡”常常作为“人”的食品。“人”作为鸡的食品 除了童话或狡辩外 是站不住的。语言理解以后的信息抽取 实体 who what 等发生何种关系 relationships 以及 事件关涉到那些实体 Who did what to whom where when how and why ，回答这类问题的情报知识可以从知识图谱来。
班门弄斧一下。请知识大佬和后学批评。

鲍:
李老师说的很对。只是在实践中，大多数公司和研究paper里提到的本体和知识图谱，都没有这么精确，大家基本是把任何结构化数据都套上这个词。细分并不容易，因为概念建模对大多数研究生和程序员就和天书一样。

Me:
对 混用很严重。概念区分很重要。特别是后学进入这个领域 这个区分是基本的。深究起来 还有灰色。但总体的分野是分明的。叫什么术语另说。

鲍:
gene ontology到底是本体还是数据？到底如何支持语义推理？计算机科学家研究了很多，可是生物学家也听不懂，依然按他们理解的方式用，他们就这这个当词汇表用，也一样好用。jim hendler曾做过统计，rdf和owl的实际使用，大部分都是“错”的。所以这里有一个工程师视角和科学家视角。其实还有一个商人视角。倒是图谱 更加混杂 有表示情报的 有表示本体的。我们在媒体上读到的，大部分是商人视角。

Me:
不过 很少有人拿 本体 表示情报。常识和情报的分野是根。
做本体不需要太多人上 即便存在本体的领域化。做情报的图谱则不同 ，无时无刻没有情报产生 因此需要不断抽取 挖掘和整合 以满足情报需求。难度也不一样 做本体的 是对人类常识和经验的概括，非大师不能。即便从大数据去习得本体（ ontology acquisition），定义本体，也是需要高度。情报性知识图谱则不同，任何产品经理，在了解客户需求后都可以定义。然后就是抽取挖掘。注意，学界对这两个动作用的是不同的术语 前者叫习得（acquisition）， 后者叫抽取（extraction）。

鲍:
比如现在，大家把schema.org称为知识图谱，把dbpedia称为知识图谱，把图数据库称为知识图谱，把工商注册信息也称为知识图谱。把名词列表称为知识图谱，把分类树称为知识图谱。到底什么是知识图谱呢？我觉得，就从众好了。 在学术界，我们还是沿用tbox和abox 那个肯定不会被滥用。

Me:

Cf:《语义三巨人》 - 李维的博文

三巨人中 菲尔默的 Framenet 最尴尬，它反映的知识性质耐人寻味。里面所定义的 frames 很像是信息抽取领域的 templates 但是它是跨领域的 自上而下成体系的，Frames 之间也具有 hierarchy，这与 ie 领域或产品经理定义的信息模版有所不同 后者是领域的情报 零散的。说它尴尬 是因为 这个 framenet 是从本体的角度概括情报结构， 本来是想充当最终的领域情报的元知识组织者。但实际上 几乎所有的领域情报信息抽取 都绕过了它 只是学界有人以这个标准组织竞赛和研究。业界不买账也有其道理 因为情报知识图谱的元结构里面的 hierarchy，只有在信息抽取框架数量繁多需要规整成系统　实现资源继承和共享的时候，才可能体现价值。而知识图谱的研发还没有到那个规模，需要这种支持。

另一方面 企图在文本挖掘中利用 framenet 里面的 frames 的抽取作为通向领域或产品情报的模版的思路 理论上可以缩短到达应用层面的距离 实践中不如直接从nlp的支持 包括 parsing 的支持抽取 来得简洁有效。

与此话题相关的术语混用也表现在【信息抽取】和【文本挖掘】上。很多人混用 但严谨一些的学者其实有一个共识 至少是概念层面的明确区分。术语不过是形式 但讨论问题的双方对背后的概念分野如果不能事先相互理解 很可能形成鸡同鸭讲的局面 或争论得一地鸡毛。

quote 很多人混淆了抽取（information extraction） 和下一步的挖掘（text mining），但实际上这是两个层面的任务。抽取面对的是一颗颗语言的树，从一个个句子里面去找所要的情报。而挖掘面对的是一个 corpus，或数据源的整体，是从语言森林里面挖掘有统计价值的情报。在信息时代，我们面对的最大挑战就是信息过载，我们没有办法穷尽信息海洋，因此，必须借助电脑来从信息海洋中挖掘出关键的情报来满足不同的应用。因此挖掘天然地依赖统计，没有统计，抽取出来的信息仍然是杂乱无章的碎片，有很大的冗余，挖掘可以整合它们。
from：【立委科普：自然语言系统架构简说】

与nlp有关的术语体系 我做过一些梳理 主要为的是科普给新人。里面也涉及知识和语义层面的一些术语。也以一并留个链接 请各位批评指正：【立委科普：NLP 联络图 】。

 

【相关】

【立委科普：NLP 联络图 】

《语义三巨人》

《知识图谱的先行：从Julian Hill 说起》

《泥沙龙笔记：知识习得对本体知识，信息抽取对知识图谱》

【泥沙龙笔记：再谈知识图谱和知识习得】

《新智元笔记：知识图谱和问答系统：开题（1）》

《新智元笔记：知识图谱和问答系统：how-question QA（2）》

泥沙龙笔记：搜索和知识图谱的话题

a million dollar slide

【立委科普：信息抽取】

【关于知识图谱】

【置顶：立委NLP博文一览】

《朝华午拾》总目录

Once upon a time, we were publishing like crazy

List of 23 NLP Publications (Cymfony Period)

Once upon a time, we were publishing like crazy ...... as if we were striving for tenure faculty

[1] R. Srihari, W. Li and X. Li. 2006. Question Answering Supported by
Multiple Levels of Information Extraction.  a book chapter in T. Strzalkowski & S. Harabagiu (eds.), Advances in Open- Domain Question Answering.  Springer, 2006, ISBN:1-4020-4744-4.

http://link.springer.com/chapter/10.1007%2F978-1-4020-4746-6_11

[2] R. Srihari, W. Li, C. Niu and T. Cornell. 2006.  InfoXtract: A Customizable Intermediate Level Information Extraction Engine.  Journal of Natural Language Engineering, 12(4), 1-37

http://journals.cambridge.org/action/displayAbstract?fromPage=online&aid=1513012

This paper focuses on IE tasks designed to support  information discovery applications. It defines new IE tasks such as entity profiles, and concept-based general events which represent realistic goals in terms of what can be accomplished in the near-term as well as providing useful, actionable information.

[3] C. Niu, W. Li, R. Srihari, H. Li.  2005. Word Independent Context Pair Classification Model For Word Sense Disambiguation.  Proceedings of Ninth Conference on Computational Natural Language Learning (CoNLL-2005)

W05-0605

[4] C. Niu, W. Li and R. Srihari. 2004. Weakly Supervised Learning for
Cross-document Person Name Disambiguation Supported by Information
Extraction. In Proceedings of ACL 2004.

ACL 2004 Niu Li Srihari 372_pdf_2-col

[5] C. Niu, W. Li, R. Srihari, H. Li and L. Christ. 2004. Context Clustering for Word Sense Disambiguation Based on Modeling Pairwise Context Similarities. In Proceedings of Senseval-3 Workshop.

ACL 2004 Context Clustering for WSD niu1

[6] C. Niu, W. Li, J. Ding, and R. Rohini. 2004. Orthographic Case
Restoration Using Supervised Learning Without Manual Annotation.
International Journal of Artificial Intelligence Tools, Vol. 13, No.
1, 2004.

IJAIT 2004 Niu, Li, Ding, and Srihari caseR

(7) Cheng Niu, Wei Li and Rohini Srihari 2004. A Bootstrapping
Approach to Information Extraction Domain Porting. ATEM-2004: The
AAAI-04 Workshop on Adaptive Text Extraction and Mining. San Jose. (PDF)

[8] W. Li, X. Zhang, C. Niu, Y. Jiang, and R. Srihari. 2003. An Expert
Lexicon Approach to Identifying English Phrasal Verbs. In Proceedings
of ACL 2003. Sapporo, Japan. pp. 513-520.

ACL 2003 Li, Zhang, Niu, Jiang and Srihari 2003 PhrasalVerb_ACL2003_submitted

[9] C. Niu, W. Li, J. Ding, and R. Srihari 2003. A Bootstrapping
Approach to Named Entity Classification using Successive Learners. In
Proceedings of ACL 2003. Sapporo, Japan. pp. 335-342.

ACL 2003 Niu, Li, Ding and Srihari 2003 ne-acl2003

[10] W. Li, R. Srihari, C. Niu, and X. Li. 2003. Question Answering on
a Case Insensitive Corpus. In Proceedings of Workshop on Multilingual
Summarization and Question Answering - Machine Learning and Beyond
(ACL-2003 Workshop). Sapporo, Japan. pp. 84-93.

ACL 2003 Workshop Li, Srihari, Niu and Li 2003 QA-workshopl2003_final

[11] C. Niu, W. Li, J. Ding, and R.K. Srihari. 2003. Bootstrapping for
Named Entity Tagging using Concept-based Seeds. In Proceedings of
HLT/NAACL 2003. Companion Volume, pp. 73-75, Edmonton, Canada.

NAACL 2003 Niu, Li, Ding and Srihari 2003 ne_submitted

[12] R. Srihari, W. Li, C. Niu and T. Cornell. 2003. InfoXtract: A
Customizable Intermediate Level Information Extraction Engine. In
Proceedings of HLT/NAACL 2003 Workshop on Software Engineering and
Architecture of Language Technology Systems (SEALTS). pp. 52-59,
Edmonton, Canada.

NAACL 2003 Workshop InfoXtract SEALTS paper2

[13] H. Li, R. Srihari, C. Niu, and W. Li. 2003. InfoXtract Locatio
Normalization: A Hybrid Approach to Geographic References in
Information Extraction. In Proceedings of HLT/NAACL 2003 Workshop on
Analysis of Geographic References. Edmonton, Canada.

NAACL 2003 Workshop Li, Srihari, Niu and Li 2003 CymfonyLoc_final

[14] W. Li, R. Srihari, C. Niu, and X. Li 2003. Entity Profile
Extraction from Large Corpora. In Proceedings of Pacific Association
for Computational Linguistics 2003 (PACLING03). Halifax, Nova Scotia,
Canada.

PACLING 2003 Li, Srihari, Niu and Li 2003 Entity Profile profile_PACLING_final_submitted

[15] C. Niu, W. Li, R. Srihari, and L. Crist 2003. Bootstrapping a
Hidden Markov Model for Relationship Extraction Using Multi-level
Contexts. In Proceedings of Pacific Association for Computational
Linguistics 2003 (PACLING03). Halifax, Nova Scotia, Canada.

PACLING 2003 Niu, Li, Srihari and Crist 2003 CE Bootstrapping PACLING03_15_final

[16] C. Niu, Z. Zheng, R. Srihari, H. Li, and W. Li 2003. Unsupervised
Learning for Verb Sense Disambiguation Using Both Trigger Words and
Parsing Relations. In Proceedings of Pacific Association for
Computational Linguistics 2003 (PACLING03). Halifax, Nova Scotia,
Canada.

PACLING 2003 Niu, Zheng, Srihari, Li and Li 2003 Verb Sense Identification PACLING_14_final

[17] C. Niu, W. Li, J. Ding, and R.K. Srihari 2003. Orthographic Case
Restoration Using Supervised Learning Without Manual Annotation. In
Proceedings of the Sixteenth International FLAIRS Conference, St.
Augustine, FL, May 2003, pp. 402-406.

FLAIRS 2003 Niu, Li, Ding and Srihari 2003 FLAIRS03CNiu

[18] R. Srihari  and W. Li 2003. Rapid Domain Porting of an
Intermediate Level Information Extraction Engine. In Proceedings of
International Conference on Natural Language Processing 2003.

ICON2003 paper FINAL

[19] H. Li, R. Srihari, C. Niu and W. Li 2002. Location Normalization
for Information Extraction. In Proceedings of the 19th International
Conference on Computational Linguistics (COLING-2002). Taipei, Taiwan.

COLING 2002 Li, Srihari, Niu and Li 2002 coling2002LocNZ

[20] W. Li, R. Srihari, X. Li, M. Srikanth, X. Zhang and C. Niu 2002.
Extracting Exact Answers to Questions Based on Structural Links. In
Proceedings of Multilingual Summarization and Question Answering
(COLING-2002 Workshop). Taipei, Taiwan.

COLING 2002 Workshop Li et al CymfonyQA_final

[21] R. Srihari, and W. Li. 2000. A Question Answering System
Supported by Information Extraction. In Proceedings of ANLP 2000.
Seattle.

ANLP 2000 Srihari and Li 2000 anlp9l

[22] R. Srihari, C. Niu and W. Li. 2000. A Hybrid Approach for Named
Entity and Sub-Type Tagging. In Proceedings of ANLP 2000. Seattle.

ANLP 2000 Srihari, Niu and Li 2000 anlp105_final9

[23] R. Srihari and W. Li. 1999. Question Answering Supported by
Information Extraction. In Proceedings of TREC-8. Washington

cymfony

Other publications: SBIR Final Reports

W. Li & R. Srihari. 2003.  Flexible Information Extraction Learning Algorithm (Phase 2), Final Technical Report, Air Force Research Laboratory, Information Directorate, Rome Research Site, New York. 


W. Li & R. Srihari. 2001.  Intermediate-Level Event Extraction for Temporal and Spatial Analysis and Visualization (Phase 1), Final Technical Report, Air Force Research Laboratory, Information Directorate, Rome Research Site, New York.

W. Li & R. Srihari.  2000.  A Domain Independent Event Extraction Toolkit (Phase 2), Final Technical Report, Air Force Research Laboratory, Information Directorate, Rome Research Site, New York.

W. Li & R. Srihari. 2000.  Flexible Information Extraction Learning Algorithm (Phase 1), Final Technical Report, Air Force Research Laboratory, Information Directorate, Rome Research Site, New York.

W. Li & R. Srihari 2003. Automated Verb Sense Identification (Phase I), Final Techinical Report, U.S. DoD SBIR (Navy), Contract No. N00178-02-C-3073 (2002-2003)

R. Srihari & W. Li 2003. Fusion of Information from Diverse, Textual Media: A Case Restoration Approach (Phase I), Final Technical Report, Air Force Research Laboratory, Information Directorate, Rome Research Site, New York. Contract No. F30602-02-C-0156 (2002-2003)

R. Srihari, W. Li & C. Niu 2004. A Large Scale Knowledge Repository and Information Discovery Portal Derived from Information Extraction (Phase 1), Final Technical Report, Air Force Research Laboratory, Information Directorate, Rome Research Site, New York. (2003-2004)

R. Srihari & W. Li 2003. An Automated Domain Porting Toolkit for Information Extraction (Phase I), Final Technical Report, Air Force Research Laboratory, Information Directorate, Rome Research Site, New York. Contract No. F30602-02-C-0057 (2002-2003)

T. Cornell, R. Srihari & W. Li 2004. Automatically Time Stamping Events in Unrestricted Text (Phase I), Final Technical Report, Air Force Research Laboratory, Information Directorate, Rome Research Site, New York. (2003-2004)

 

[Related]

Overview of Natural Language Processing

Dr. Wei Li’s English Blog on NLP

【立委科普：NLU 的螺旋式上升以及 open知识图谱的趋向】

宋：
汉语有些动词，其核心概念其实是事件。对于这种动词V，SV中的S可能是施事，也可能是受事、与事，反正是事件V的参与者。比如，张三上课呢。张三可能在讲课，也可能在听课。张三动手术呢。张三可能是动刀的医生，也可能是病人，还可能是麻醉师、护士。遇到这种动词，填坑比较麻烦。

我:
宋老师 可以换一个角度看。
把 “上课” 看成是 “听课” 和 “讲课” 的上位概念，把 “动手术” 看成是 “施行手术” 和 “挨一刀” 的上位概念。然后 在这两个上位概念的 subcat 中确定其主语填写的是 involved role 或起个其他合适的名字。这个 involved 的角色 在逻辑上 是 【施事】、【受事】和【与事】 的上位概念。这才是合理的分析和系统设计 因为语言事实的模糊性得以合适地被model和保留 不多不少。

宋:
@wei 确实合理。

我:
我们应该改变勉强机器和自己在模糊地带做黑白划分的思路。

宋:
进一步问，这些动词是哪一些呢？有什么特征呢？

我:
以上是引子。这个“设计哲学”我们从前在前知识图谱时代的图谱项目中用过。
那是 15 年前在水牛城给政府做 IE（Information Extraction） 和知识图谱（当时叫 Profile，还没有图谱这个术语）的项目的时候，我们意识到 IE 及其知识图谱 按照 community 的标准定义 都是 pre-defined：所有的关系和事件都是事先定义好的一张空表格，等着 IE 去填写、等着 IF （Information Fusion） 去熔合成图谱，然后利用图谱去做应用。
这个传统有历史的积极作用，IE 因此使得 NLP（Natural Language Processing） 和 NLU (Natural Language Understanding) 有了聚焦，有领域针对性，走出了实验室。
但是随着图谱的发展，我们觉得这样做图谱不够，漏掉很多相关的但事先无法精确定义的重要事件。
我们因此定义了一个概念 叫 GE （General Event），以动词的 arg structure 为核心，里面的 args 在 图谱中的语用角色 就命名为 Involved 这是因为其 event 的语义事先是没有清晰定义的。对于一个 arg 来说，它牵涉到的 GEs 叫 Involved-events，对于一个 event 它的 args 叫做 Involved-roles，这个思想实际是延迟具体角色的确定，先把相关的东西绑在图谱再说，可以不变应万变。（《钩沉：SVO as General Events》）。

回看历史，这是一个典型的螺旋式上升的过程：前IE时代的NLU基本都是 toys，原因之一是自然语言太复杂，NLU试图把语言的千变万化parse成无所不包的语义表达，这是眉毛胡子一把抓，boiling the ocean，完全不切实际。结果就是， NLU 的学者成了象牙塔里面研究各种零星而复杂语言现象的腐儒，做不来实用的东西。

IE 开创了新时代。

美国 DARPA 开启和推动的 IE 从一开始就是语用制导，从实际需要定义目标，从 MUC-1 （1st Message Understanding Conference）到MUC-3 开始定义领域事件（名叫 Scenario Template，ST，"火箭发射"、“高管变动” 等 ），到后来定义的实体以及实体之间的具体的关系，这就把语言处理和理解的任务聚焦了：语言不再是大海，而是海洋中的一个个岛屿。这个扭转是划时代的。

因为语义落地的目标在IE中聚焦了，这就给了机器学习（ML）施展拳脚的机会：ML 把 IE 的任务作为端到端的黑箱子，利用浅层的NLP（譬如本质是 ngram 的关键词models），而不是深层的 NLU，做 IE 抽取和知识图谱。这逐渐成为IE的主流。在IE的community 的 MUC 各个会议中，可以看到直到 MUC-6，两条路线的系统还都有参与和报告，但 MUC-7 以及后续的 IE 的学界（譬如，ACL 的一些 workshops，以及 MUC 后影响和规模小得多的 ACE Automatic Content Extraction program）报告中，规则学派完全彻底地退场了。这与 NLP 整个领域（不仅仅是 IE 这块）的历史趋势完全一致。

统计一边倒到了这个地步，IE 这块肥肉被 ML 在学界独吞了，虽然实践中没有任何理由证明 ML 在 IE 能够真正胜过 deep parsing 支持的规则系统（其实恰恰相反，后者精度更高）。白老师说的，门户之见是不需要理由的，这就是学界的现实。以后也许会改变，但现状就是如此。

但是工业界做类似 IE 或 图谱 工作的，却远非学界那般极端地一刀切，火种尚存，有NL经验的语言学家仍然得以生存，星火燎原的希望也不是没有。如今，NLU 技术已经发展到了大海不再可怕，deep parsing 面对语言大海，无论精准度（precision）、召回率（recall）、鲁棒性（robustness）还是速度（speed），都已经达到了实用的高度，以至于当年的 IE 必须预先定义的框框，在新的知识图谱的设计中成为了一个束缚。突破 predefinition 有利于 open 图谱做大和多用途。历史可以、而且正在开始向这个方向回转。独立于领域的“一般性事件”（GE）与传统的事先定义的领域事件（PE，Predefined Event）开始汇合和互补。

我们作为 GE 和 知识图谱的先行者，早就看到了这个趋向，相信可以看到这种汇合开花结果。在这个过程中，deep parsing 的作用更加凸显。General event 因为目标没有事先预定，对于浅层分析为基础的黑箱子技术路线构成了挑战。GE 的核心就是 arg structure，简称 SVO，是 deep parsing 的自然结果。当年我们给的定义在 GE 里面附加了语用的限制条件（譬如 ignore 指代性 nominalized 的事件），为的是防止把不重要的事件全部喽进来，系统不必要地过载和鱼龙混杂。但那些不过是对 deep parsing 的过滤而已，不改变 GE 立足于 deep parsing 的本质。

NLU 从象牙塔的 deep 起，历经 IE 的 shallow，现在到了可以回归 deep 的图谱时代。这就是 NLP 螺旋式上升的鲜活实例。

 

【相关】

《知识图谱的先行：从 Julian Hill 说起 》

《新智元笔记：知识图谱和问答系统：how-question QA（2）》

《新智元笔记：知识图谱和问答系统：开题（1）》

《泥沙龙笔记：知识习得对本体知识，信息抽取对知识图谱》

【泥沙龙笔记：再谈知识图谱和知识习得】

【语义计算沙龙：知识图谱无需动用太多知识 负重而行】

【立委科普：信息抽取】

《朝华午拾：信息抽取笔记》

泥沙龙笔记：搜索和知识图谱的话题

《有了deep parsing，信息抽取就是个玩儿》

【立委科普：实体关系到知识图谱，从“同学”谈起】

泥沙龙笔记： parsing vs. classification and IE

前知识图谱钩沉: 信息抽取引擎的架构

前知识图谱钩沉: 信息体理论

前知识图谱钩沉，信息抽取任务由浅至深的定义

前知识图谱钩沉，关于事件的抽取

钩沉：SVO as General Events

Pre-Knowledge-Graph Profile Extraction Research via SBIR (1)

Pre-Knowledge-Graph Profile Extraction Research via SBIR (2)

【关于知识图谱】

【置顶：立委NLP博文一览】

《朝华午拾》总目录

 

 

【语义计算沙龙：知识图谱无需动用太多知识 负重而行】

w:
@wei 现在做知识图谱是否大多是工程性的工作了？
漆:
做知识图谱不仅仅是工程
w:
我是觉得李老师，趟过情感分析的河，现在也许只是工程上的工作了
漆:
看你怎么理解工程
w:
同意，虽然没上手这个领域，但是感觉上不是简单工程上的
漆:
知识图谱本质上就是知识工程的一个分支而已，但是里面涉及到的技术还是蛮多的。至少现在深度神经网络，本体推理都用得上，还是有很多理论问题需要解决。
w:
那么，现在受制于那些主要问题呢
漆:
现在还有很多问题没解决，主要是特定领域的知识挖掘很难，特别是中文，很多资源都是缺乏的。而且现在的信息抽取算法精度不是很高，离实用还有一段距离，需要做很多dirty work 召回就更不要说了
w:
恩，觉得现阶段 准确率，胜过召回率 扎实做稳，逐步积累
雷:
对的
w:
就是中文标注的文本源太少
漆:
特别是事件抽取，好像没有谁可以做得很好 各种论文都是没用的 semantic parsing也没几个真正做得好的
w:
反过来说，还是Parser,质量不高的 李老师@wei 没有用上 语义parser，那是啊
漆:
我觉得不仅仅是一个parser的问题了，parser怎么可能做到完美呢 人类的自然语言就是含糊的 所以还是需要各种推理
w:
syntax parser 和semantic parser ,.应该不是严格分离的
漆:
数据清洗
w:
尽管李老师是主张parser 纯点
漆:。而且需要是context-dependent
w:
谈到推理，摊子就大了
漆:
还有常识知识
w:
我觉得专业领域的文本，是否使用推理情况少点，但是标注语料难求。
我:
唉 怎么说呢 让你们这么一议，知识图谱需要这个知识，那个推理，甚至常识，岂不寸步难行 遥遥无期了？照我说，其实没那么玄，有了靠谱的 deep parser，知识图谱的基础就打扎实了。知识图谱无需动用太多知识 负重而行。
漆:
专业领域会有很多业务规则的推理
我:
说了你可以不信
mei:
我也认为parser不够，还需要更powerful knowledge representation，再加推理，knowledge graph @漆
我:
不过还是可以说：中文事实抽取有啥难的 关系抽取有啥难的？
w:
哈！一个知识图谱，常识，推理，都来了，这掀起了NLP中的所有的锅盖啊
我:
这些基本事实的抽取就是小菜，如果与我们所做的 sentiment 做比较的话。客观语言的抽取工作 比起主观语言的抽取就是难度低了一个量级。
漆:
这个倒是 主观的更难
我:
如果因为论文中看到的抽取不靠谱 就断定抽取难的话 那是还没见到而已，不是不存在。
漆:
关系抽取还是可解的
我:
事件比关系的难度是一个水平级的 有了 deep parsing 就是一个玩儿。什么样的 deep parsing 可以让抽取成为玩儿呢？ 就是我每天秀的这个 parser 就可以。它不完美 但足以支持抽取。
w:
相信@wei 几十载个功力，是可以处理相当的问题的
mei:
从抽取到推理都有一大步
我:
当然 秀出来的 parsing 结果仅仅是树结构，隐去了节点信息 抽取是在 arc+节点 两条腿上做的。推理另说。但没有必要把推理作为抽取的核心基础。倒是在知识图谱层面 有时需要一点推理。在抽取层面 无需严格意义的推理。最多是暗度陈仓引进一些零星的 ontology 的 taxonomy。
漆:
您现在的parsing还是单句的，如果是段落，有关系依存的句子，难道也是一样？
我:
parsing 都是单句的 抽取也是 一码归一码。
w:
在想，各种需求，如何结合得更好。一方面说现在没有好句法，另一方面，现在的句法好得很。这又都同时出现在本群中，如何衔接空隙呢？
mei:
单调的static predicate，knowledge graph之上加推理有很大一步。ontology也可以做成知识图谱的一部分，可离story understanding还差远
我:
到了做融合（fusion）的时候，需要跨句、跨段落、跨文章。
漆:
有些关系是跨句抽取的，如果只是单句抽取倒还好
w:
如果单句复杂得很话，也相当复句，或小段落了@wei 的大长句parsing 结果
漆:
是的
w:
同意@mei 可离story understanding还差远。我觉得现在篇章理解的初级阶段都不是，不能看论文的发表情况，看实用效果和市场产品，更为真实
我:
这里的问题是 story understanding 是一个什么任务？为什么产品或应用服务？如果抽象地说，understanding 很难，这是宇宙真理。如果具体到支持某一个应用，问题往往简化。譬如 如果知识图谱用来支持 entity 展示其中关系以及牵扯到的事件（所谓顺藤摸瓜），那么 understanding 与否 其实不会根本影响。
w:
story understanding，当然不一定是story,就我而言，我认为很重要，有产品需求。可以自动提取人类知识的规则，建立常识知识库，而不是手工CYC啊。
我:
CYC 也是如此，要 CYC 干什么用？抽象的说，常识及其常识推理是人类调动的知识手段，那么机器模拟人的话，自然也需要这个手段。但是具体到一个应用，问题不是这样的 因为很多应用无需常识就可以。
w:
来让机器认识我们周围的世界，有点常识，不要太机器
我:
CYC 叠床架屋一直得不到大用 根子就是只有它能做的事儿并不多。很多是，语言分析就可以做，常识也可以做，为什么要舍近求远呢？
漆:
CYC确实是用处不大
w:
当初研究 自然语言的目的，就是为了让机器思考，思考需要知识，知识来源于书籍（不限于），书籍需要表达，表达需要语言，---转了一个大圈，原来是卡在语言理解这块
漆:
不过常识知识还是很重要的，比如说，我们现在做地理知识问答，就需要很多地理常识知识 特别是空间知识
我:
QUOTE 三位语义巨人中探索知识最深入和纯粹的是 Lenat 教授，他带领团队手工开发的 cyc 知识系统，试图从常识的形式化入手，利用常识推理帮助解决语言理解等人工智能核心问题。可惜这套庞大的系统太过复杂和逻辑，在实际应用上有点像大炮打蚊子，使不上劲。 （《语义三巨人》）
mei:
CYC 都是手写的，很难实用。
漆:
挺有意思的一个博客
w:
常识是针对问题的常识，不是无边际的
我:
QUOTE cyc 是属于未来世界的。他的 cyc 探索必然在历史上留下足迹，未来的某一天，他会被人纪念。生不逢时吧，虎落平川。（【一个人对抗一个世界，理性主义大师 Lenat 教授】）
w:
@mei 所以要自动提取。篇章理解好了，提取也就成了
mei:
所以很多实用是针对一个一个vertical的。同意。要也能自动。
w:
不赞同CYC手工，也不是长远事。语法是骨架，但是要真实世界的话，光语法是不够的
我:
094610c29n9t6heepp4891
（【立委科普：自然语言理解当然是文法为主，常识为辅】）
此图是要说明，只有 common sense 才能做的工作其实是很小的圈儿，而常识本身的形式化很难 很大 也很脆弱。
漆:
同意
我:
所以理论上万能的常识 实践中意义有限。
漆:
不过没有这个很多任务也不好完成
mei:
所以我说要knowledge representation 和推理
w:
同意常识很脆弱，不排除甚至走走就会自相矛盾。
我认为“常识本身的形式化”的最好形式就是自然语言。哪怕简洁自然语言，人人可懂，人人可修。自然滚雪球越走越大。否则，形式化这关就毙了。其他的三元组，都是不周全的。
我:
QUOTE 在自然语言处理的空间里，多年的实践使我们可以做一个宏观估计，大体说来，文法可以搞定大约80%的自然语言现象和问题，表现在图中就是绿色和棕色的区域。常识呢，因为常识系统很难建成，其应用尝试就更加艰难（这一点后面谈可操作性还要重提），我们其实不知道单单用常识、不用文法到底能解决多少语言问题。我们暂先给一个乐观的估计，假设它也可以解决约80%的问题，在图中用红色和棕色表示。绿色区域和红色区域所要说的是，语言中有少数现象文法可以搞定但常识搞不定，也有少数现象常识搞定但文法搞不定。
上面图示要传达的关键信息是，即便文法和常识都能搞定很多语言问题，二者必然具有相当大的重复面或论据冗余度（棕色区域）。这个推测应该是有道理的，因为文法可以搞定多数现象是可以证实的，笔者也多次经历过。那么常识如果可以大部搞定同样的问题领域，就必然与其大面积相交。
结论： 综上所述，规则系统中，文法为主的路子比起常识为主的路子要靠谱得多。无论规则系统还是机器学习，常识成为自然语言核心技术，既无必要，更无可能，后学谨记。作为科学家，你可以进军这一领域，但不要指望它在现实中开花结果。如果你要做工程，请绕开常识这个monster，你可以零星地收编一些常识，切忌陷入深不见底的常识（推理）系统的泥坑。
w:
@wei 这句话还是有印象。但是，发展的话，这是如何绕不过去的 就看谁来为，怎么为了
漆:
同意
w:
各位先聊，我这边忙，谢谢各位
白:
在投资领域，还是必须把常识进行到底的，哪怕手工做，只要价值在，时间够，就要往前推。没有常识的舆情都是耍流氓。
梁:
@w 赞成用“简洁的自然语言”，或受限语言，表达常识。
而且是 Domain Specific, 金融领域，明显可做。 另比如，tester 的语言是: Given-When-Then, 我很喜欢 Cucumber 语言。
w:
谢谢！
谢谢梁老师肯定，关于选用简洁语言做常识表示，当初也是基于知识库的长远发展性考虑的。
梁:
对呀，只要未来的小读者喜欢读它，愿意扩展它，这种语言可以 evolve. 它就活了。
w:
它也不是仅限于常识性的知识，对定义性知识，过程性知识，都可以。只要愿意参与，容易参与，多人来参与，确实就走活了。现在很多知识库为知识库而知识库，没用起来，再大也是静态的死库。
比如说有一个做一道菜的过程知识。描述语言先不多说，肯定人能懂也好改，机器明白几何不论，但能照做并做出菜来。那么后人看加点这个，加点那个，菜味有改善。又有人觉得一某个过程火候调一下更好，这样不断众人拾菜火焰高，这道菜就越发有发展了，发展到极佳。当然这共享知识，做菜机下载能用，参与“流通”，那么这做这道菜知识，就是活知识，当然也可能这知识发展饱合了，也是好事一桩，那说明这菜己炉火纯青了，人们可以考虑别的菜了。
知识块就这样一个点，一个小区域慢延展开来，随后形成某一个知识体系，可被调用的活知识。
梁:
对呀，a piece of knowledge, 人人可以参与，改它，更新它，微调它，download 它，使用它。
我:
难道 wiki 不就是如此而且成功了吗？连那么尊贵的大英百科 也不得不退让。
梁:
yeah, wikipedia 模式，但它的 business model, 它怎么赚钱？
w:
wiki的知识更多是面向人类的而非机器。机器理解不了，就消化不了，转化不成力量
我:
受限语言践行最久大概算波音了 但那是需要接受培训。
w:
接受培训这样的语言能传播多远？
我:
辅之以机器检查才能成事 天生就不是wiki一样开放给社区
w:
那种培训语言也就真只是“受限”语言
我:
不受限 那就采 wiki 模式 靠的是人编辑确保质量和一致性
w:
我认为是不自觉地参与进来，不觉累，没有义务，都有收益的编辑模式，就自然成风。中文的wiki规模就寒酸了。另外这种wiKi编辑模式，也有待改进之处。
@wei 李老师的规则描述可否走向普通人可编辑的方向？这样大家共建，走向查缺补漏的新天地
梁:
对呀，大家共建，共享，当然还要李老师培训把关。
w:
今天我和梁老师很有共鸣，是非常高兴的事。这边很晚了，再见！
梁:
原来在陈肇雄黄河燕老师的公司里做汉英系统，调句子，十几个女孩子一起干，调规则和字典。干得挺开心的。collaboration is great。:)
Good night
我:
最好是男女搭配 那就更开心。最后还是要一个掌舵人的指引和宏观保障，否则可能成为 over done 的系统 负载太重难以前行。微软前 nlp 组由着一帮语言学家做 系统庞大 如今基本废弃不用了吧 可惜了里面那么多语言学总结 不见天日。

【相关】

【立委科普：自然语言理解当然是文法为主，常识为辅】

《语义三巨人》

【一个人对抗一个世界，理性主义大师 Lenat 教授】

【立委科普：信息抽取】

《朝华午拾：信息抽取笔记》

泥沙龙笔记：搜索和知识图谱的话题

《知识图谱的先行：从Julian Hill 说起》

《有了deep parsing，信息抽取就是个玩儿》

【立委科普：实体关系到知识图谱，从“同学”谈起】

《朝华午拾》总目录

【立委科普：实体关系到知识图谱，从“同学”谈起】

同学 同乡 同桌 同门 同事 同仁 同性恋 朋友 对象 配偶 恋人 爱人 。。。 这类词（R），作为逻辑谓词，语义上实际上有两个 arguments 的坑要填。这两个坑是 reciprocal 的，其逻辑语义关系就是 human 实体之间的R关系。其汉语的句法表达是：

1. NE1 BE NE2 的 R
张三是李四的同学
== 李四是张三的同学

2 NE1 NE2 R
张三李四同学过
== 李四张三同学过

3 NE1 AND NE2 R
张三与（跟、和、同）李四同学
== 李四与（跟、和、同）张三同学

4. NE1 NE2 BE R
张三李四是同学
== 李四张三是同学

5 NE1 AND NE2 是 R
张三与（跟、和、同）李四同学
== 李四与（跟、和、同）张三同学

6 NP（Plural）R
她们从小同学

“她们” 不仅仅是 Plural 而且必然是指的 2 entities

7 NP（Plural） BE R
她们是同学

BE（联系动词）包括：成为、变成 、当、当成、疑似等，还有介词 “作为”也可归于此类。R 在汉语是名词，有时也“活用”为动词。逻辑上对应的是 （1） 指代；（2）逻辑谓词（表达实体关系）。最有意思的是 R 的双重身份（polymorph，学过C++的都知道这个）使得 R 可以自己给自己填坑。因此本来 R 是有两个坑的： 谁1与谁2 发生了 R 的关系，但由于实体（指代）的 R 可以自己填 谓词R 的坑，结果在简单的名词短语 “NP de R”（e.g. “我的同学”、“张三的同学”）的结构里面，语义坑填满了（saturated），很圆满的样子，一个是 R 本身，一个是 NP：

“我的同学” 逻辑上等价于
==【我】是【我的同学】的同学
==【我的同学】是【我】的同学

假如我的同学叫“张三”，我叫“李四”，貌似同义反复的第二句其实是：

【我的同学（张三）】是【我（李四）】的同学。
== 张三是李四的同学。

逻辑表达式是： 同学{张三，李四}
Note 谓词后是集合 { ...... } 不是 list < ...... > 因为此类关系是相互作用（reciprocal）的，没有逻辑的次序。

最后说一句，这类实体之间的关系的抽取挖掘，是建立知识图谱（knowledge graph）的一个核心任务。我们当年给起了个名字叫 CE（Correlated Entity） relationship。说话已经15+年前的事儿了，那时还没有知识图谱这个被谷歌炒热的术语。没必要谦虚，我们是知识图谱的 pioneers（之一）（《知识图谱的先行：从Julian Hill 说起》），我们当年的工作对于美国国防部立项知识图谱起了关键作用。这是旧话了，好汉不提当年勇，要往前看，看借助 deep parsing 的核当量的威力，能不能施展一下拳脚，在中国和中文知识图谱大业上建功立业。

好风凭借力，送我做图谱。大数据图谱之上，种种应用在望，问答系统（QA）、智能浏览（intelligent browsing）、语义搜索（semantic search），等等等等。不求名利，无意宇宙，但求 put a ding 在我大唐。一切具备，只欠东风。求主保佑。

 

【相关】

【Bots 的愿景】

《知识图谱的先行：从Julian Hill 说起》

【泥沙龙笔记：知识图谱是烧钱但靠谱的战略项目】

【立委科普：信息抽取】

《朝华午拾：信息抽取笔记》

《有了deep parsing，信息抽取就是个玩儿》

泥沙龙笔记：搜索和知识图谱的话题

《泥沙龙笔记：知识习得对本体知识，信息抽取对知识图谱》

【泥沙龙笔记：再谈知识图谱和知识习得】

前知识图谱钩沉: 信息抽取引擎的架构

前知识图谱钩沉: 信息体理论

前知识图谱钩沉，信息抽取任务由浅至深的定义

前知识图谱钩沉，关于事件的抽取

钩沉：SVO as General Events

Pre-Knowledge-Graph Profile Extraction Research via SBIR (1)

Pre-Knowledge-Graph Profile Extraction Research via SBIR (2)

置顶：立委科学网博客NLP博文一览（定期更新版）】

《朝华午拾》总目录

立委NLP频道

【语义计算沙龙：深层做出来了，抽取还会远吗？】

mei:
@wei 我提议过，你的parser，能做个API 吗？NLP as a service。如diffbot.com. They are good revenue. Single founder. Large impact. Recently got $10 million series A from ten cent.
还有，你能做几个语言？
diffbot 的NLP/IE 比FB 好。其实小公司 比大公司做的好是 常有的事。所以大公司只好靠acquisition
我:
现在就是 API，内部也是 API 调用。NLP 做 service 或 component technology 作为 business 以前很少见到挺得住的，但对于个人创业，是可能短期“成功”的，毕竟现在的形势也不同了。
我带领我们组做过 18 个语言，囊括所有主要欧亚主要语言。我自己亲手做的是英语汉语世界语，亲自指导过的是法语、俄语、土耳其语。
我:
你说的是 FB 的 deep text？？
mei:
FB 几次 NLP effort都差
现在形式是不同
Diffbot 很成功。每个大公司要买，他们不卖
我:
前两年我与FB里面的人聊天，他们才刚想 NL 的事儿，没什么概念，做得很浅。
Diffbot 是个什么背景？
马:
这家公司不算NLP吧 他们主要做爬虫和正文抽取
我:
抽取可以不用 parsing，或者只用一点 shallow parsing 但抽取是 NLP 这个大伞下面的。另一方面，有了 deep parsing，抽取就是一个玩儿。
马:
他这个抽取不是IE而是从html里提取文本 对文本的结构并无任何分析
我:
那是当年 whizbang！，一个路数。
当年做得很好 泡沫破灭投资人撤资 可怜几麻袋源码 白菜价拍卖。最后 inxight 买了也没见消化 自己也当白菜卖了。
马:
也许会历史轮回，也许会" This Time Is Different "
mei:
Diffbot 没做parsing做IE
crawling，取text只是第一步
白:
深层就算做出来了，怎么抽取还有很多问题。几个难点：1、多重否定：我不是没注意到这件事他没生气。2、多重模态：我知道他相信你不否认某某的领导能力。3、高阶表述：对油价快速上涨的预期减弱。
如果都还原成情感三元组：《对象、属性、极性》，貌似有问题。
你可以放过，前提是识别准确；如果没放过又做了错误识别，就玩大了。
mei:
IE parsing 都只是NLU 的一部分。真正的story understanding 且得做呢。研究生时学的story understanding/knowledge representations, 现在没一家做到。做NLU/AI且得做呢！
我:
白老师说的那些 都见识过。Sentiment 做了四五年了 抽取挖掘做了18年了 能想到的 都见到了。只不过 绕弯不过三 这是基本原则 有时有意选择不做。不是不可以做 是不必做。
白老师的所谓三元组的表达更不是问题 因为表达是自己跟自己玩。识别了 还能无法表达 人不会被尿憋死的。
白老师认可一部分长尾可以选择不去做 但警告说不做不过是漏掉长尾而已 对于大数据 漏掉不是问题 问题是没漏掉 却抓反了。这个对没有经验的开发者 的确是个挑战。对于我们 早已突破了。
白:
自己跟自己玩是因为同质化的东东放在一起有计算手段上的优势，来一个异质化的东东，只好撇在大锅之外了。伟哥有本事开小灶，其他人就难说了。
我:
因为选择不做 与识别准确 不在一个量级上。白老师说的这些问题对学习系统构成的挑战 要比规则系统大很多。
白:
不怕漏识，关键是别误识
我:
对于学习 不是选择做与不做的问题 基本上是到不了选不选的那一步。因为缺乏结构 只能撞大运。凡是绕了几层的结构对于缺乏结构的系统 基本上是噪音 如果标识的时候 手工排除 对学习更有利。不要指望解决它 最好是不要干扰了学习 把系统弄糊涂。
我们从来不是为深层而深层 深层从 day one 就是与抽取挖掘无缝连接的 就是为了支持语用的。不像 syntaxnet 离开应用还有 n 丈远。

遭遇脸书的 Deep Text

前几天脸书发布 Deep Text 新闻，在AI和自然语言理解领域引起热议，媒体上也闹出很大的动静。昨天笔者第一次亲身遭遇脸书的 deep text, 确认了其浅层无结构的本质，甭管它训练了多少层。
我跟女儿对话总是用脸书，她的圈子都用脸书，基本不用微信。她遇到一个烦扰有点着急，我就告诉她 take a deep breath， 没想到脸书立即跳出了 Uber 的链接：我只要一按钮 出租车就会来。
天哪 这就是所谓 deep？很可能不过是个基于 ngram 的分类系统，哪里有 deep nlp 和结构的影子？
大概训练集里有不少 Take a ride， Take a cab，  结果 take a deep breath 就也成了“出行”类事件了。这种信息抽取要是在 parsing 的结构基础上，哪里会出这样的笑话。
报道说什么deep text理解语言接近人的水平，牛皮吹没边了。比我们 parsing 支持的抽取能力和精准 相差何止以里计。
这其实不是意外的发现，因为机器学习界一直就是在浅层做NLP，没有深度，没有结构，没有理解，缺乏细线条的分析 (parsing) 能力，大多是粗线条的分类 (classification) 工作。
对于分类系统 只有输入text大 机器学习才有效。如果是短消息，基本就是瞎蒙，关键词密度在短消息中没有了优势，缺乏 data points 的证据。
事实上，迄今的几乎所有的nlp应用，基本局限于无结构，机器学习 deep 不 deep 没有改变这一点。这很可能是为什么深度学习（DL）在 text 方面似乎不给力的症结所在。
宋老师前两天说话，学习 deep 了 的好处是可以消化更多的训练数据，但是数据的增加永远是线性的，而 text 里面的结构性决定了语言的组合爆炸，因此深度学习不会因为增加数据而根本改观，稀疏数据依然是挑战。ngram 与 bow（bag of word） model 不变，再深的训练依然是在语言浅层挣扎，只能做粗线条的 nlp，却难以胜任细线条nlp的任务。ngram 只是语言结构的拙劣近似，缺乏结构是迄今的死穴。
parsing 基础上的事件抽取（event extraction）比ngram上的事件分类（event classification）高出岂止一头，一细一粗，一精一庸。