白: @wei 微博上的讨论很有代表性。
李: 看到了，这个错误放大（error propagation）的问题，我以前也讨论过。很多人是杞人之忧，包括雷司令。@雷 你上次说到，parsing 需要准确才好做知识图谱。还说差之毫厘失之千里，其实完全不是这样子的。估计你是深陷在你的 parser 里面，还没有真正放开手做知识图谱的工作。
说句实话，所有的抽取工作，对于 twitter 和微博这样的短消息的细线条的舆情抽取是最难的，知识图谱这样的工作比起前者简直就是 piece of cake. 我们跟舆情奋斗了这么几年，比较了一下里面的复杂度和tricky的地方，也比较了里面实现的规则，可以说，最难的果子已经吃过了，剩下的大量的知识图谱类的抽取挖掘关系，在 parsing 的基础上，就是一个单纯的工作量的问题，没有门槛，没有难度。
信息抽取中的两大类，一类是客观事实类抽取（关系和事件），针对的是客观语言（objective language），这就是知识图谱的主要内容。另一类是舆情抽取，针对的是主观语言 (subjective language)，情绪和评价类。后者的难度高出前者太多。
客观事实类抽取包括：专名 NE, 这是做基础的工作。下面就是在这些NE之间找关系（relationships），找事件（events）。为了抽取出来的东西可以整合（fusion），为挖掘服务，里面还有一些 CO （coreference）的工作。
雷: 知道Watson是怎么抽取相当于100万书籍的知识吗？
李: 上次我就说，如果主语宾语弄错了，那么按照错误放大的说法，抽取是不是就一定做不了呢？答案是否定的。parsing 错了，也可以支持抽取。只要错误是可以预见的，错误不是全方位的。
推向极端就是 @白 老师的“意合”系统。你看，根据词和词的 semantic coherence 的某种模板，甚至没有 parsing 都可以做。何况有了 parsing，不过是 parsing 偶然断链，或错置呢？有很多弥补 parsing 错误的手段可以在接近产品的层面施展，包括 domain knowledge 和 ontology。
雷: 我做过英文文献的药物副作用的抽取。严格的svo，结果不错。但我的感觉是，如果parsing再准确一些，结果会更好，而且事后的处理要少很多。这个仅仅是我的感觉。
李: 再准确也不能完美，主要还是思路要转变。
提高准确性是一个 incremental 的过程，而且一定会遇到 diminishing return 的两难。关键是在做抽取的时候，要知道，利用 node 的信息，可以弥补 arc 信息的不足。node 就是词，arc 就是句法。句法不够，词来补，因为词本身就是语义的最基本的载体，里面可以玩出很多名堂来，包括 ontology。
雷: NLP像地基，如果结实，可以起高楼。后续的修补要少，后面的工作就是建立FACTS，问题是战线要拉多长。
白: 意合法从来不拒绝partial parse tree，句法有什么拿什么，没有也憋不死。
李: Parsing 当然是地基，地基好了一定省力，这都没错。这么多年鼓吹 deep parsing 就是基于同样的理念，因为业界的 parsing 太 shallow， 没有地基。中文NLP 玩了那么多年的业界，谈起 NLP，默认就是切词，或者在切词上做一点啥，譬如 base NP。
雷: 事后修补也是对的，这个在认知心理学中也有证明。但是，这种事后修补在认知中不是大量的。工程的探索和应用是一个方向，认知上探索也是一个方向。
李: 白老师，严格的说，不是句法与语义配合到怎样的比例才做好系统。我们实际上是说，显性形式和隐性形式怎样搭配（参见【立委科普：漫谈语言形式】），才能出一个高效的NLP系统来。可以简单地用句法手段来代表显性形式，语义手段来代表隐性形式，但是说句法语义容易歧义，不容易讨论清楚问题。所以上次，白老师提到 POS 有时候有害，不如语义分类好用。其实白老师说的不过是粗线条的隐性形式POS（一共就给词做10多个POS分类）和细线条的隐性形式（成百上千的语义分类），后者对于汉语分析的重要性。这个没有任何疑问，因为说的都是一家：隐性形式，都是语言里面看不见的形式，都是人必须在词典了给出的 tags，或者需要专门模块去给的 tags。所以我说，再纯粹的语义系统，只要是为工程用，就绝不可能放着显性形式不用，而去舍近求远地依靠隐性形式的语义。只有理论研究，可以放弃显性形式，因为放弃了显性形式，可以从理论上做出一个 universal parser，它可以 parse 人类任何的语言。显性形式（词序，小词，词尾和其他语缀）是 language dependent 的，只有剔除它，才可以做"纯粹语义" 的系统。
雷: 同意，不能放着有用的信息不要。我觉得模拟人的认知可能最是捷径。
白: 前提是，句法不能挡路，不能说你分析不出来了还不让语义按自己的逻辑往前走。
李: 还有，纯粹语义系统肯定不如显性形式可靠。在显性形式可以决定的时候，没有语义（隐性形式）出场的必要，它只会添乱。乔姆斯基的 Green ideas 的伟大实验就是要证明，显性形式能够做决策的地方，语义和常识都失效了。汉语中，“铅笔吃了我”，“铅笔把我吃了”，就是又一例证。绝对不会因为有了隐性的语义格框：动物-吃-食物，就可以用来解决 “铅笔吃了我” 这样句子的语义，这时候是（显性）形式的句法所决定。这样的句子就是显性形式词序或小词“把”在主导，没有语义（隐性形式）出场的空间。再举一个有力的例子，在有显性形式的格标记的语言，宾格基本对应的就是宾语。没有一个 parser 会不利用显性形式格标记，来做分析的。因为它明明告诉了“我已经标注好了，注定要做宾语”，你有什么道理要按照[动物-吃-食物] 这样的语义框格去找宾语呢？
白: 注定的话也不要说绝了。在幽默或修辞的场合，会来翻旧账的。
李: 意思你明白的。
雷: 语意是一个没有学过语言学的人可以说上一些东西的，但他很难说语法的东西
白: 你说的那不叫语义学，叫学语义。
小词本身也携带语义信息、结构信息，比如“的”。为什么我说从语义角色指派的逻辑上看“这本书的出版”和“这本书的封面”有很多共同之处甚至本质上相同，就是因为它的回环结构。
雷: “这本书的出版”和“这本书的封面”的相似度又有什么计算方法吗？
白: “出版”有两个坑，“封面”有一个坑。“的”是提取坑，不管一个两个，不管动词名词形容词。
雷: 出版与封面在wordnet上有什么近似度吗？
李: 你那个“的”是提取坑，我搞不明白。出版是逻辑动词，封面是逻辑名词，迥异。
雷: 封面是没有坑的，有属性，封面是一个class，坑是method提供的。
白: 有坑，part-of，是什么的封面
李: 这是一个 single-arg 的坑，partof 和 wholeof 互为坑。语义面上的，不是传统句法subcat上的坑。
白: 对，一价和二价的差别，如果规定从右边的变元提取，就没差别。右边饱和了，就往左挪。及物动词填掉一个宾语，就成了不及物动词。与此类似。
李: 具体谈一下这两例。结论是？
“的”作为显性形式的小词，其提取作用，与英语小词 of 和 's 类似：
translate A into B --> translation OF A into B
A's translation into B
a book's translation into B
a book's title
白: “的”的定义，就是f(x1，x2，……，xn)的xn，你给我一个f，我就给你一个xn
雷: 以面向对象的模型类比，class，method，和attribute，书是class，封面也是class，但封面又是书的一个attribute。
李: 一般的关系分析并不深入到“partof”这个级别。一般遇到 “的” 或者英语的 's/of ，就是粗线条分析到 Possessive 这一个包罗万象的关系为止。这本书的封面，粗线条就是，“封面”属于“这本书”。而“这本书的出版”则不用，所有的分析都指向动词的 subcat。
白: 粗线条对于汉语不行。汉语有显式的句式与part-of有关。
李: “这本书的出版”，只是利用了小词“的”，把动词名词化，与动词直接加宾语，分析同：出版加宾语，通常在右边，这是一条。变式就是：可以名词化，用“的”，宾语前置。
白: 比如 “老李把脚冻肿了”，缺省是老李的脚，不是别人的脚。
李: 那是，不过这个分析真地太细。
雷: 老李的脚是一个NP
白: 老李的脚，老李的讲演，老李的意见
李: 缺省是老李的脚是常识，否则就会显性的把别人的脚表达出来。英语 “撞了我的头” 常常是：hit me on the head，这个 the 缺省的就是 me。翻译成汉语就用显示的 possessive。
雷: 老李的人的概念，提供属性与构成结构
白: the有anaphor的功能。
李: the 不过是显性地标注了 anaphor ，汉语没有 the，默认的还是 the，而不是 a。凡是一个名词表示非限定的含义的时候，其汉语的用法和条件相对来说，比较可以找得出来。而默认的 the 的含义，不太容易找出条件来，所以默认是个好东西，不需要去定义外延，外延靠别的东西去定义。
雷: 昨天不是有一个language universal的帖子吗？相近原理。
白: 看看汉语讲故事怎么讲：从前有座（a）山，（the）山里有个（a）庙，（the）庙里有个和尚讲故事。
李: 对，我们其实有 a，但常常没有 the，于是 the 是默认。量词是 a，"某" 也是 a, 我们甚至直接用“有”来表示 a （“有人”昨天来讲课了； “有部件”坏了--》一个部件坏了）, 当然还有”一“，也可以用做 a，所以汉语表示 a 的形式手段还蛮丰富，因此就不需要 the。the 是默认，实在还是不清晰，就用 ”这“、”那“ 等指示小词来强调一下限定的语义。
白: 都是不带形式标记的anaphor
雷: 细致的坑是ontologies的。parsing中动词和形容词有坑就可以了
李: 传统的 subcat 的坑是粗线条的，里面映射的可以是细线条的语义约束的坑。语义模板与 subcat 的关系。
白: anaphor 的 trigger 必须带坑。本身共指，或者 part-of 共指。记得 Winograd 讲过一个例子，一个小孩得到了一个礼物。当他打开（the）盒子，发现……。盒子就是装礼物的盒子，用the勾连起来。
李: 恩
白: 咱汉语里都是隐形的，于是“盒子”作为 “坑的 provider”，必须写到词典里。封面，也一样。
李: 恩，封面的优先主人是谁的信息在词典里，针对的是出版物。
白: 出版的受事坑，恰好也是。所以用的，一提取一个准儿。
县长派来的，比这复杂，因为"派"和"来"各自提供的坑，被一个“的”给提取了。或者说，"派"和"来"，经过了一次内部整合，统一一个坑对外，被“的”给提取了。派是兼语动词（三个坑），来是不及物动词（一个坑）。但是“派”最左的坑被“县长”填充，饱和了。“派”的另一个“事件”类型的坑，只能接受“来”。于是剩下的那个类型为human的坑，与“来”提供的类型为animate的坑，统一对外了。
李: 很有道理。填坑最好的是只有唯一的候选人，没其他可选。最麻烦的是要动用语义优先。语义优先可以作为知识，预先学出来或标出来，或半自动，先学后标（postediting）。可是在使用现场需要层层松绑，想想就头大。遇到结构歧义（不是伪歧义），还不是松绑的问题，而是对比的问题，要看三角恋的三方，哪一对最有 chemistry。松绑只是对条件按照 taxonomy 去有步骤放宽，而对比不是，对比需要动态的看随机配对的力量对比。不是不可做，是 overhead 太大。如果不考虑 overhead 和实用，力量对比的评判比层层松绑更容易，因为前者是二值的，总有一个吸引力更强，后者是趋于离散的。
【相关】
【李白之50：符号战壕的两条道路之辩（续）】
白:
我的思路是：句法维护纯二元关系，模式编码进subcat，直接对接语义。纯二元关系对模式既兼容又有更大的robustness，不用白不用。
李:
pos 支持句法做粗线条分析 ｓｕｂｃａｔ支持逻辑语义做细线条分析？
白:
必须的
李:
那倒未必。可以结合做的。显式的句法语义关系可以一起做, 没有句法关系的隐式逻辑语义可以推后。subcat 结合句法语义。
白:
模式方法中，小词的缺省和成分的倒置，只能认为是不同的模式，不穷尽则不work。二元关系方法中，缺了小词也好，倒置也好，在subcat那里都可以重构出来。输出是现成的，既可以跟着cat一起输出，也可以等语义落地了再输出。这是个简单的配置问题。
李:
缺省不怕：就是 optionality，不是模式必需的。倒置的确需要增加模式，没办法，模式也是线性。
白:
“我紧张，一见到那个人。”
省略了“就”，而且倒置。但是在二元关系方法下，这都不是问题。
李:
但ｎ元模式，在多层系统中，并非全排列模式。模式负担完全可控。也可以类似于二元的样子，一层层做：起码动宾与主谓通常被认为是不同层次的组合，无需SVO全排列。推得极端一点，ｎ＝２，多层ｎ元就成了２元，也是可行的策略之一。
白:
对“一”的subcat标注，已经隐含了对“就”的“脑补”。
语义frame任何语言中都不必然是二元关系，这层落地映射，本来就是缺不了的，并不是因为模式而特设的。
李:
exactly
白:
句法专注二元关系，好处多多。
李:
１ 【一ＶＰ（S）就ＶＰ】
２ 【一VP】
也就是两条模式捕捉的事儿。都很直观 intuitive。捕捉了，还不是要怎么玩语义怎么玩。
白:
这实际是语义直观，跟那些多元关系是同等对待的。
李:
第１个模式涉及５元，第2个模式是ｂｉｇｒａｍ，我说过，模式也就是以三元为峰值的正态分布。并不是想象的那样组合爆炸，完全在可掌握之中。最大特点还是其接地气，直观，容易 debug 和维护。不就是给语言结构拍照吗？所谓句型练习（pattern drills），人学语言也就是这么个事儿，我们当过外语老师的，都知道 drills 的重要。
白:
那个完全是UI的问题
李:
如果你做二元配对，我心里想的是五元模式，【一ＶＰ（S）就ＶＰ】 这样的模式，你如何把二元的过程ＵＩ到我感觉舒服的五元模式呢？
白:
双宾语结构也是一样啊
二元的过程是在机器里发生的，五元模式是结果，不在一个频道上。边加够了，五元模式就出来了，就这么简单。
李:
机器发生的过程 不是基于词典的标注吗？这个标注不需要人去做 去维护 去 debug？
白:
但过程总是一个一个边加的
李:
那是因为你的 parsing 是 PSG的 parsing 过程，虽然表达的是DG。这个 PSG 的过程，是遇到任何物件都不能跳过去，要一个一个的叠加组合。
白:
能跳，否则就无法处理交叉了
李:
从你画的图看，还是一个不跳地在叠加，只不过叠加的顺序可以不同，然后导致一些远距离二元关系的最终建立。（当然你的Ｘ见人见鬼，先加上再说，也算是一种模糊应对或“跳过”。） 换句话说，parsing 的总过程与经典的 chart parsing 没有看出大的区别。
白:
这理解是错的
李:
可能。也许我看得不够仔细。
白:
从数学上看，模式引发的步骤不是分析树的“构造”而是分析树的“映射（变换）”。这个映射环节引入PSG还是引入DG的差别是细节的差别，核心的精神都是一致的。如果你说的“跳跃”意味着“映射”的引入，我目前确实没有，但 1、这并不影响在较上层的节点上，映射的结果和非映射的结果会得到相同的语义落地。2、如果一定要引入映射，与我现在的体系也毫无违和感，可以兼容处理好的。
另外，不包含映射的技术方案并非都是一丘之貉，彼此之间可以有天壤之别。这实质上是模式驱动的“一揽子”填坑动作，可以加速分析进程（就是你说的“跳跃”），又不破坏填坑的基础架构。但是我要说的是，既然看到了这个实质，映射的触发就不必拘泥于从左到右的模式匹配，一定程度上的词袋模型一样可以触发！实际上我在subcat里面做的事情就是这种不完全信息的模式触发，只不过做在了语义层。语义层都能做，回头做句法层纯粹就是锦上添花，照顾语言学家的UI感受而已。我不看好从左到右依次匹配，但我认同通过映射实现跳跃。语言学家不应该成为排列组合匠, 更不应该为某项排列组合的缺失而背黑锅。除非该项排列组合有明显不同的语言学意义。此其一
另外一个因素就是模式在激活之前的状态一定要有一个载体，而且这个载体必须跟着分析进程动态维护。伟哥有分层的fsa做这个事情，我是用词负载的subcat（实际上就是词袋）做这个事情。词袋的好处就是对排列无感，只认组合而且允许组合缺斤短两。在某些场合，词袋的部分填充会造成激活歧义。所以要用“状态”记录这些有歧义的部分填充（套用时髦的量子话术，这就是几个候选词袋的“叠加态”）。随着分析进程的展开，叠加态会“坍缩”到确定的词袋上，完成激活。
李:
大赞。...... 先赞后辩。
没全看懂 但似乎又懂了 貌似透过做法看实质 有不少共同的观念。消化消化。
白:
“人肉”本意是名词。在“人肉搜索”这个短语中是副词（N降格为S+），意思是用活人去深挖特定对象的隐秘信息。再简化一点去掉“搜索”二字，“人肉”就成了动词了（S+升格为S）。升格降格操作的活标本啊
李:
人肉搜索 不是宾语提前？把衣服扒光 不是人肉？
白:
“这个公司的所有人都是好样的。”居然有歧义。
李:
“所有-人” 歧义（hidden ambiguity）： 单数 vs 复数， 复合词 vs NP，黑箱 vs 白箱，[possessor/N] vs [All people]
白:
“发言的是我们公司的。”
李:
１[human-action 的] --> NP[human]
2. [human|organization 的] --> AP[possessive]
1 + be + 2 --> 1 belong-to 2
“发言的是我们公司的。” --> [发言的 human] belong-to [我们公司 的 possessive】
所谓句子解析及其语义落地，不过就是模式的拼接。
白:
“作业你是不是不打算做了？”
李:
1 [plan V] --> plan-V (verb compounding like)
2. [ NP VP] --> S Pred
3. [NP S Pred] --> Topic S Pred
4. Topic S Pred(/O) --> O S Pred （所谓先耍流氓后结合：有“做－作业”的可分离动词的搭配关系更是坐实了远距离勾搭）
5. Vt NP --> VP
6. Vt --> VP(/O)
7. "是不是不" can be treated as one compound 小词 whether (or whether-or-not)
白:
是你打算，还是作业打算？是你打算做作业，还是作业打算做你？由什么决定？就本例而言，语序已经完全乱套了，只有subcat能决定。好在我们知道，计划类动词具有穿透性。打算的两个坑，是human、event；做的两个坑，是human、thing。这两个human就是穿透确定的共享萝卜的坑。往前面看，能填的只有“你”。“做-作业”离合词的远距离锁定，从另一个侧面做了神助攻。所以，不管前面“作业”和“你”的顺序怎么折腾，它们的subcat如同狐狸尾巴，总会泄露真正的结合方向。我们不需要S/O/Topic这些名目，直接根据萝卜和坑的subcat相谐性，就可以选择行的，排除不行的。也不需要针对不同语序设置不同模式。跟着词条走的cat/subcat就足够确定目标了。
“你懂的。”其中的“的”就是句末助词，标记为+S。“我是不懂。”其中的“是”是表强调义的副词，标记为S+。“你是不懂的。”其中的“是”和“的”借助这两个修饰语标记完成了绿叶的使命，把红花凸显出来。但是这种做法的好处更在于，“是”或者“的”之一缺位时，句法上照样work。红花之间的关系照样不变。不需要针对几片绿叶的有或无的排列组合一个个遍历。
李:
这话说的，好像世界上就有人有直道不走，偏要走弯道似的 哈。白老师雄辩。
排列组合遍历很多时候是免不了的，除非可以证明这些绿叶红花的排列没有意义, 所有绿叶都是可有可无的。语言的最大形式特点之一就是排列，或曰线性次序。概念通过语词，关系通过小词以及词序，线性地流进我们的耳朵。小词和词序，作为显性语言形式(参见【立委科普：漫谈语言形式】)，其功能本质是一样的。由于信息和形式的冗余，厚此薄彼可以作为一个可行的策略，作为一个精算师的算法之一，但拔到理论高度说，让小词负载结构，赋予重任，同时忽视词序来取得鲁棒，总是很难让人信服的。
汉语的省略小词，是如此普遍，就跟汉语的词序灵活一样，都给鲁棒提出挑战也留下空间。你可以厚此薄彼作为一个 parsing 策略，别人也可以厚彼薄此作为一个策略。更有人二者都不厚不薄，利用模式，用？(optionality) 传达鲁棒，用显性排列形式的 obligatory 出现（何时、何地）来表达精准及其语义落地。有何不可？有何不好呢？能想到的不好都是实践层面，而不是理论层面，譬如：（１）可行吗？组合爆炸，排列得过来吗？（２）即便不组合爆炸，有本事伺候排列吗？（可维护性）
可行性的问题已经有答案也有实践，就是多层。Note that 这个多层也不是单单为了可行而采纳的。多层反映的是自然语言的 configuration（参见乔老爷杆杆理论，X-bar，科学网—乔氏X 杠杠理论以及各式树形图表达法），也是语言本质之一，譬如动宾（VP）与主谓对于多数语言就天然不在一层。
多层排列的可行性，其理论基础在于人脑记忆的有限，自然语言的可学习性。如果语言本质就是排列的组合爆炸，人也无法学习语言了。我们所做的不过是瞄着人 parse 语言的样子，去模拟实现它。符号逻辑的模型透明性和可维护性在多层模式里面得到了彰显。
第（２）个问题是本事问题。的确多层排列算法不是每一个人都玩得转的，就如小词负载结构兼以隐藏知识的大数据中间件除了白老师迄今无人能玩一样（甚至无人想到了这条路，参见【李白之15：白老师的秘密武器探秘】）。两条路线都严重偏离主流，主流人才的多数或者无视或者没有历练/本事来玩转这任何一条路线。
正如尺有所长，寸亦有所长。如今是各自玩各自的。区别在于，这个战壕自认为可以对ｎｌｕ挖掘更深（这一点在下确信无疑：毕竟坐井观天一辈子了，天可能还是没看清，但井的深浅是清楚的，如数家珍；而且不需要做天外比较，就可以得出结论，因为自然语言在这口井里面基本是已经见底了），主流的战壕在我们不过是摘除低枝果实（这一点无法确认，保不定哪一天主流就突然从导弹演化为核弹，也未可知，彼此祝好运吧）。
白：
小词“可”负载结构，不是“仅”小词负载结构。语言的层次性在技术上“可”通过分层fsa消化，不是“仅”通过分层fsa消化。模式也不是“仅”通过负载结构的小词消化。同样负载结构的实词、算符优先序，都在推波助澜。一个句法体系和技术体系，一些特色或许突出，但贡献是多个特色联合作出的。
我不希望受众被误导。
李:
哈 我也不希望误导，或被误导。
其实，因素比重的差别，还是构成了技术路线的不同。也许用“小词负载结构”（的因素）来概括或代表白老师的路线，就好比以“多层专家词典排列模式”来代表的立委路线（听上去好耳熟，对了，历史上有过被毛委员往死里批判的立三路线）一样，都是不准确的。但仔细看过讨论系列的会了解其中的路线之别。
二元句法在前，逻辑语义在后的策略之所以可以成功，我觉得是因为有了“大数据中间件”的助力，否则很难想象那么简单的句法操作可以应对那么复杂的语言现象。所以，让我 wonder 的主要是大数据中间件，如何训练如何使用的。而对于二元本身，特别是小词负载结构，相对于多层专家词典的模式匹配，我没看出多少优势。如果硬要评价 pros and cons，从我的角度，前者长于简洁（也许也增强了效率）和鲁棒，后者更符合语言学家的语言认知和描述习惯，可以更加从容地对语言做精细而不失鲁棒的描述。
重要的是，二者同属符号主义，同一战壕，也似乎都可以包容对方。
【相关】
【李白梁49：同一个战壕的两条道路之辨】
小词负载结构 vs. 模式专家词典
白：
我举的例子“这个字他是不会写错的”意思是“他不会写错这个字”。
李：
【是 …的】 小词筐式结构 里面包了一个谓语 表示肯定的语气。如果没有 “的” 那么通常 “是” 就转为强调小词（emphasis particle） 依然是肯定语气（affirmative mode）。如果没有 “是” 只有 “的” 那还是肯定语气 但似乎弱了一点。
我吃素:
我是吃素的
我吃素的
我是吃素
我不吃素:
我不是吃素的
我是不吃素
我不吃素的
“不是吃素的” 是熟语 半路杀出一个程咬金 有黑箱义与通常的白箱义两种。“不吃素” 不是成语 只有白箱子语义。这算是个小插曲，是个案。
白:
“应付这种局面他有准备的”
李：
应付这种局面他有准备:
应付这种局面他是有准备的
应付这种局面他是有准备 ＝＝ “应付这种局面他的确有准备”
三种变式 都是肯定语气 不同程度而已 给基式增加一点语气色彩 不改变逻辑语义。
白:
好办，这种“是”，直接标成S+，“的”直接标成+S。bingo
李:
Bingo ?
“是”、“的” 还有很多其他用法。 都靠 wsd 去选？假如只有一种 pos 自然没问题。
白:
“是”还能做N+
李：
假如 pos/wsd 模块可以准确输出一种 pos 也自然没问题。第一个假如 只有到理想世界寻，譬如 世界语 或 计算机语言。第二个假如 是 传统系统架构的误区。铁路警察各管一段 听起来干净利落 模块清晰 实际不知道误导了多少良家上进男女青年学子。
前置状语性材料 S+ ，后置状语性材料 +S，哪个语言都有，标注这个不难。但这种标注难以匹敌模式：
１【Subj 是 Pred 的】
２【Subj Pred 的】
３【Subj 是 Pred】
这些变式才是这类现象的真正的distribution 才能一一对应到细微的语义计算 表达语气的差别（nuances）。都是从基式 【Subj Pred】（or 【NP VP】） 加小词 derive 出来的。
基式： Subj Pred
变式：
1 Subj 是 Pred 的
2 Subj Pred 的
3 Subj 是 Pred
1 最常见 是一种缓和的肯定语气。2 更加口语化 语气与 1 接近。3 就是强调语气。捕捉这些细微差别 对于对话机器人 有意义 。
梁:
记得，我们做过规则： 是 VP 的 --> VP, 我是爱你的 --> 我爱你
李:
Thanks. I did not know that
Moi 奥see
@梁 kidding ....
梁:
@wei :=)
对，语气略有不同。老外若问我，我会告诉他。其实，外国人学汉语，这种小词的细微差异最难。
2 Subj Pred 的， 她卖菜的。 “卖菜的”是不是职业的意思，就是说”她的职业是卖菜“？
李:
这 2 本来是通用的肯定语气，但恰好又与表达职业的独立的 “的字结构” 搅和在一起。
梁：
我拥护你的。加强了肯定语气。
李:
1 我拥护你 --》我拥护你的
2 拥护你的不占多数
1 遵循的变式 需要主谓齐全，而且不局限于 human action；2 里面的 的字结构 不需要主语的条件 “的字结构”做的也不是谓语，而是np，并且 必须是 human action，常表达职业。这是两条道上跑的车 但可能撞车。
白:
“这信写的连个落款都没有。”
“等我有空的看怎么收拾你。”
“这雨下的都没脚脖子了。”
“那几天雨下的什么心情都没有。”
李:
一个一个来，先细看：“这信写的连个落款都没有。”
我的设想是 将来应该可以学出很多词典化模式（lexicalized patterns or word-driven rules），不必做太多的 generalization。全句分析就是对这些词典化模式的拼接 譬如上句。
模式1：【这 O Vt de-buyu】
模式2：【连个 O 都没有】 或者 【连个 O 都 Vt-negative】
语言中这类模式成千上万。所谓一个人学会一个语言 学得地道，就是这个人记住了这些模式，下意识的 还是明意识的。总之是词典化模式烂熟于心，才可以像 native speakers那样自如。 非词典化的语法实际上很少：主要就是规定 这些细小模式如何拼接
譬如上两个模式拼接：one form of de-buyu is de + S, so we can connect the 2 patterns:
【这 O Vt de-buyu】＋ S【连个 O 都没有】＝＝》“这信写的连个落款都没有。”
梁:
连个被子都叠不好！
连个衣服都不会穿。
白:
还是没说，如果没有词典化模式救驾，主谓宾又不齐全，“的”就一定不是+S？
李:
那是另一回事。词典化模式是累积的。不是一开始就是 logically complete。
梁:
"不是一开始就是 logically complete" 同意！
李：
“的” 的其他用法 最后或者融化（或被表达）在与其搭配的词的词典化模式中，或者表达在 它 自身的模式中。最后 由于其万能词的特性 也可以作为直接量 表达在少数的抽象规则模式中，即非词典化的语法模式规则中。
白:
那还不如先都当同一个“的”用。后面再分。至少不会错。
李:
这一点 我一直持与白老师相反的意见：对于用法繁多的小词 包括介词，我一直以为 不要只围着小词本身做，而是应该各个击破 负担分开来。小词本身只负担最后的标配用法。其他的搭配词 承载小词也是举手之劳 题中应有之义，而且小词也常是这些模式的必要（obligatory）或可预测（optional）的因素。
白:
“瞧把你得瑟的”
梁:
“瞧把NP AP的” 瞧把她美的！
李:
@梁 对 就是这个思路。这里的 “把” 不再引导宾语 而是引导主谓结构。放在模式里 就一目了然 这才是语义计算的真谛。
梁:
我们人脑善于做 puzzle （拼板游戏）。
白:
这不是问题，唯一一个坑，怎么引导也是它。小词就是模式的状态转换开关，这也不是问题。
李:
词典模式不怕冗余 越多越好。要说冗余和死记 谁能比得上机器以及机器学习的ngrams，人会抽象，自然可以稍微聪明一点，但切记过度，聪明反被聪明误。
梁:
好几个词一起做了一个坑，把 NP AP 套进去。
白:
没有模式能做而小词不能做的，没有模式能识别而小词的特殊pos不能识别的。
李:
需要各自保留意见了。
即便能力等价 ，也还有其他层面的考量：直观性、可维护性 、与语言直觉的距离，等等。
白:
那是UI的问题。谁说定义在小词，界面也必须显示小词的词条？
李:
是语言资源的可读性。模式 我认为是最可读的。小词 在 pos 层面做抽象 影响了可读性和可维护性。
白:
语言资源就是给机器读的，遇到要呈现给人的时候有一万种办法让人可读，这个根本无需操心。
李:
小词没必要分类。
白:
记得当年做XBRL标准，有人就拿可读性说事儿，我们就搞了屏幕取词转换，搞了把机读格式隐藏在用户友好界面中的工具，攻击的人从此闭嘴。
所谓分类是字面意义的误导。我们要做的实际是告诉这个词的周边，有多少插座，有多少插头，什么制式的。哪怕这种标记是这个词独有的，也要这样标，并不因为独特性而偷工减料。分类这个说法似乎是给语言学家自己看的，其实不然。标记是给这个词的周边看的。有些插座和插头就是为模式准备的。在给人看的时候，自会转换成人最方便接受的样子。但是插头插座虽然不是人最方便接受的样子，却是词们彼此勾搭最方便的样子。
梁:
我懂白老师想把“词负载语义”进行到底。
李:
“哪怕这种标记是这个词独有的，也要这样标”？
白:
不这样标就会影响它与周边词的关系。
李:
标记的必要性 是别处要用，是用直接量不能表达或不能概括的部分。如果独有 就没有必要 因为直接量就是标注，这是其一。其二 如果所标记的 pos 或 subcat，是为了自己的模式 而不是别人用，也无必要，因为可以词典化。
白:
标小词就是在做模式词典化，只不过模式不显性出现。举个例子，“连N都V”，连就是N+，都就是S+，顺顺当当吃掉，但是里面实际上在做状态转换。
李:
形式都在模式里面了，还标注个啥。直接量多直观。
白:
不是特意为模式标的。
李:
我在词典主义和专家词典里面浸润太久，感觉上受益太多，不忍心抽象化。
白:
直接量想要就有啊，表示是等价的。这是个UI问题。我这才是词典主义，除了词典不剩啥。
李:
不太一样。
你的词典主义 貌似是词典标注主义，我的词典主义 主体是规则词典化。专家词典（expert lexicon）里面全是模式，不怕冗余。与句法变换有接口，所以也不是完全没有抽象性。
白:
不对，在插销和插座结合的时候，有个东西叫状态转换，它比模式更容易被机器接受，计算上更简洁。给人看是totally another story，跟实时计算没有一毛钱关系，根本是在编辑态下工作的。
“连”这个N+和N结合的时候，N这个位置上的状态是要发生变化的，某个开关打开。“都”这个S+和S结合的时候，S这个位置上的状态也是要发生变化的，某个开关关闭。其实准确地说“连”应该是X+，混混。
李:
具体说说，哪个变化 什么开关？
我套用白老师：没有小词负载的结构不可以用模式去识别的。最多不过是冗余。冗余换来的是接地气。一眼看模式 就可以知道背后的语言现象。模式的最原始形式就是 ngram，那就是直接给语言拍照。当然我们比ngram高明太多，但继承了其接地气的特性。
白：
subcat有静态和动态两种。静态的词典说啥是啥，动态的随着分析动作而变。动态subcat实际上就是状态。它们跟着词，但是不属于cat。也就是说，词负载结构不等于仅cat负载结构。subcat也在分担负载结构。但这部分subcat已经跟怎么画依存关系脱钩了，直接对接语义，所以不画出来。
李:
从词义到逻辑语义的 subcat，最完美的体现是董老师的知网。
白:
其实，模式与纯粹的二元关系本来就捏不到一起。模式往往代表多元关系，而多元关系是二元关系的组合。用动态subcat，可以借二元关系的壳，把多元关系重组起来。
李:
从词到句法的subcat最粗糙的体现在牛津 朗曼词典里面。纽约大学的两部词典（COMPLEX and NOMLEX）稍微好一些，那是一帮爱打瞌睡 动机不专的语言学博士生在名导督促下编制。显然没有nlp历练 纯粹为交差。句法subcat最完美的体现自然是：立委牌2017新版语言学专家词典。
白:
我觉得判别标准不能混淆。计算上怎么精准方便是一回事，人看了是否感觉优雅是另一回事。两者之间不能两全的时候，计算语言学要优先考虑“计算”，人看到什么，是可以用UI来转换弥补的。二元关系在计算上的优势，不用足了天理不容。
李：
模式也是有限状态 怕啥。专家词典不仅仅是有限状态，而且专家词典还可以建立索引来提效。其实 在绕过了中心嵌套的陷阱（我把它叫作乔老爷圈套）以后 计算优势在其他几个指标中 已经退居后位。除非是用在大数据实时处理的现场 计算的考量不是紧要的。所谓二元关系vs模式匹配的关系 说到底就是 bigram 与 ngram 的对比。 有点像排列和组合的对比。只要这个n 是相当有限的 通常不过五元，最常用的模式在三元左右。由于mult-level的模块化效应，三元左右的模式就可以涵盖几乎所有的远程（long-distance）句法。因此计算通常不会成为系统应用的瓶颈。
【李白之48：依存关系不交叉原则再探】
李：
画了前面的图回头仔细一看才发现，这个例句是擦边的“交叉”：
如果DG（Dependency Grammar）揉进了浅层的短语结构及其边界，先做了合成词“学习 成绩”，那么把“他”与合成词内部的“学习”连接成主谓关系，是交叉。但是如果不引入短语结构，一切节点都是终极节点，实行彻底的原汁原味的依存关系（DG）表达，那么“他”作为主语连接给“学习”以及“学习”作为修饰语连接给“成绩”，并没有真正交叉，只是层次（configuration）显得乱了。但是DG的最大特点（或缺点）就是打破层次，只论二元。多年来我们在DG中部分引入 PHG (Phrase Structure Grammar) 短语结构表达，也是为了弥补这个缺陷。
我要说的是，这不是ＤＧ最典型的交叉关系图。不知道有没有更好的交叉而且语言逻辑仍然合理的案例。以前一直以为从逻辑上看，真正的交叉是站不住的，会引起语义的混乱。
白:
这又和“学习成绩”是在词法层面的论断矛盾了。二元关系这竿子杵到底，似乎就不管你什么层面了。“这牛吹得有点儿大”算不算交叉？
李:
盘点一下关涉到的二元关系：
吹－牛
吹－得
得－大
有点儿－大
这－牛
白:
牛-大
牛有俩爹。
李：
从 “牛” 到 “大”，从 “牛” 到 “吹”，起点同，终点不同，所以不算交叉。
ｎ年前，刘倬老师画过图，说只有交叉站不住，不允许。其余的情形（见下图）全部是可能的，说的就是依存。
现在清楚的是，逻辑语义依存可以一个儿子多个老子，甚至互为父子。可以跨越层次，因此是图不是树。但是真正的交叉好像还是不被允许的。逻辑上，依存交叉是思维混乱。
白:
“辫子是谁给你梳歪了？” 试试看。
李:
梳－辫子
梳－歪
谁－梳
给你－梳
给－你
？是－谁（这个强调词可能进不了逻辑语义图，如果硬要进入，就挂在被强调的“谁”上）
还有哪些二元关系？
白:
辫子-歪
你-辫子
交叉了吗？
我觉得首先思维不混乱，再看看交叉了没有。
李:
没有交叉，貌似并不违反刘老师当年定下的天条。
白:
我提到的两个不算？如果讲的是“逻辑语义”，我认为要算。除非承认过继和挪移。
辫子-歪，你-辫子
李:
【辫子－歪】 与 【梳－了】 是交叉了。【辫子－歪】与【你－辫子】并不交叉。不算。因为其中一个端点重合。端点重合的，与内嵌套类似，不是严格意义的交叉。这么多的二元关系，勉强找到一对貌似违背了不交叉原则，而且这一对涉及小词“了”。涉及小词的，原则上在逻辑语义图里面没有地位，不应该进入关系。这样看来，实词概念逻辑语义不允许交叉，是可以自圆其说的。
白:
在我这里小词都有地位。
李:
小词只在句法层面有意义，进入（逻辑）语义，小词不过是给自己的主子添加了“色彩” features，并没有语义关系可言。
白:
你-辫子 与 谁-梳 交叉了，都不是小词
李:
你－辫子 和 谁－梳，的确交叉得太彰显了，掩盖不了 <:]
可能辫子根本就不该找主儿， =)
白:
“腿是谁给你打断的”，腿 也不该找主儿？
李:
这个交叉不交叉原则，可以反过来看。也许可以找到一些案例，的确产生交叉了。但是我们不能允许语句中的概念漫无边际地乱谈恋爱，导致群交的杂乱场面，显然不好。所以，必然会有某个原则在那里起规约作用。也许有某个“不允许交叉”的弱版本需要挖掘和表述。
白:
残坑挪移，可复用萝卜归栈。
技术上当然有办法。
李:
两个人要私奔，天王老子也挡不住。
白:
比如刚才说的“你-辫子”。“你”就属于可复用的萝卜。
李:
二元关系不理别人就是了，不就是一个链接吗。技术上不是问题。管它叫树还是叫图。探讨的是，有没有一个有效的原则在，它合理有效地压缩了乱交。
白:
“辫子-歪”，歪就留下了残坑，被挪移到“梳”的位置。
我认为，残坑的处理和萝卜的复用是天经地义的，是NLP的应有之义。
李:
人心不古啊。现代化摧毁了周礼。是否要克己复礼？现如今，同性都可以结婚，禁区早被突破。
白:
乱交不可能，有辖域的约束，还有subcat的约束。辖域的约束，是指必须挪移到主子的位置。subcat的约束是指必须相谐。在主子的位置看如果没有交叉，就是OK的。
李:
对。
【谁１ 给谁２ 梳辫子】
【你－辫子】 和 【谁２－梳】 的交叉，是因为“谁２”与“梳”勾搭上以后，把给自己找主人的要求带给了“梳（辫子）”。
白:
所以，我们昨天讲的挪移，是在很严肃、很有效地处理交叉问题，很审慎地剥离表面上貌似交叉、学理上情有可原、技术上完全可控的现象，把它们纳入正轨。绝不是鼓励任意交叉绝不是鼓励任意交叉。
李:
服。
白:
而小词纳入实质性二元关系，一点都不影响上述对交叉的控制手段，但“词负载结构”原则则被推至极致。
李:
不管小词纳入还是不纳入，小词的确没有真正的语义地位。首先，小词各个语言都不同，而语义原则上是人类共同的。在深度分析的结果图上，不同语言的色彩应该已经褪掉。一切图谱理应是实体概念之间的关系。小词负载结构最多只能算是句法层面通向语义的桥梁。过河拆桥不拆桥，桥都不登大雅之堂。大堂里面都是args或mods，围着众神（谓词）跳舞。
白:
这个难以苟同。首先，格、时态、命题连接词、逻辑量词、摹状词都是语义里面必须有的组成部分，各个语言只不过用不同的手段来达到这些组成部分而已，如果碰巧某个语言里小词做了这件事，在这个语言里小词就负载了相应的结构，不描述是不对的。过河拆桥，是一种逻辑等价的技术处理，桥是客观存在的。
李:
总结一下不交叉原则：不交叉原则适用范围要从动态交往中看，而不是去除时间维度，把不同时期的交往压缩到一个平面去看。在没有时间维度的静态平面上看上去的违反不交叉原则的二元组关系，放在时间动态的交往上看，就没有违反原则。
白:
挪移就是位置随时间变化，随分析进程变化。而有些时候，桥是拆不了的。比如“卖盐的”。这个human就负载在“的”上，升格为实词。
李:
[human-action] --> [human]，不太好操作。当然，除了[human]以外，貌似其他实体很少出现在这里。
白:
N+-->N，方便得紧，而且和形容词名词化一脉相承：“行个方便”。的字结构，饱和了以后，具有形容词性，形容词能升格为名词，的字结构就能。二者是同一机制。
李:
好像，的字结构可以是主语实体，也可以是宾语实体，后者就超出了[human]：
卖电脑的最新生产的是智能手机。
＝＝卖电脑的[human]最新生产的[product]是智能手机。
白:
那是因为“生产”的两个坑，一个human，被“买电脑的”先占据了，剩下一个“product”坑，被第二个的字结构提取出来，再升格为萝卜。
李：
然后萝卜带上了标配本体？
白:
这整套操作，都在我们提供的机制内完成。
李:
这个标配的设置，不太好处理，虽然硬做总是可以做的。
白:
的字结构是我整个理论体系最早的切入点，不说烂熟于胸，也是胸有成竹的，至少是最不怕挑战的一块。
李:
呵 的字是中文的万恶之首。不说恨不得千刀万剐它，至少也是恨得咬牙切齿。
白:
既然做NLP，就得拿万恶之首开刀
李:
它还有变种：的|地|得|滴|哒|d|de|ㄉ|之
对了，粤语里面还有，那字怎么拼都忘了，但见到认识，口旁加既。
白:
底
李:
对，上世纪３０年代流行
白硕:
の
日语借来的
李:
相比之下，茴香豆的茴五种写法算个球，李白比孔乙己可学问多了。宝林大师说过，满肚子下水全是学问，不能碰，一碰就往外冒。
白:
妈妈威胁孩子“等你爸爸回来的”那个“的”，在有些方言里似有与普通助词“的”分化的情况，语音形式都不同。
李:
听不懂这个。
白:
潍坊话发音类似“着”。
大家可以内省一下自己的方言是分是合。
@wei 就是，其他语境下的“的”是一种语音形式，这个语境下的“的”是另一种语音形式，简直可以认为是两个词，在普通话里合并了。
【相关】
【李白之47：深度分析是图不是树，逻辑语义不怕句法交叉】
白:
还是没说交叉的事情：
“他的学习成绩优秀”，要不要管“他”和“学习”之间的关联？
管了就不是树。不管，差了点什么。
李:
好，现在说交叉。
交叉在语言学课上是一个常讨论的话题。基本上语言系统的部件有一个大体的层次：词典、词法、句法、语义等。这些部件是有一个宏观层次和优先次序的，这个没问题。交叉出现在一个层次的东西，有时候想跳到另一个层次去。说白了就是，交叉就是违反了部门独立性原则。部件的层次架构是原则性的东西，通常不该违反。但自然语言的复杂性就在，有了原则，偏偏有人要违反，那么系统作为一个制度，就必须有一个应对。
“他的学习成绩优秀”：学习成绩 是词法，合成词。“他－学习”是逻辑主谓。“他”作为句法单位，硬要钻进词法（“学习成绩”）内部，这样才能构成完整的逻辑语义全图（graph, 不是严格意义的树！），才能说达成了语言理解。这就是交叉的现象。作为原则，句法词法是隔离的，语言学理论里面给这些原则起了不同的名字和术语，且不管它。总之是，句法单位没有道理进入词法。词法出来的词是句法的最小单位（atomic），所以对于句法，合成词就是一个黑箱子。论句法功能，合成词与非合成词，完全一样。但是逻辑语义不管这一套。逻辑语义是超越语言学句法词法的术语语层次的东西。交叉出现在，我们在句法关系与逻辑语义关系的表达（representation）中，为图方便或其他原因，硬要把它们归拢到一起。
白:
事情可以完全不这么处理。如果秉持句法管谁跟谁有二元关系、语义管是什么二元关系，那么一切不合语义这双脚的句法鞋子都可以动。交叉是自然语言语义表达的客观需要，因此一定会在句法中得到反映。在技术处理上，二元关系的发生位置相对于构成二元关系的词的本源位置可以有所差异或者说变化。二元关系并没有探入词法内部，而是词法本身完成了对外接口的乾坤大挪移。比如，“学习”和“成绩”结合的时候，承认“成绩”是head，同时就把自己的残坑过继给了head，也就是说，“他”找这个“学习”留下的残坑，不是找“学习”要，而是找“成绩”要，这样就消解了交叉问题。
李:
乾坤大挪移应对的是POS约束, 如何应对语义约束:
“他”与“学习”是语义和谐的，“他”与“成绩”没有同样的相谐性（当然，“成绩”也要求 【human】，但那是另一种二元关系的相谐，属于赶巧了，不是原来的主谓关系的相谐要求）。
白:
过继的时候把subcat也一并带过去，不存在这个问题。
李:
操作上不宜、不易。不宜是因为，两个subcats混杂了，“成绩”原本的本体概念与过继来的本体概念，混在一起了。
白:
我们检查相谐性看的是单子singleton。学习的一个坑有human这个subcat，这个坑过继给成绩，只是位置上过继，但是subcat并没减少或改变。
李:
不易是，一个词的本体概念及其背后的常识，是这个词的灵魂，词形不过是躯壳，没有道理轻易出卖灵魂，哪怕出卖对象是你的老板。
白:
不是这样。中心词既然负载结构就必须包容结构。不是向老板出卖灵魂，而是老板包容了你的灵魂。
李:
那就具体说说，这个灵魂怎么转移的（出卖还是包容）。“他”是【human】, “学习”是【huam-action】, 因此“他”与“学习”是（逻辑）主谓相谐的。注意，这里已经把问题简化了：[human] 只是一个相谐的代表或标志，其实主谓相谐包含各种强搭配弱搭配。也许有一个逻辑主语要求的是一个非常细线条的语义类别，不是简单的一个【human】这种层次的类别就可以包揽。
白:
成绩是【action-information】，学习成绩是【human-information】，
perfect。这又要说到unification。
李:
说具体点。action-information，怎么就表达成了 human-information，是一个本体概念节点 还是两个本体概念节点（的混合）？
白:
相谐不是两组符号字面相等。类型演算啊。 输出是information没变，输入变了，级联的整体效果。是输入human，输出information。没有类型演算的ontology，干不了这个。
李:
当“成绩”遇到“学习”，在合成词形成的时候
input is: V(human-action) + N(information) / human-action
output is ??
human-action 的坑满足了，填进去以后，这个头词“成绩”怎么过继，类型演算的结果形态是什么？从道理上，修饰语不能改变头词的本性。因此“成绩”仍然是information, 而不是human-action，尽管它吃掉了 human-action。
白:
不改变输出，改变了输入。
李:
改变了对subcat 的输入要求？
白:
学习是event(human), 成绩是information(event), 学习成绩是information(human)。
李:
我拿放大镜看看这个乾坤大转移。先下线。貌似形式化演算中规中矩。但如果subcat不是那么单纯，如果是强搭配 直接量呢？也可以大转移？
白:
游泳？当然可以。这类，泳就是action，游就是commit，所以，不需要出卖灵魂，老板会包容你的。这是subcat之间的类型演算，完全是结构制导的，残坑挪移后，位置已经没有交叉。语义那边不存在与挪移有任何违和感的东西。没有“不宜”。至于“不易”，说实话还真是有一点点小门槛的。commit太虚，简直就是可以穿透的: commit(action)=action
李:
明白了：过继的是句型信息（对坑的要求，SUBCAT），不是本体全部。
问题过继不是目的，目的还是要建立“他－学习”的主谓关系。而不是“他－学习成绩”的主谓关系，后者不make sense。换句话说，过继了input的要求，逻辑语义output却不能转移，不能张冠李戴。
白:
来源还在，并不因为挪移而抹杀。过继是现状不是历史。
李:
还是有个机制要“进入”词法，才能联系逻辑。
白:
纯二元关系看，交叉是真实发生了的。
李:
好，有理由认为总有办法最终搞定“他－学习”的逻辑语义的二元直接联系，从句法进入词法。
白:
从词负载结构的观点看，交叉这一页可以顺利翻过去，仅此而已
李:
交叉不是关键。
白:
对
李:
这只是一个帽子，扣帽子可以用，实际不必理他。作为语言学（内）原则，有其合理之处，因为语言学总体或主体是形式层面的理论。但逻辑层面，这个不算啥。
白:
句法不拉语义后腿，句法也不违背所谓的原则，两全其美了。关键是，挪移有了语言学上合理的解释，不仅仅是头疼医头，见招拆招。
李:
第二个相关问题是：刚才所说的演算（SUBCAT坑的挪移或过继）是典型的符号逻辑，
而不是大数据中间件的相谐性的查询。我们可以在符号逻辑操作中，把对坑的【human】要求挪过来，但是我们如何在语义中间件查询中去check非符号的条件。譬如：“他 － 学习” 如果是句法的直接二元关系，我们很容易查询中间件它们是否相谐，而不管这种相谐的符号表示是【ｈｕｍａｎ】还是直接量（强搭配）。但是，当“学习”淹没在“学习成绩”的组合里面，如何一致地调用大数据的相谐呢？
白:
subcat有两个作用，一个反作用于句法，辅助做出逆向选择；另一个衔接语义落地。大数据也辅助做出逆向选择，甚至大数据就是用带subcat标记的词典训练出来的。但是语义落地不可以没有subcat，只有好subcat或坏subcat之分。我们不对语料做标注，但不等于不使用带标注的词典。相谐性是原本二元关系的相谐性，不是跟stepmother的相谐性。
李:
可以想见的是： in "NP + de + V + N", the unsaturated subject of V will still try to be paired with NP in checking the middleware based on big data even if V is eaten up by NP.
subcat 句型的原始的完整内容其实很丰富，不是简单的 vi, vt, 等可以涵盖的
从input这面，它规定了：（１）几个坑；（２）坑在哪里（位置和词序）；（３）坑的句法形式（包括直接量）；（４）坑的语义约束（【human】等）
从output这边，它把每一个按照上述规定的坑，都ｍａｐ到确定的逻语义角色去，是为语义落地。这样一套丰富的内容，在“他的学习成绩”这样的坑过继的机制中，直感上难以面面俱到。
白:
我得睡了，明天一天的会。
李:
晚安。
SUBCAT是半部语言学，而且外接语义，谈不尽的焦点话题。已经谈了ｎ次了，还可以谈多次。
白:
坑，一经产生，就是一个独立的存在，subcat的归属是终身的，不依母体的萝卜去哪儿了为转移，也不依自身的结合位置被挪移到何处为转移。还是拿“王冕死了父亲”为例。从语义角度看，“父亲”挖了一个subcat类型为human的坑，同时对外提供一个subcat类型为human的萝卜。“死了”挖了一个subcat类型为human的坑，对外提供一个subcat类型为event的萝卜。当“父亲”和“死了”结合，“死了”的坑饱和了，“父亲”的坑还亏欠着，那么“死了父亲”这个短语作为一个整体，就还有一个subcat为human的坑对外亏欠着。“死了”既然全权代表这个短语，当然也就继承了这个短语内部对外的一切债务，于是这个亏欠的human坑，就过继到了“死了”的头上。外面的萝卜（王冕）必须找这个“死了”填坑，“死了”自身亲生的坑虽然饱和了，但是对“父亲”过继来的坑却必须负责到底。我们在句法层面，用N S/N +S N/N这个序列，很清晰地实现了结构制导。
李:
“父亲”挖了一个subcat类型为human的坑，同时对外提供一个subcat类型为human的萝卜，后者（萝卜）是本体概念，前者（坑）是句型预期。
白:
句法和语义是同步的。“了”这类萝卜皮的语义作用机制暂略，后续再说。
李:
所以 / 后面是坑，也就是 arg, +是 mod，随机的被吃掉的对象。+S就是被事件谓词S吃掉的东西。这个coding里面不包括词序？
还是没看清“死了”的逻辑主语 怎么从“王冕”转成了“父亲”。从左向右parse ，先跳进坑的是“王冕”。parse 到“父亲”的时候，S 没坑了。按照常规，这个萝卜应该降格，譬如 降格成“化外的”称呼语：王冕死了，父亲。
白:
这涉及到算符优先机制。总的说就是，单坑的动词，右侧填坑比左侧填坑优先。
“台上坐着主席团”，也类似。
李:
有理。
走了很多能人。
白:
甚至也包括形容词：春风又绿江南岸，宁可“春风”先shift，保证“江南岸”优先填“绿”的坑。
李:
这个结构制导清楚了。请教一下：根据规定的优先次序（parsing算法），在萝卜跳进坑的时候，查还是不查语义中间件？如果没有其他的竞争者，就不查了吧？就是说 human 这种东西在与N/N 或S/N结合的时候，有没有用到？也就是在决定第一个ＮＰ“王冕”是 shift 还是跳坑的时候，要不要查左边的ＮＰ“王冕”与右边的ＮＰ“父亲”，看二者的力量对比？还是不管三七二十一，就是右填坑优先。当然在这句，即便查也是力量相当。但是应该会有力量悬殊的情形，这时候右优先的决定是不是就会受到调整改变。
（1a）中文切词作为领域早已终结。
（1b）Ｇ教授终结了中文切词。
（2a）门开了
（2b）开了门
（2c）张三开了门
（2d）门张三开了。
（2e）张三门开了就驱车离去。
（2f）张三门开了就闯进来。
最后一句（2f）谁开的门？不知道。开门者不大可能是张三自己。但在“张三门开了就驱车离去”中，开门的一般认为就是张三本人。
白:
“作为”是带坑的后置定语+N/N. “终结”如果是单坑，“中文分词”填坑恰如其分。如果是双坑，两边都有位置。“开”是双坑无疑。“就”这里涉及到合并（merge）操作的指向问题。如果按default，标配的指向是右边合并到左边。但是在有特殊标记的情况下（比如被副词“就”修饰）就反其道而行之，左边合并到右边。算符优先机制会让右边所带的坑优先选择萝卜。也就是说，先保证“闯进来”的是张三，谁开的门，可以不care。
【相关】
【李白之46：做NLP想不乐观都找不到理由】
白:
“这个人的演奏水平不怎么样。” 问题：是“这个人的演奏+水平”，还是“这个人的+演奏水平”？
如果是前者，“演奏”需要被结构强制，然后再与“水平”结合；如果是后者，“演奏”不变性，可以直接与“水平”结合。“水平”的pos tagging可以直接定义为N/X，既接纳名词填坑，也接纳动词填坑。如果是前者，名词化的“演奏”做大主语，“水平”做小主语。如果是后者，主语不分层，“演奏”做内层定语，“这个人的”做外层定语。如果演奏和水平中间不加标点，个人倾向于后者。如果加逗号或者语音上有较长时间的明显停顿，可以考虑前者。
平行的句式还有“这本书的出版时间真不凑巧。”
我们看到两种不同的定中结构：一种是N+遇上N，一种是N或者S遇上N/X。前者是萝卜皮和萝卜的关系，后者是萝卜与坑的关系。
李:
什么是 N 遇上 N/X？什么是 S 遇上 N/X?
有一类名词，经常要求逻辑动词做修饰语，譬如“计划”，“水平”，“能力”：学习计划；作战水平；融资能力。这时候，如果恰好这个逻辑动词也是及物的，理论上就造成了结构歧义：譬如第一例 “学习计划”，定中还是动宾？
白:
有歧义
李:
标配还是定中。也许这个标配的来源，有音节的因素：双音化趋势使得双音修饰双音 显得特别自然，构成四字ＮＰ。而汉语的【动宾结构】比起【定中结构】，音节上“头轻脚重”比较突出。定中有一种四平八稳的趋向（ｈｅｕｒｉｓｔｉｃ），动宾则不然。动宾的本性是短Ｖ长ＮＰ，所谓头轻脚重。正因为此，更突出了头（动词谓语）的统率作用。
白:
问题来了：定中标配是获知四字结构之后才有的，还是此前就有？
这里还涉及了另外一个之前讨论过的问题：交叉。“他的学习成绩优秀”当中，“他”填“学习”坑的事情，怎么算？当没看见，还是承认可以交叉？
李:
定中结构对音节数的条件敏感。双音修饰双音当然最自然理想，四字成语的大批形成就有不小数量的定中结构。作为对比，双音修饰单音，就非常勉强。即便出现，也大多是例外，可以作为合成词绑架到词典去的。
白:
犀利哥，漂亮妞，糊涂蛋
李:
是啊，这些都是词典绑架。词典绑架的一律不算，因为可以死记。而且相对有限。
白:
问题是还有一点点能产性。说不定怎么就流行一个。比如“带路蓝”。
李:
能产性不强。对付这种一点点能产性，句法是先不去形成NP，尽管让其他路径优先，parsing到后面，不得已了，才把这种音节数不符合要求的patch一下。
白:
不理，会被拐跑的
李:
目的就是给拐跑让路。拐不走的，句法勉强同意结合。这就对付了能产性。我们说优先，说多层，贯穿的就是这类原则。本来音节就不和谐，没对上眼，拐跑了太正常了。这时候统计上看，拐跑的往往都是应该被拐的。万一还是拐错了，那就扔进词典。这时候词典就成为一个垃圾站，专门收容这些介于固定搭配与能产性之间的东西，如果这些东西成为句法优先策略的例外的话。例外一个收一个，把这个收取例外的过程，作为研发系统的一个动态过程，就不可怕了。
白:
有大数据，可以颠倒一下顺序。不做第一个吃螃蟹的，做第N个总可以吧。词典应该和大数据无缝连接起来。词典没有、构词法允许，大数据支持的，非标配也应占优，回头再收进词典。
“二孩概念股”
李:
系统越做越好就是这么来的，不断扩大测试，９成的测试符合预期，不到１成的例外，也懒得伤筋动骨，扔词典就完。今天的例外bug，成为明天的词典绑架，岂有不好之理
我是相当相信蛮力的。词典就是最好的蛮力。上帝造语言非常了不起，但百密一疏，无论如何无法与逻辑比规整性。好在上帝留了个垃圾回收的口子，词典。NLP起初拼算法, 拼到最后就是拼蛮力。就是一个力气活。长尾问题大多体现在蛮力上。
对，结合了大数据，自然是另一个风景。
白:
绑架的动作不用都人工完成，可以借力。
李:
那是，lexicon acquisition，说的就是一种。基本是无监督学习。其实就弄成一个流水作业，ngram不断去学，不仅进入领域数据需要学领域词典。而且时间维度上，要不断从动态数据去学习，以对付流行词汇和新词。然后让人过一遍，把把关。把这个过程变成系统维护的常规作业。
对NLP总体乐观，一直有十足信心这是可以搞定的事儿。这个信心就建立在，自然语言的规律性部分，至少对于某些“砖家”，总体是路线清晰的，句法有很多上帝赋予universal的基因，而例外表面上没完没了，屁股擦不完，但本质是有限的。词典有如饿虎，永远吃不饱，特别好例外这一口。想不乐观都找不到理由。
白:
学习也有lazy和active两种策略。lazy是parser首次碰到了才启动，active是闲时准备忙时用。
李:
正是。一般而言，系统总是要鲁棒，就是说lazy是设计时候已经尽量考量的。开始做系统的时候，可以有意避免上大辞典，少用绑架。一个个OOV（out-of-vocabulary）就成为鲁棒性测试点，然后看对付例外，有没有一个合理的鲁棒机制在。譬如汉语的合成词的应对。系统越来越成熟，这时候lazy的策略逐渐被active的作业方式取代，就可以大肆扩张词典的绑架。哪怕句法可能搞定的现象，如果来不及测试，或为了力求保险，扔进词典最心安。
甚至可以设想，将来的NLP实用系统，所有的ngrams短语全部进词典。可以把n设置成４或５，词典出来的短语都是预制板、标准件，句法三下五除二把它们搭成积木。至于这４-grams内部有啥，理论上词典都可以绑架，而且很多时候也无碍大局。
白:
可看穿的词条（白盒）和不可看穿的词条（黑盒），用起来待遇还是很不相同的。有构词法垫底，一定数量的白盒词条对于休眠唤醒和拆零复用大有好处。
李:
百盒词条的本质就是小句法。不过是优先级高而已。因为优先级高，做出被绑架的黑盒子的样子。但里面埋下了种子，什么时候要唤醒就唤醒了。这种策略，先绑架后（反悔）释放，非常经济合理。因为绑架满足了９５％以上的场景需求，反悔释放则满足了不到５％的特殊需求。断断没有为了不到５％的场景，让全局一路受累。总是到了某个点，trigger 这个反悔机制才妥。
"开始做系统的时候，可以有意避免上大辞典"，说的就是knowledge poor development to start with。knowledge poor 才可以打好鲁棒的基础，而鲁棒性是一个ＮＬ系统的关键指标之一。这个小词典开发策略 也包括开始不要有太多 features or subcats, 不要有本体知识库 (ontology)。这些东西都是精细的活儿，是鲁棒的另一面。鲁棒的本义就是凑合事儿，但不要离谱。
【相关】
【李白之45：从变性谈到模糊与歧义的不同】
李:
尼:罗素说科学够不着的哲学，哲学够不着的宗教。
[科学够不着的] [哲学]，[哲学够不着的] [宗教]。
两个主谓结构哎！
哲学、宗教这样的名词也可以做谓语，而且是在“的”字后面，简直是开了眼了。以前琢磨过英语的“银行”（bank），经常做动词谓语用，觉得顺理成章，但汉语的对等物却不行。
白:
儿子挖不完的孙子（接着挖）。
李:
（感觉汉语“银行”的构词法可能在捣乱，silver-bank, 听着就是一个守财奴的物理存在，与金融行为不大兼容？）
白:
硬通货的物流调配。怎么就是“守”了呢。
李:
* 你银行了吗？
老哥，我忘了，对不起。
白:
很行了
李:
* 我明儿一定银行。
我难以接受这种说法。
白:
王天下
四海一
这种用法中文是老祖宗，但是新派词汇不在其列。
李:
为啥？词性活用现代汉语为啥减弱？
白:
不是一个系列的
李:
“我昨天二锅头，今天决定茅台一下。不茅台白不茅台，人一辈子，图啥？”
白:
数数，单字名词活用为动词，可以有声调变化，略等价于形态变化。多字名词没这个招儿了。
李:
“今天床得早，决定微信一下。电脑了半天，微信出不来。”
白:
北京话也就“孙子”做谓词坐稳了。其他都充满临时性和造作。
李:
“现代汉语名词不动词，动词不名词，不如古代汉语，名亦动，动亦名。”
单字词 可以声调变化来反映词性变化，这是一种（蛮新鲜也有理的）说法。
双音词，由于内部的定中的构词结构太透明，干扰了其变性的可能性，也是一种说法。譬如 “红花”、“臭豆腐”、“高楼”。很难想象这么透明如句法的词结构，会忽然变性。不过，如今这社会，再难想象的变性（trans-gender），也是可能发生的。美国的变性人已然成为一个不小的社区了。
“这家伙在北上广，高楼了１０多幢，全国劳模会上一样红花，回到胡同与老哥们一起臭豆腐，这是怎样精彩的腐败人生。”
所以说，语言学家不足采信。啥不可能都整出可能来。
白:
这些一看就是匆匆披了件别人的外套
白:
尼:罗素说科学够不着的哲学，哲学够不着的宗教。可解释为省略了重复的“够”。不知尼克尊意如何？“这道题，张三做不出来李四，李四做不出来王五。”意思是：“这道题，张三做不出来李四（做），李四做不出来王五（做）。” 跟名词动词化真心没啥关系。
“前卫顶不住了后卫（顶），后卫顶不住了守门员（顶）” 同理。
李:
读起来很顺 没觉得需要补充什么。虽然说省略也不能说错。但语感觉得已经完整。因此 我倾向于这是名词坐稳了谓语宝座。叫不叫名词变性另说。而且真要补充 我不大会补充 “够” 而是补充其他更合适的动词：
科学够不着的 哲学上
哲学够不着的 宗教来。
“冲”、“上”、“来” 都比 “够” 贴切。说省略了 “够” 太勉强。最大的兴趣点还是，怎么名词谓语出现在 “的” 后面 居然感觉妥妥的呢。“科学够不着的哲学 从来都是高高在上 只是到了近代 哲学的权威才急剧下降。” 这个才是标配结构。冲破标配估计是一靠排比句式；二靠小句在的字结构后面无其他谓词 ；三靠【的字结构】的多变性。的字结构指代实体 一点也不罕见， 频率差不多可匹敌做修饰语。所以听话人心理随时准备从修饰语角色反悔或回溯到实体名词的角色。
尼:
我原意就是图这种语感，其实确有歧义，还一种解释可以是philosophy lies where science is trying to approach
李:
科学够不着的有哲学（在）。
尼:
可能稍显牵强，不如白老师解释的那个更solid。两种都有点。
李:
没关系 关键是 unspecified，比认为省略了一个特定动词值更合适。
严格说 unspecified 不算歧义，而是模糊。模糊在思维及其语言表达中 都有地位 不应该简单归为歧义。
尼:
可以说是模糊
李:
歧义应该是已经有预定答案值的现象，hence 消歧的任务。没有标准答案的所谓歧义 其实是模糊。
梁:
我理解是 ”科学够不着的（地方）哲学(够)。“ Where science is out of reach, is philosophy's domain.
李:
可以算解读之一。
梁:
第一次听说“歧义是已经有预定答案值的现象”，不知道是不是业界所有人都 share 这个定义？
李:
否则消歧往何处去？有两种歧义，一个是关于 node，一个是 arc, 譬如：
WSD bank: value1. 银行；value2. 河岸
PP-attachement: V NP PP: value1. V [NP PP]; value2. [[V NP] PP]。
看下组句子：
１. 我吃了午饭了。
２. 我不久前吃了午饭了。
３. 我几分钟前吃了午饭了。
４. 我约３分钟前吃了午饭了。
５. 我３分零５秒前吃了午饭了。
这些句子里面的动作，与所有事件一样，肯定发生在（空间和）时间之内。只有第５句，给定了精确时间，精确到秒。其他句子给的都是模糊时间，或没有给时间（等价于给了一个到说话为止的开放区间）。这就叫模糊。如果硬要在模糊的时间表达中去“消歧”，精确到秒，前四个句子无解。
unspecified 在自然语言中是普遍存在的。最多的时候，它是以零形式而存在（譬如句子１）。也有很多时候是以词义的模糊或结构的模糊来表达。这种词义的模糊或结构的模糊，不能认为是歧义，至少不是语义计算的目标，因为根本就没有目标。我们做过信息抽取（information extraction）和信息融合（information fusion）来构建知识图谱（knowledge graph）的，体会很深。其实人用语言表达出来的关系，事件或情感，只是整个语义之网的一个零星的局部。再加上每一句话的语言学制约（譬如 args 不过三的语言学subcat原则），每次只能表达几个点的信息，因此语义之网的大部都是 unspecified。如果面对的是大数据，这些语句所代表的碎片化信息，通过信息融合（如果是unification系统，信息融合用合一操作），慢慢丰富起来，但最终还是存在很多模糊地带。
白:
话说，模糊和笼统还是不一样的。歧义是集合明确、元素糊涂；模糊是集合明确、子集糊涂；笼统是集合糊涂、超集明确。
李:
这个要得。
wait, 我要说的是：（严格意义的）歧义是集合明确，元素也明确（元素就是 ｖａｌｕｅ，是标注）。人和机器就是要按照元素指向去标注，来消歧。如果我说“吃肉”，你非要消歧，说这肉是猪肉还是牛肉，那就不对了。因为我的语言是模糊的，没有留下消歧的空间。
白:
元素糊涂，说的是不知道是哪一个标注，集合明确，说的是知道哪些是可能的标注。
李：
我以为集合是定义 how many (the scope) in a set，元素是 the list of members. Anyway, 歧义是元素明确：知道答案，看谁的算法牛了。如果不知道答案（元素模糊），那就是语义模糊了：这里面还可以再分为，语义模糊，但是边界清楚。就是白老师的子集的意思吧。从常识、本体知识带来的边界不算，那个是“元”层次给定的，没有语言什么事儿。
“我吃了午饭。” 时间的边界是到说话为止：这个边界是语言学的，是时体小词“了”所传达的。
“我吃肉” 常识说，不外呼是牛猪羊鸡...肉。不会是人肉（饥荒年代不算）。这个边界就不是语言学的。
白:
外媒：区块链战略上的延迟 将是公司的“灭顶之灾”
这个标题有歧义。一个意思是，一个公司，如果在区块链这件事上不做战略布局，将会面临灭顶之灾。另一个意思是，区块链这股力量，如果在战略上动作迟缓，将使相关公司面临灭顶之灾。
我:
多数人、一般人感觉不到、读不出也不在意这种歧义。因此，即便通过语法的细化和逻辑的分析慢慢能够区别两种路径，最终还是要研究怎么回到普通人的理解，或模糊语义去，除非对于某一个特定的应用，这种区别有重大意义。后者也是有的。譬如昨天说的，限定性与非限定性定语的区别，其中有不小的一块灰色地带，大部分人也搞不清限定还是非限定，也不在意这种区别，就是这么糊里糊涂地表达，糊里糊涂地理解。可是这个区分对于 sentiment 意义重大，因此 sentiment 做到一定火候，就不能不着手对付它，尽管有灰色地带，也还是要尽量把不是灰色的部分模型好，而不是糊涂混日子。
自然语言的表达与理解－董老师说过这个意思，很多时候是包容歧义的，听者说者都不在意那个歧义，甚至大多时候根本就无感，虽然细究起来歧义的确存在。人类有这个模糊的本事，直到某个关节点，那个歧义模糊不下去了，人的对话才会就模糊点予以澄清。通常，大家都是在一知半解中彼此理解的。
例外是法律文书，专利文书，技术手册（波音的受限语言的说明书），这些东西通常经过反复打磨，有特别的手段在表达的时候就把歧义降低到最低限度，堵死误解出差错的可能。但是日常会话，包括谈恋爱，大家都在将就模糊着，也没觉得缺了啥，误会发生的概率也很低。
【相关】
【泥沙龙笔记：科学哲学宗教与人生】
尼:
罗素说科学够不着的哲学，哲学够不着的宗教。科学和宗教有交集，如生死，意识，自由意志等。我有篇未完长文 "当我们谈论生死时我们在谈论什么" ， 准备作为我《人工智能简史》最后一章。再长的话，得问洪爷了。
@洪 邓总问哲学和宗教啥关系。我昨晚没回复。你接茬说。
邓:
原始问题是宗教、哲学和科学的关系是啥？
白:
科学尽头是哲学，哲学尽头是八卦。
邓:
宗教呢？
白:
宗教尽头是科学啊
洪:
好比有个大鱼缸，
鱼游随便哲学想。
科学只限缸内忙，
缸外有宗教对象。
尼:
@洪 缸能自动变大或变小吗？
邓:
@白 @洪 你俩意见貌似相反
洪:
缸是人所能感知的；如果人类感知进步了人，例如开了天眼啥的，边界就能扩大
邓:
我等白老师和洪爷打起来
邓:
罗素原话怎么说的？
白老师和洪爷彼此惺惺相惜，不打……
白:
缸外有缸
邓:
请白老师明示。解说解说。
马:
探索哲学的小孩
尼:
这小屁孩把想哲学的鱼都给捞走了
邓:
你们都是禅宗的
洪:
身心灵各有其缸，
有界有墙可以撞。
科学自觉不骑墙，
宗教墙外寄希望。
李:
除了红包与痛苦为真 一切皆假。宗教貌似也远不能普度众生，最多是抚慰一小片。至于科学 则是鸦片。让所谓科学家在虚假的高高在上中，求得半片玩积木的兴奋和满足。
邓:
立委登场，讨论正式开始，
彭:
已有的宗教如果不能普渡众生，就只能创新教，当教主了。@wei
李:
当教主肯定更惨。做个追随者至少还可以把负担转嫁 教主的重负转谁呢？
白:
不同领域，宗教尽头到来的时点不同。有的早有的晚。
洪:
假设鱼缸水不浑，
科学/哲学可显灵。
鱼缸壁若玻璃弄，
宗教可以很理性。
李:
面对终极问题 一切那么苍白。高人不高 哲人不哲 敬畏之心难存。
邓:
白老师本质上是认为科学发展会终结宗教？
张：
还有一种可能就是科学发展证实了宗教
邓:
洪爷的说法是两者之间有无法逾越的边界？
李:
都不能解决人类的痛苦问题。
白:
说的就是人类的痛苦问题，科学一定会有办法。
邓:
刺激神经中枢吗？
白:
不是人类整体的痛苦，是一个个具体个体的痛苦。
张:
具体个体的身体痛苦通过科学一个个在解决了。但是精神层面的痛苦无法解决的。就像科学对我们身体的自愈能力一无所知一样。
白:
精神痛苦需要举例，然后看搞定它的途径和时间表
洪:
鱼跃出水有可能，
科学宗教一时懵。
落回或许先知成，
天慧法佛眼开睁。
白:
@张 现阶段科学不等于科学。
邓:
@白 终极的科学是不是等价为绝对真理？
白:
不是。搞科学一般都怕谈“真理”。
张:
精神痛苦的例子太多了，幼年丧母、青年丧父、中年丧妻、老年丧子、失恋，被甩。。。
邓:
如果科学认为不存在真理，宗教又把自己定义为真理，那么是不是可以理解为完全两件事？
张:
估计在地球上找到绝对真理的时候我们要移民外太空了。科学的真理好像是相对的，而宗教的真理是绝对的。
白:
失恋跟记忆关系很密切。如果可以干预和改变记忆，对待失恋的态度也会有所不同。
邓:
原来@尼 大师提到“自我”的容器问题，就是那个换头术悖论，跟白老师这个观点探讨的方向一致吧。
鸣:
精神痛苦，多与欲望相关
白:
执着都是有物质基础的。现在不敢动这个物质基础，主要是怕误伤。如果定点改变，确保不误伤，改了又何妨。离开要解决的问题，真理的绝对还是相对就是个伪问题。有了要解决的问题，大家就直接比疗效好了，不必涉及那些伪问题。
张:
失恋不要被忘记。那也是一种情感需要被回忆的。有了痛苦才有反差，否则人生又有什么意思。
白:
想保留反差就谁也别找，不想反差太大就定点微剂量清除记忆，在这点上宗教活儿太糙，论精准还得寄希望于科学。
邓:
@白 “基督教是现代科学的接生婆”跟您的说法一致吗？
白:
也不尽然吧……
邓:
宗教的尽头是科学
张:
或者科学的尽头是宗教
邓:
现在是张老师力战白老师
张:
来搅浑水。
白老师是严谨的科学家，我们是来搅搅乱。
邓:
必须有人捣乱才能激发白老师讲话的欲望。
白:
娱乐而已。
邓:
@尼 大师该你了。向白老师开炮。咱们那天关于这个主题聚聚。顺便听白老师弹琴。
@白 《those were the days》这歌用曼陀铃应该不错。
尼:
好多讨论的词汇没法定义。例如，"人文"在文艺复兴时的意思是为了和“神”唱反调，科学也算人文，但几经周转，人文语义迁移了。在中国，就成文科生的意思了。
邓:
请大师先定义词汇
尼:
哲学也一样。一种方便的定义是哲学就是哲学系教的那些玩意。那恐怕现在的哲学和100年前哲学不一样了。再过10年，逻辑就不算哲学了。我得开会去，晚上喝两口再聊。
阮:
对于一个生命有穷的个体来说，科学能解决的问题少之又少，当科学不能解决时，就赖宗教获得个体幸福了。因此，科学的终端是宗教。
白:
@阮 宗教就是昨天的科学
李:
一个显而易见的事实是 科学技术的进步带来了物质繁荣 但人类的精神问题没有减少 貌似日趋严重，至少是停滞的感觉 与科技的一日千里 无法比拟。
白:
人类不好伺候啊。
穷也矫情，富也矫情。
阮:
科学伺候的是客观世界，宗教伺候的是人类精神世界，目的不同。
张:
白老师，宗教比科学早啊
白:
对啊，宗教的明天是科学。一个意思。
李:
宗教要真伺候得好 为什么还有那么多迷途羔羊？
譬如 执着心，佛教 甚至fl功 都有很多放下执着心的教义，道理是深刻的，几乎无懈可击，可是怎么那么违背人性 难以接受？
张:
其实科学和宗教确实很难放在一起，科学也许永远找不到最终的答案。
阮:
这世上有这么多无知的人，为什么不说科学伺候得不好？
白:
@阮 不一定啊。你以为高保真音响只是伺候耳朵的？不是的，是伺候听觉欣赏的。
马：
@阮 看你怎么定义终端。科学和技术要分开。享受属于技术。
阮:
@白 科学求真，让人类获得享受是副产品。
李:
好吧 就说死亡不可抗拒 这个我等可以接受 （虽然也是经历很多才接受的）。那么 在我们死亡之前的这些日子里，我们每个人都想减免痛苦，可痛苦依然挥之不去。
马:
所谓死亡只是换了一个躯体而已。
白:
说不定吃一种药就不怕。又减少痛苦又不上瘾。到时候再痛苦就矫情了。
dl:
人之所以痛苦，在于欲望，而其中相当部分欲望，与个体独立性反相关，社会科技越发达，社会越富有，反而大家都落不着好了，这就是现代社会的一个毛病。典型的是权力的欲望。
白:
藏族人对死的态度很豁达
李:
痛苦二字也许太抽象 但我们多少人没感受过一个 “累” 字。人生真累。活着真累。
dl:
越是发达的社会，越是号称平等自由的社会，人们从权力方面获得的满足感越少。越是专制，反而每层都能找到权力的感觉。
阮:
人类麻烦事太多，除了生死，还有一堆其他的。科学帮助解决问题，不能解决的就用宗教。
白:
能量极小化，就是懒；物质极大化，就是贪。
李:
其实这种累的感觉，不是简单的欲望不得满足。
白:
都想出人头地才累。
dl:
归根结底，出人头地也是权力欲望。没有雄心壮志，就比较容易快乐。
熊:
虚其心，实其腹，弱其志，强其骨，美国政府在做的。
白:
权力欲望也一定有物质基础的。吃药可医。早晚的事。
李:
在古代 流行的是简单的快乐。进入文明社会 简单的快乐的能力 现代人丧失了。
我们的远亲 猿猴就没有人类这么多这么深这么厚的痛苦。
dl:
以前皇帝的物质条件未必比现在普通人好啊，但是快乐太多了。现代社会另外一块问题，就是虚伪性，其中最大的就是婚姻制度，也是导致痛苦的主要原因。本来古代制度性解决的问题，现在需要每个聪明人耗尽自己的才智，其实也解决不了问题。@wei 主要是一夫一妻制度的推广造成的。
李:
那就废除这个制度好了。可群婚也不会幸福。
dl:
太多成功学，个人奋斗案例，给大家打鸡血，也是导致大家辛苦的原因。美国鼓吹的那一套人人奋斗也是大家痛苦的原因。以前不成功还可以把原因推到制度上，现在只能埋怨自己了，能不痛苦吗。
邓:
看高手过招真心快乐。@白 将来我们都喝老爸茶、弹琴、斗嘴。
李:
过度紧张 过度竞争 恶性竞争 肯定是罪魁之一。
dl:
人之所以快乐，无外乎比别人优越那么一点点。也许现在宗教存在的意义，就是我失败了，能让我找到一点点借口。否则就是赤裸裸的自我解剖，太痛苦，没几个人受得了。
李:
找不到工作 社会上混得不好 肯定不快乐。
但有一个不错工作的人 也往往快乐不起来
白:
这点借口，科学也会给的。将来都ai了，找不到工作是常态。
dl:
很重要的一点，和身边的人比较起来，是不是优越。最谦虚的人，内心也是希望得到别人的恭维的。最不在乎的人，他在乎的东西，超乎我们的想象，除非这个人完全破罐破摔。
白:
把自己贬低到常人难以接受的水平，来恭维别人的人，一定极其阴暗，破坏力不可低估。自尊心是守恒的。这里按下去，就意味着一定会在其他地方冒出来。
李:
回想起来 人生中比较真切的快乐的确有 就是助人为乐 远比自己得到好处快乐得多。这个助人为乐 首先是亲友。看到自己爱的人 亲友 由于自己而改善了境遇 那种满足幸福感相当不赖。如果觉得自己可以帮助全世界，快乐就源源而来。
dl:
@wei 这也算一个麻醉剂。中国人这个达则兼济天下的思想，本来就是高高在上的。
明白嘛，高高在上。帮助他人，也是体现自己优越感的好地方，当然客观上是有好处的。仔细分析，从内心来讲，并不比我要出人头地高尚多少。
白:
精英已经失去了代表人类平均感受的资格。
dl:
@白 现代社会的痛苦，就是精英阶层弱化的痛苦。
白:
去精英化
李:
暴发户回家乡办学 就是这种幸福的展示。
dl:
@wei 你说的这种东西，并非精英阶层追求的东西，而是把精英阶层平民化的过程。这里有一种不可调和的东西存在。
李:
雷锋的快乐就是，做好事不留名，记在日记里自我欣赏的感觉超级棒。
高:
雷锋不识字，何故多记事
dl:
@wei 雷锋这种现象，主要还是愚民策略的一个证明
李:
一介武夫 无权无钱 不富不贵 但没人否认，雷锋是幸福的 每一天活得那么充实满足。
dl:
反正在这个群里，我得到的快乐，肯定没有我的粉丝群里得到的多，这是肯定的。原因是肯定的，这个群里大家都很自我。没有人太屌谁，这就是以后社会发展的一个趋势。
白:
反过来说，精英扎堆儿的地方，不适合精英自我表扬。
桂:
李白是计算语言学界活雷锋。
dl:
所以每个人权力获得感会大幅下降，这是必然的。预测以后的世界，每个人的存在感问题会更大。这会是一个主要问题。
白：
唱戏当皇上也是爽的。
以后ai发达了，nlp发达了，慕容复何至于那么孤单，可以乱真的奴才臣子还不是要多少有多少？权力欲真那么难满足吗
dl:
@白 反正我不会和机器人谈恋爱。
这个每个人细细体察内心就可以知道
李:
不要说那么绝对。没人会拒绝快乐，快乐来自人和机器 不重要。
白:
来自药物和现实乃至虚拟现实，也不重要，关键是不要有副作用
dl:
精英阶层的人士，快乐在于控制和影响力，不在于太物质的东西。而世界趋势在背道而驰。庸俗化正在席卷全球。
@白 吃药也许可以。五石散。魏晋南北朝，其实也是一个世家没落的时代，和现在有点像。
白:
所以科学宗教哲学，说到底都是solution，是骡子是马，最后都要在problem面前遛遛。
dl:
@白 同意。问题是这里面存在不可调和性。发展趋势和人快乐的基础之间有不可调和性。这是现代社会的一个重要问题。庸俗化引起的权力满足感丢失，可能是问题的核心。
顾:
科学和宗教类同，只不过科学适用面宽些，预测能力强些。
白:
人太多了，逆选择一下也是必要的。这么辛辛苦苦伺候都快乐不起来的人，还是哪儿凉快哪儿呆着去吧。
dl:
目前解决方案，就是创立一个公司，然后去当土皇帝。这才是正道。所以要创业。这才是创业的终极目标啊。公司目前是满足权力感最好的形式。
白:
权力自由但财务不自由的创业，好不到哪儿去。
dl:
@白 这就是你说的唱戏当皇帝也快乐啊。
白:
自己印钱啊，虚拟货币。
想象力太受现实束缚了。
dl:
@白 我只是调侃一下而已
白:
我调侃两下行不
dl:
当然可以。以后都去参加拜公司教就好了。这就是宗教。solution直面最核心的问题，精英阶层存活的意义就在于此。
白:
ai让你唱戏当皇上比真皇上还爽，连个不爽的理由都找不出来。
dl:
@白 现在很多人沉醉于虚拟网络，可能也和这个有关系。找到了存在感。但是如果获得太容易，就没优越感了。存在感其实在某些意义上等同于优越感。
白:
那容易啊，工作量证明，挖矿挖到了的当皇上。
dl:
@白 其实发明一种机制，让人去做梦，这样人的一生其实不需要活动。可以拍一个电影，以后少数精英人士操纵社会，大多数人生下来，就被装在器皿里培养做梦，大家觉得如何？都很快乐。其实社会本质未尝不是这样？
邓:
今天讨论这么热闹@尼 得发个红包。
【李白之44：“明确”是老子还是儿子，需要明确】
白:
“北京大学率先明确入雄安路线图”。“明确”是副词还是动词，需要先明确。
李:
我觉得这不是问题的关键。pos 在抽象层面只规定非常宽泛的框框。关键还是语义之间的相谐。正确的问题不是pos，而是 “明确” 在这里是状语（儿子），还是谓词（老子）。在【明确＋ vp】里面，pos 上它没有什么限制，所谓跨类词。跨类就是两可。 对于跨类 这是一个没啥意义的问题 或者说 这是一个 circular 的问题。
“明确”的最常见的 subcat 带的是 np，但是 在 “明确v” 出现时，这个 v 可能是 vp，因此 “明确”可能做其状语。也可能这个 v 是np内部的修饰语。
（1） 明确规定游泳违规
（2） 明确规定 严明纪律 这两条是整顿金融秩序的关键所在
（3） 我们要明确规定条例
大数据可以帮到 （1）；（2） 是排比的力量 压住了大数据，把潜在的动宾可能激发出来。 但排比因素的形式化实现还需要探究（虽然形式特征在人看来是蛮明显的）。（3） 仍然歧义：“明确（地）规定（相关）条例”，还是 “明确（一下）（有关）规定（方面的）条例”？大数据似乎选择前一个解读，为什么我们仍然感觉得到后一种解读的可能性。设想 如果大数据中 “规定条例” 比例开始高到可以与 “明确规定” 相匹敌的时候，这就是大数据也搞不定的边界之争。
白:
“北京大学率先明确入雄安路线图”这个例句中，“明确”只有一种走得通的词性，就是动词S/N,X。如果是副词，“入”就会过饱和。虽然过饱和也是能处理的，但放着正常饱和的不用却去用过饱和的，终究不妥。因为“入雄安”只剩下一个坑了。副词“S+”不会改变萝卜数和坑数。
李:
“率先明确入雄安的是习大大吗？当年是毛主席率先明确入京的。虽然有人提议仍在南京建都。” 什么叫 入 的过饱和？
看样子 “明确” 的subcat 也有带 vp 的，虽然不如带np的 subcat 用得广。
另。假设 native speaker 的语感与大数据（作为语言共同体语言表现的代表）吻合（实际上当然不会总是吻合）， 那么大数据搞不定的歧义就应该视为真歧义。大数据能搞定的就是伪歧义 尽管这个伪歧义以前被认为是句法真歧义。“以前”指的是没有大数据语义中间间或没有语义或常识消歧手段的句法分析器的那个时期。
【相关】
【李白宋53：聪明的一休与睿智的立委】
宋:
“禁止违规游泳”（1）凡游泳皆违规，禁止游泳。（估计这是标语牌的本意）（2）游泳还是可以的，但不得违反相关规定。（相关规定是什么，并不知道）
蕫:
宋老师，是的，应该是'在此处游泳均属违规"。我还见过“禁止野浴”。
李:
“禁止违规游泳”这个问题蛮典型 就是修饰语的限定性还是非限定性的问题。所有游泳违规 均在禁止之列，这个解读是非限定性的。限定性的有：
“欢迎持照游泳 禁止违规游泳。”
“以下游泳行为一律视为违规 本游泳池有权禁止入内或强制驱逐：
1 不穿泳裤者：便裤 普通内裤不得入内。裸泳绝对禁止。
2 传染病患者
3 无会员证者”
汉语句法 前修饰语默认为限定性。就是说 有修饰语 集合就变小了 成了原概念的真子集。而非限定的修饰语解读属于例外，是值得具体研究的现象。
白:
“聪明的一休”，还有不聪明的一休木有？
李:
聪明的一休很典型。再如 吾党的伟光正：伟大光荣正确的某某党。语言学认为默认为限定，吾党认为是非限定。这是自封的本性 不改变集合的外延。如果抠字眼，可以说：
“伟光正的党万岁 不伟光正的党必亡。” 搁在文革，这就是恶毒的反标，现行反革命，要坐牢的。
如果非限定性有句法形式的区分手段 那就好说。譬如英语非限定定语从句，前面加逗号 不允许用 that 作为连接小词。这些都是句法形式的规定 与语义相呼应：
限定: “I like the guy that just won the Math Olympic modal ”
非限定: “I like the guy, who just won the Math Olympic modal ”
== “I like the guy, and he just won the Math Olympic modal ”
但是如果没有形式区分 就是一个特别值得探究的现象 究竟是如何出现的 什么因素决定了非限定。我觉得非限定修饰语的产生就是语言表达的偷懒，或discourse意义上的降格。偷懒表现在 本来应该是独立子句表达的语义 被凝缩或降格为前一句内部的修饰语了，做了小三，但表达的却是原配。除了偷懒 造成可能的困惑外 还有轻视或侮慢原来语义 顺带一提的语用或风格的因素。
白:
这个和反事实条件句有得一拼。汉语不太看重程序正义，如果你知我知没有不聪明的一休，那聪明的一休就是非限定的。
李:
“朦胧的月光”，是非限定。“火热的太阳”，却是限定性的，因为“惨淡的太阳”、“昏黄的太阳”也是存在的。"Stupid me", 这个是非限定的。 它等价于 “I m stupid”， 虽然严格说 我应该也有 intelligent 的时候。逻辑与语言的不一致就在这儿。
白:
哲学上较真儿起来，没有绝对的同一性。上一分钟stupid，这一分钟不stupid完全可能。所以非限定就是一主观的“锁定”。让你不游动，定格在某个特定的属性上。
李:
对。
可是怎么在说者与听者之间达成这个锁定，使得理解无误呢。“伟光正”的锁定是洗脑的结果。“聪明的一休”在狭窄的domain，是新造的脸谱化人物，也是绑架的。“美丽的西施”是历史的共识，还有 “睿智的诸葛亮”。如果说 “睿智的立委”，那就是恭维 拍马 或 嘲讽了，虽然也是锁定，因为说这句话的时候 是没有假设存在一个愚笨的立委 作为对照的。但是，可以说：“睿智的立法委员肯定不会投票赞成这个法案的，少数愚蠢的立法委员除外。” 这就是限定性了 。当然，立委与立委不同，专有名词从集合论上说只是一个元素，排除时间维度可能的变化以后，这个元素是不可割裂的。普通名词常表示类别，所指是一个集合，于是给子集的限定性留下了余地。
白:
先有脸谱，锁定才成为可能。与脸谱不符，那是高级黑。
李:
这里 脸谱 就是英语的 stereotype，带有默认属性的实体，当默认属性成为修饰语 那就是非限定。默认以外的属性作为修饰语， 就是限定性 因为这增加了信息量。伟光正的信息量为零。作为修饰语 不是为了传达信息，而是为了宣传或气势压人。把默认属性提出来作为修饰语虽然没有增加信息量，但可能有强调或比照的语用效果。如果我们知道隔壁老张是个矮个子，然后说：“小个子的老张摔跤大赛中得了冠军”，这个已知内容的非限定性修饰语加强了意外成就的效果：see，大家都知道老张是个小个子，可是他虽然个子小，本应处于不利，他却赢了。
宋:
一般情况下，对于个体的修饰，通常是描述性的。对于多个体的集合的修饰，就有两种解读了。刚才说的是定语。如果是状语，则往往是描述性而非限定性的，因为通常是叙述一个特定的时刻特定对象发生的行为。如“他违规使用电器”。但是，在“禁止”、“提倡”、“要求”这类语境中，状语往往是限定性的。
白:
刚转了一篇关于陆奇的采访，用的称呼是“微软最有权势的华人”。且不说他是不是适合这顶帽子，这里涉及到定语的限定性用法和非限定性用法。如果中心语是集合，那么定语可以筛出一个子集。如果定语是一个个体，it depends。
“原来的我”，实际上把一个个体在时间维度上分片了，筛出一个时间段。而“聪明的一休”则根本没有任何限定。“假马克思主义者”则针对原来的集合在其外面构造了个集合。
李:
这个限定还是非限定的问题 在做 sentiment 时候挑战可大了。选定的定语有褒贬的话 对于被限定的实体 是直接影响。非限定则不然 根本就不存在褒贬评价 只是把对象用褒贬的维度 做了客观的分类说明而已。可惜二者的形式区分很微妙 不好区分。“道德败坏的四人帮" 是贬四人帮，"道德败坏的人 是环境使然 还是也有遗传因素呢 仍然有争议" 谈的不过是人类的一种，是在“人”这个集合里面限定一个子类，语义议论，并非针对“人”做否定性的价值判断。
白:
“道德败坏的人”两个意思。限定用法，指人类中道德败坏的那部分。非限定用法，指人这个物种就具有道德败坏的属性。
梁:
白老师是说，限定性把概念的外延限定变小了。“聪明的一休”没有"限定“一休，只是说一休有”聪明“的属性。
白:
是啊，正是。所以“丑陋的中国人”其实也有歧义的，只不过作者毫不隐讳他说的就是非限定性的意思。
宋:
英语的关系从句也有这两种（全体元素具有该属性，或抽取出具有该属性的那一部分元素），它们的区分有无形式标记？
白:
感觉：1、后置定语往往是限定性的；2。分词做定语往往是限定性的；3、有定形式（比如受定冠词管辖）往往是非限定性的。
我：
限定 非限定可讨厌了，有没有形式痕迹？有，英语中，我们尝试发现蛛丝马迹，也的确发现一些，类似白老师说的。但是非常微妙，稍不留神就 overkill，这个问题对 sentiment 非常重要，除非牺牲 recall，对定语一律不抓。如果想要那个 recall，precision 就会影响，如果这个问题不细心的话。烦死啦。
利用句法和pattern 都这么难缠，没有结构帮助，这个 sentiment 怎么弄，是不是就是瞎蒙。By the way, 英语中的术语 限定性（restrictive）与非限定性 似乎正好与白老师说的意思相反。教科书上，英语中最典型的区别和说法是，限定性定语从句前面不能有逗号，用 that 或 who、which，非限定性定语从句有逗号，不能用 that。因此，非限定性定语从句与另起一句差不多，是对NP的整体做进一步讲解，而不是对 NP 做限定性分类。但实际的情形复杂多了，这与 NP 是不是专名，NP 前面是定冠词还是不定，是不是复数，等等微妙条件的组合效应有关。
Case by case，人大致可以判断是哪一类，或是是不是歧义（或两类都有），但从这些语感中总结出一组可靠的条件，颇费功夫，要不断到数据去求证，才逐渐感觉有个眉目，这里面结构是必需但不是充分的因素（没有结构，是不是定语都不见得摸得门，就更甭提区分两种定语了）。应该算 NLP 难点之一。看哪家系统，用什么招，可以成熟一些。迄今所见所闻的学习出来的 sentiment 系统，对这个挑战似乎束手无策。
【相关】
【强弱人工智能之辩】
董: 两周前陪一位朋友去做肠镜。医务说明上写到：肠镜有风险：肠穿孔是1000:1；大出血是：500:1。后来我想到了伟大的人工智能（AI）和机器人。其实将来可以研发专门的机器人来为患者做肠镜，如果肠穿孔低于1000:1，不就成功了吗？后来又一想不对呀，以后等机器人把肉身人类都消灭了，哪还要做肠镜呀。人类的未来真是太美妙了。没有疾病，没有穷困，没有战争！
我: 董老师，相信所谓强人工智能，甚至所谓超人工智能的，主要是两类人：一类是部分权威或大佬，霍金、比尔盖茨之类；另一类是被小报或科学幻想洗脑的百姓，而编这些科学幻想故事的人基本是出于猎奇的本性。后一类人可以忽略。其实，第一类人，到目前为止，大多还谈不上相信所谓强AI，他们主要是提出要警惕AI可能带来的人类灾难，这是为强人工智能开了口子。这类人不是简单地可以否定的。也不能仅仅归结为他们在忽悠，因为他们足够高大，已经超越了通常意义的忽悠（动机为好处、为金钱、为funding、为耸人听闻等）。
相信不相信强AI已经不再是学术之争了，而越来越成为信仰之争，世界观之争。两派都有大师做后盾。乔姆斯基是强AI的否定派，有人问他：机器会思考么？乔老爷反问：潜艇会游泳么？乔老爷认为强AI是无稽之谈，不值得讨论的话题。但霍金、比尔盖茨等人则未雨绸缪，开始担心强AI了。
从自主思考的意义，我们作为强AI否定者，可以与乔老爷一起斥其为无稽之谈，学术上这个所谓强AI是一个不值得认真对待的问题。但是，从现实考量，警惕强AI论者有其积极意义。这个意义表现在，随着AI系统越来越复杂，创造系统的人可能失去对其全面的掌控和了解，这样来看AI系统，其风险的确在增大，而这一点是不难想见和同意的。
我们先撇开AI看人类的科技进步。事实上，立足于科技进步所带来的毁灭人类和世界的可能性早已存在：如果核按钮掌握在极端主义手中，这是完全可能的事儿。人类对此危险的办法是，限制核武器发展（制裁北韩是举措之一），对于已经掌握核武器的大国，也有一些措施试图保证不至于因为误判或误操作而造成核灾难和大毁灭。如果 AI 系统以后被用于一些敏感的地方，而且系统的复杂度和演化越来越超出人脑可以理解和控制的程度，那么出错以及错了难以阻止的可能性不是不存在的，虽然这与机器自主思考没有一毛钱的关系。
从功能角度，从图灵测试的标准看，潜艇与鱼一样会 “游泳”（先摈除这个字眼本身纯粹从语言带来的专属于动物的限制），飞机与鸟儿一样会 “飞”（还好，语言中这个语词似乎更超脱一些，没有强加隐含的动物限制）。这一点是没有什么疑问的。乔姆斯基实际上是利用了语言学的 trick，打了一个世界观之争的漂亮仗。但严格意义上，有点胜之不武。作为语言大师，他知道如果说潜艇会游泳（尼克说，这是乔老爷拷贝别人的比喻），在一般人心中，会天然地导向无稽之谈的感觉。
张: @wei 向您致敬！
我: 跟董老师讨教，我们都来致敬董老师。我们都是董老师的好学生和追随者，现在话说，粉丝。
张: 我最幸运的亊，一踏上人生和学术之路，就有董老师这座“灯塔”一直照耀我，后来又照耀了我女儿。
我：我一辈子最幸运的事儿，就是在 career 开启的时候，遇到了两位刘老师和董老师，董老师虽然不是直接的导师，但当年的接触和给我的教诲，终身受益。董老师的逻辑语义的论文（逻辑语义及其在机译中的应用）是我的启蒙读本，当年细嚼慢咽读了很多遍的。
白: 动词对主语的专属强度，其实也是与时俱进的。比如“告诉”，之前只能用于人，但是现在可以用于搜索引擎了。专属强度就是世界观的一部分。
我: 总之，我们虽然是乔派，我自己更是董老师派，但我想说的是，这个争论不是简单否定那样简单。这就好比明智的无神论者或不可知论者，已经很难简单否定上帝的存在一样。
张: @董 @wei 读你千遍不厌倦
董: 曾经观看过传销的影视。传销有三个要素：强忽悠、强洗脑；一个好的有能卖钱的产品；一群容易跟风的受众。AI曾栽在了五代机上。后来找对了诸如语音、马克杯识别、在后来有象棋和今日的围棋。谷歌等的“可穿戴”、微软的看脸猜岁数等好像下岗了。如果AI能用于灾害预报，恐袭预测和防止该多好，多紧迫啊。任何的研究，尤其是与人类自身相关的题目都是应该鼓励的。但是不要把某种研究神话、神化，更不可以用来当迷信似地吓唬人。例如“大脑计划”是好题目。AI人应该是经验主义者，他们说要警惕人类会被机器人消灭，有实践能证明吗?
白: 一些古老的仪式感动作感很强的词，当新技术用更好的动作也能达到同样的最终结果时，就被古董化了。比如：“打印机会写字吗？” 打印机可以呈现写字的最终结果，但摒弃了写字的狭义动作和过程。潜艇摒弃了游泳的狭义动作和过程，只呈现水中位移的最终结果。这种仪式感动作感太强的动词就没办法随着技术的发展与时俱进了。飞就不同。
我: 所以我说乔老爷用那个比喻虽然妙绝，多少有些胜之不武。
自然语言语词，经常带有非逻辑必须的核心语义以外的零碎。这些零碎有助于我们在discourse中找其关联部分，但也容易被其绑架，进入“标配”的认识误区。
马: 还有洗衣机等，用张老师的话说，如果当初研制洗衣机的，想造个机器人，用搓衣板洗衣服，哪年才能做到啊。
白: 在围棋界，“想”是可以用于AlphaGo的。
马: 蒙特卡洛树搜索就是想吧。
梁: 造个机器人帮我洗碗 , 洗碗机？
白: @马 搓衣板还有其他妙用
马: 惩罚老公？现在改用cup了
我: 如果坚持机器不能 "思维"，只能 “计算”， 那么几乎所有的 AI 术语都应该推倒重来：机器翻译（MT）是无稽之谈，人工智能是弥天大谎，自然语言理解（NLU）亵渎万物之灵，神经网络（NN）肯定是神经病的臆想。
张: @wei 句句是真理呀！开始崇拜啦！
马: 可以扩展计算的含义。
白: 不同层面吧。分子只能碰撞，一堆分子却产生温度。
梁: 基本同意“人工智能”就是一个大词儿，吓唬人。空洞的，只有广告宣传造势意义的大词，以“人工智能”为例，可以写一篇文章。
我: 但是术语已经站住了，各有各的理解，怎么办？于是出现了，强AI、弱AI 之争。
马: 我是弱AI派。
我: 加了一个前缀，我们便稍觉心安，原来我们可以一致同意的是，机器可以模拟人的某些知识功能和白领劳动。我们叫它弱人工智能。
白: 整体论和还原论。强弱AI是哲学，不是科学。
我: 我应该也属弱AI 派，不过真心觉得，这个 AI 或 NLU 都有加速度发展的趋势。不见得是硬件的摩尔定律那种速度，但的的确确超出了我们以前的想象极限。我入行的时候对多语 MT 的梦想，现在已经被 SMT（统计型机器翻译） 提前实现，无论我多么批判 SMT 缺乏结构和质量不佳，可现在的在线多语自动翻译唾手可得的局面已经远远超越了我们当时的所有想象。自然语言理解的核心引擎 parser 也是如此。我做梦也想不到，在我有生之年，除了英语和其他欧洲语言外，对于我们这个据说只有意合缺乏语法的伟大母语，我一介书生，可以设计开发出一个现在展示出来的 Chinese parser，接近人工的水平，达到实用的高度。这是最让我感慨的《美梦成真》。当年要是一路做老式的规则MT，先得被SMT气死，然后重生，最后才可以对决，好在 IE （信息抽取）诞生了，我于是转向去做 IE，有深度 parsing 做底，一做17年，无往不利。天不我欺，幸运啊。
马: 统计把AI带向了实用。
白: 弱AI的边界会被人类的专属动词一个一个打穿。到时候，没打穿的是因为太古董，不值得打穿。非不能也是不为也。做一个机器人会游泳还换气，有意思吗？不管SMT水平多矬，翻译也不是人类专属动词了。
我: 对，在我们下一代中，机器翻译已经天然有理了。不像我刚入行的时候，我的文科研究生同学无论如何不理解机器怎么可以翻译，这应该是专属于人的高级脑力劳动。同学当年瞪着一双又是佩服又是恐惧的眼睛，我的印象极为深刻。
白: 昨天我就感慨，人工智能就是人工原罪，你的使命就是把各种专属拉下神坛。
马: 我女儿小时候写作文，总是先搜索一番，都不知道谁教他的搜索。以后翻译也差不多吧。
白: 还有学习，也不专属了。
马: 从数据中学习 机器强于人。
我: 现在的困扰是，我们不知道如何定义灵性。我们可以感受它，也知道它是人机的本质区分，可就是无法精确定义它。
白: 还好灵性不是动词，可以放一放。
我: 凡是可以精确定义的灵性的某种表现，似乎都可以被模仿。有的已经不仅是模仿，而是超越。细思极恐。
孔子说，三十而立，四十而不惑，五十而知天命，六十而耳顺，七十而从心所欲不踰矩。知天命就是顿悟的境界了。自感顿悟确需多年的历练，不到 50，没有足够的积累，的确极难。 睿智如白老师已经耳顺，那又是一个高度。董老师更不用说了，那是天马行空随心所欲了。即便在下，现在看问题，与10几年前看问题就不同，莫名其妙地有一种穿透的感觉，所谓洞若观火。当然指的是自己的一亩三分地，不是说的大千世界（能穿透大千世界的应该是董老师、乔老爷或者星云大师这类高人，我等肉身凡胎只看得见自己的耕耘）。
【相关】
【李白之43：谈谈绑定和回指】
白:
him为啥指he而不是the police officer？按照“最近提及原则”，the police officer在栈顶，“he”在次栈顶。但，语境（图片）表明，“he”在牢狱中，事理指向出狱（go）。事理决定了police officer可以决定he是否go，bribe可以左右police officer的决定。这些事理指向，一旦达到边界强度，可以压制最近提及原则的标配结果。
李:
"He bribed the police officer to let him go" is like "He requested the officer to find him". "him" cannot refer to "the officer", it has to be somebody else, either "He" or someone else.
cf: "He requested the officer to find himself"
"himself" refers to "the officer".
白老师的道理是说语境（事理）可以突破 heuristic。凡是 heuristic 都只是一种趋向，一种原则，也都有例外，都有被其他因素override 的可能。这个道理是对的。但这个案例，却不需要语境出场，这是句法绑定（binding）本身就决定了的。
"bribe" 的subcat 是：bribe sb to do sth, so "sb" is the (logical) subject of "to do",
the object of "to do" cannot refer back to the subject unless "self" is used following the Binding Theory. So in the coreference list, "the police officer" is not even registered as a possible candidate.
句法就排除了这种可能，因此也就没有什么就近原则与语境发生冲突的故事了。这是乔姆斯基的绑定理论的一个典型表现。不确定绑定的是谁，而是确定不能绑定的是谁。
白:
穿透了
李:
显示了句法的有限但是有效的作用。
"She bribed the police officer to let him go", now the subject is "She", still "him" cannot refer to "the police officer". It has to be somebody else.
白:
him就是第三者，非反身性。
“John asked Bob to wash himself.”
“John promised Bob to wash himself.”
当年德国老师讲过这两个例子
李:
right.
this diff lies in the diff in subcat patterns. "promise" is not associated with the standard subcat "promise sb to do sth" when "sb" is the logical subjecct of "to do", it is instead associated with another subcat "promise to sb to do sth" when the logical subject of "to do" is the same as the subject of "promise".
所以句型不仅仅是形式序列: Input 形式背后作为output的逻辑语义也是句型的一个必要成分。上述两个形式相同的序列，在句型上被认为是两个。分别用不同的subcats 在词典里面标识。可见，subcat 虽然是一个句法范畴，里面却藏着通向语义的钥匙。
语言学里的subcat 差不多是大半部句法了，是极为重要的概念。词典主义被公认为最有效的自然语言策略就是基于subcat。这是语言学隐性形式手段的最漂亮的体现，是上帝的杰作。
白:
“我答应你离开他”，“我要求你离开他”。前者是“我”离开，后者是“你”离开。在“答应”和“离开”进行“合并”操作的时候，“离开”没有饱和的坑向“答应”的逻辑主语开放复用。在“要求”和“离开”进行“合并”操作的时候，“离开”没有饱和的坑向“要求”的逻辑宾语开放复用。这种在合并时可以对复用指向提出要求的禀赋，潜藏在词典里。平时看不见，合并时露峥嵘。
李:
正是。这是语言（学）的奇妙。由于subcat是一种词典分类或标注，是隐性形式，这似乎是创造语言的上帝给人类理解语言出了一个小小的难题。在人类（语言学家）没有发现subcat或自主利用subcat机制之前，语言处理注定是混沌的、粗线条的。但无论发现还是没发现，人类千百年来一直在潜意识里利用它，无障碍地交流。
白:
“面包我答应你吃掉了，牛奶你就别逼我喝了。” 即使填后面动词坑的萝卜移位到前面，这个关系依然成立。即使“你吃掉了”这么天衣无缝也不许结合。
李:
这个句子很妙。
白:
binding在汉语里会有更广阔的发挥空间，而且和“词负载结构”的理念是如此之契合。残坑就是一种变相的指代。
李:
但是，coreference主体是discourse范畴，binding不过是想利用句法提供一点帮助，它还是局限于句法本身的范围，句内。句内能搞定的只有self, 句内不能搞定但是可以排除句内candidate的，句法也有一些助益。再多，binding 就无能为力了。Coreference在 binding 之外，仍然有很多 discourse 的挑战。是一个公认的 NLP 难题了。
白:
“你我不允许走，他么可以商量。”---如果后面的动词是不及物的，即使逻辑宾语提前了仍然受到与在原位同样的约束。
李:
什么约束？
白:
走的不是我，虽然离得近。
“一个嫌犯我们也不允许放过”，“我们”似乎要通吃呀…… 难道“允许”是个双性恋？
李:
句型纠缠？ 一个也不 Vt ＝＝ 一个也不【被】Vt
“一个也不（被）买”，“一个嫌犯也不（被）放过。”
“一个嫌犯我们也不允许放过”
＝＝“我们不允许放过一个嫌犯”
＝＝ “我们不允许【ｈｕｍａｎ】放过一个嫌犯”
＝＝ “我们不允许一个嫌犯（被）放过”
这个【ｈｕｍａｎ】是谁，不知道，也不必知道。这是一种命令，常识上这个【ｈｕｍａｎ】可以是任何人（在domain里可能指某些“手下”）。任何人也就可以包括“我们”自己，但这不是严格的回指，而是包含。
“我们也不允许自己或任何其他人放过一个嫌犯。”
“我们也不允许任何人包括我们自己放过一个嫌犯。”
【相关】
【李白之42：谈谈工具格的语言形式】
白:
“张三踢李四的两脚李四一直惦记着啥时候提回来呢。”
如果“两脚”填的不是标配的坑，这定语从句的反填就成了问题。目前我是把“两脚”这种动量词先处理成N，再升格成为+S，可以理解为一个自带宾语的虚拟后置修饰语。当对“两脚”使用定语从句修饰的时候，可以认为自带的宾语“两脚”与作为其母体的虚拟后置修饰语进行了某种分离：虚拟后置修饰语“+S/N”留在了定语从句内部，而它自带的宾语“N”则被甩到定语从句的外边，被修饰且可以反填残坑“/N”。同理，在“武松打死老虎的那三拳力道大得惊人”中，“三拳”也填不了“打”的标配的坑，只能理解为自带宾语的前置虚拟修饰成分（“打死”已经是述补结构不再能后置只修饰“打”的动量修饰成分，从而必须往“打”前面放）S+/N和动量结构N分离了。就是说，被定语从句修饰的动量词N，无法简单地升格为+S或S+，而必须要还原出一个带宾语坑虚拟修饰语+S/N或S+/N，把它推入定语从句。这恰恰才是N升格为+S或S+的本质。如果不是反填定语从句的要求苦苦相逼，这个本质差点儿被掩盖了。可以理解为先有“武松（凭借）三拳打死老虎”，而后有“武松（凭借）打死老虎的那三拳”，最后变成了“武松打死老虎的那三拳”。
说到“凭借”，想到了“借以”。后者是中间抽空了介词宾语的合成词。“武松借以打死老虎的那三拳”是“武松借（那三拳）以打死老虎”的定语从句形式。反填的坑，就在“借”和“以”之间。
李：
工具格，或 所凭借。
白:
有的时候，这个坑会显性化，“借之以”。
砍、剁、刺、砸等动作，工具格是标配。打、抢，工具格不是标配。非标配又不显性带介词的工具格，必须借升格处理之。
李:
工具格有搭配性与非搭配性两种：搭配性工具 因为其搭配 常常省略显性小词 如“凭借”、“用” 等。“打 两拳” 是搭配，“两拳”是工具。“用板凳 打”，则是非搭配性工具。
白:
“他抢银行的那把玩具枪”
意思是“他（用以）抢银行的那把玩具枪”
李：
“他抢银行的那个案底”
白:
“案底”是N/X，不需要反填，是动词填X。
李:
“他抢银行的那个同伙”
白:
“同伙”是N/N
李:
“他抢银行的那幢大楼”
“他抢银行的那个时间”
“他抢银行的那个缘由”
“他抢银行的那个后果”
白:
缘由、后果也是N/X。大楼、时间不是，但内置虚拟修饰语。必要时就分离出来，塞回定语从句。同伙、缘由、后果、案底，都带坑。时间、大楼、动量，则是内置一个随时可以分离的坑。或者叫虚拟小词。
李:
“他抢银行的那个x”
对于非搭配性（标配）的工具，也分为两种，一种是这个实体本身具有比较典型和普适的工具性。算是一个名词子类吧。另一个是不在这个子类的名词。对于后者 如果想表达工具这个逻辑语义，就必须用小词。否则它就没有证据或痕迹显示自己的工具角色。“他用希特勒主义去抢银行”。这个 “用” 不能省。因为 “希特勒主义” 第一不与 “抢银行” 有搭配，第二它自己也不属于工具子类。语言必须要用显性形式，譬如次动词“用”，或者俄语的工具格的词尾形式，来标记其逻辑语义，否则心里的语义无以传达。
白:
“抢银行”换成“治理国家”，“用”就可以省了。
李:
那是因为 “主义” 与 “治理” 有某种搭配的呼应。
白:
且不说逻辑语义，统计就支持这样的搭配
李:
没有统计的搭配不存在 除非说的不是大数据。
白：
不说“主义”，就说“那一套”，也可以省掉“用”，因为“希特勒”已经是足够强的搭配因素了。
李:
“他用那一套糊弄谁呀”
“是啊 那一套糊弄谁呀”
白:
“那一套”隐含“方法/无形工具”
所以，对于从名词反推虚拟修饰语的“升格-分离-反填”机制，形式规则只提供可能性，统计搭配才提供现实性。
上面说错了，“升格”都应改为“降格”。降格虽是普适的机制，但只能紧邻被修饰语使用。分离是受统计显著性搭配条件才激活的，只有成功分离，才能在后续纳入正常的反填渠道处理。
被定语从句修饰的中心语，N/N与N/X的区别。前者从N栈依次寻找搭配的词语填坑。后者从N和S混合栈里的依次寻找搭配的词语。二者都服从“最近提及原则（last mentioned principle）”，但针对的栈不同。因为都在定语从句辖域内，这些填坑的萝卜都是使用的免费额度，无论S还是N。
李:
在我的体系里，arg 降格为 mod，【工具主语】 降格为 【工具状语】。如果 topic 是人，subject 是工具，topic 可升格为逻辑主语 arg，工具 subject 则降格为状语 mod. “他一巴掌打了她”，“他”是逻辑主语，“一巴掌”是工具状语。
总之，逻辑语义虽然放之四海而皆准，自然语言却老在升格降格、显性隐性形式中变化多端。语言世界因此诡异而多彩。
白:
话头是宋老师“达成的一致”引发的。“一致”在宋老师的例子里确实是“升格”，但后续关于动量词的例子里，讨论的都是“降格”。N+到N、S+到S是升格；N、S到N+、S+或+N、+S是降格。一个是萝卜皮变成萝卜，一个是萝卜变成萝卜皮。
李:
“达成的一致” 就是 “洗的澡”
白:
？学的习
？高的考
李:
不好
有如 * “浏的览”
白:
洗的澡是自指，达成的一致是转指。
？收获的丰硕
？贪污的巨额
最后一个接近于能说。
取得的圆满
这个就完全没问题了。“圆满”基本可以类比宋老师例子里的“一致”。
赶过的时髦
“时髦”比“圆满、一致”还顺溜。几乎不是临时借用N而是固化的N了。
【相关】
《李白之零：NLP 骨灰级砖家一席谈，关于伪歧义》
题记：此地有金八百两，隔壁RNN不曾偷。
李：今天我们可以讨论伪句法歧义（pseudo-parses）的问题。我说过，多层 FSA 的 deep parser 不受伪歧义的困扰，虽然这是事实，但也还是需要一个阐释。这个问题是革命的根本问题，虽然文献中很少讲述。
第一章，事实篇。
话说某年某月某日，立委与白老师在微博狭路相逢。其时，立委正海吹深度分析（deep parsing）乃是自然语言之核武器，批评主流只在浅层做文章，摘下的不过是低枝果实（low-hanging fruit）。白老师当时插话说（大意）： 你们搞深度分析的不算，你们也有自己的挑战，譬如伪歧义问题。最后留下三个字：你懂的。
各位看官网虫，大凡社会媒体，只要留下这三个字，那就是宣告对手的不上档次，不值得一辩，叫你无还手之力，无掐架之勇，先灭了你的志气。此前，与白老师未有私人交往，更无卡拉ok，江湖上下，白老师乃神人也，天下谁人不知，况青年偶像，粉丝无数。立委见势不妙，战战兢兢，唯唯诺诺：“那自然”。我懂的。心里却颇不以为然：伪歧义其实不是一切深度分析的命门，它只是单层分析的挑战，特别是 CFG （Context-Free Grammar）类 parsers 的困扰。
这是第一章第一节，是锲子。
虽然心里不以为然，但是“我懂的”，却是有丰富的事实依据。骨灰级老革命有一个好处，就是碰壁。无数的碰壁。革命，碰壁，再革命，再碰壁，直至百毒不侵，火眼金睛。老革命可能还有一个好处，就是走运，走狗屎运（譬如赶上上世纪末的网络泡沫，米国的科技大跃进，天上掉馅饼），直至反潮流也没被杀头，硕果仅存。
话说自上世纪80年代社科院出道以来, 就开始做deep parsing, 跟着两位导师，中国NLP的开山前辈，中国MT之父刘先生。他们的几十年的机器翻译积累，在分析这块的传承就是多层模式匹配（multi-level pattern matching）。用 CL术语，就是 multi-level FSA （finate state automata）或 cascaded FSA，有限状态的。我是苦力、主力，新毕业生嘛，为 deep parsing 写了无数个性的词典规则和反复调试精益求精的600条抽象句法规则。埋头拉车，无需抬头看路。从来就没有碰到过什么伪歧义的问题。这是事实一。
事实二发生在我做博士的时候，90年代中期。在风景如画的SFU山头上。当时我的两位导师，电脑系的 Fred 和 语言系的 Paul 合作开了一个自然语言实验室。这两位博导虽也绝顶聪明，但毕竟还年轻。在 NLP 场面上，需要站到一条线上，才好深入。实际上，他们是加拿大 NLP 的代表人物。他们于是选择了当时流行的 unification grammar school （合一文法学派）之一种，就是继 Prolog 以后，开始火起来的合一文法中的后起之秀，名叫 HPSG （Head-driven Phrase Structure Grammar）。这一个小流派，斯坦福是主打，欧洲有一些推崇和践行者，在北美，闹出动静的也包括我的导师的实验室。HPSG 说到底还是 CFG 框架，不过在细节上处处与乔老爷（Chomsky）过不去，但又处处离不开乔老爷。理论上有点像争宠的小妾，生怕得不到主流语言学界乔老爷的正视。
白: 还没进正题
李：白老师嫌拖沓了？？现在还在事实篇内。不讲道理。
HPSG 推崇者不少，真懂的怕不多，特别是把 HPSG 用于中文 parsing 方面。看过一些国人不着边际的 HPSG 论，造成了这个印象。这玩意儿得跳进去，才知优劣深浅。当然没跳的也不必跳了，合一（unification）这一路没成气候，现在跳进去也是白跳，浪费时间。HPSG 有一个好处，就是它的词典主义，它实际上就是此前流行的 GPSG 的词典主义版本。NLP 领域各路英豪你争我斗，但有一个很大的共识，就是词典主义，lexicalist approach or lexicalist grammar。这也反映在 HPSG，LFG 等风行一时的文法派中。
我呢，有奶便是娘。本来嘛，导师做什么，学生就要做什么，这才是学位正道。于是，我在HPSG里面爬滚了几年。照猫画虎，写了一个 CPSG，就是 Chinese 版本的 HPSG。用它与实验室的英文 HPSG 对接，来做一个英汉双向机器翻译的实验，当然是玩具系统。这是我博士论文的实验部分。
为什么双向？这正是 Prolog 和所有 unification grammars （又称 constraints based grammars）所骄傲的地方：文法无需改变，文法就是对语言事实的描述，文法没有方向。无论做分析（parsing），还是做生成（generation），原则上，规则都是一样的，不过是执行层面的方向不同而已。理论听上去高大上，看上去也很美，一度让我入迷。我也确实完成了双向的实验，测试了几百个句子的双向翻译，得到了想要的结果。细节就不谈了，只谈相关的一点，就是，伪句法歧义在这些实验中是一个 huge problem。这个 HPSG parsing 中，伪歧义的事实有多严重呢？可以说是严重到令人窒息。当时用PC终端通过电话线连接到实验室的server上做实验，一个简单的句子在里面绕啊绕，可以绕出来上百条 parses。当然，可以设置成只输出一条 parse 来。有时忍不住好奇心，就耐心等待所有的 parses 出来，然后细细察看，究竟哪个 parse 对。
额的神！
乍看全长得差不多，细看也还是差不多。拿着放大镜看，才看出某个 feature value 的赋值不同，导致了 parses 之间的区别。可这种不同基本上没有语义的区别性价值，是为 pseudo parses 之谓也。要都是伪歧义也好，那就随机选一个parse 好了，问题出在，这百来条 parses 里面有时候会混杂一两条真的歧义，即语义上有区别性价值的 parses，这时候，选此废彼就具有了操作层面的价值取向。否则就是以一派压制另一派，反对党永无出头之日。
这个问题困扰了整个 HPSG community（其实是整个 CFG 框架下的 community）。记得在 HPSG 内部邮件组的讨论中，怨声鼎沸，也没人能找出一个理论上和实践上合理的解决途径来。
白: 简单说就是时间复杂性上去了，结果复杂性没下来。折了兵，真假夫人还混在一起不知道赔谁合适。
李：这就是为什么当时你那么肯定地指出我作为深度分析语言工作者所面临的挑战，您老是把我归到主流语言学乔老爷 CFG 的框架里说的。
在第一章事实篇结束前，简单说一下实践中的对策。后来我的导师与本省工业界合作，利用 HPSG MT 帮助翻译电视字幕。在真实应用中，他们只好选择了第一条成功的 parse 路径，完全忽略其他的 parses。这也是没有办法的办法。质量自然受损，但因为无区别意义的 pseudo-parses 占压倒多数，随机选第一条，在多数场合也还是可以的。
第一章小结：骨灰级老革命在没有理论探索的情况下，就在 deep parsing 的 field work 中经历了两种事实：一种是不受困扰的多层 parser，一种是深陷其中的单层 parser。因此，当白老师一口咬定深度分析的这个挑战的时候，我觉得一脑门道理，但就是有理说不清。至少一句两句说不清，只好选择逃遁。
对于绝大多数主流NLP-ers，NL的文法只有一派，那就是 CFG，无论多少变种。算法也基本上大同小异，chart-parsing 的某种。这个看法是压倒性的。而多层的有限状态文法做 parsing，虽然已经有半个多世纪的历史，却一直被无视。先是被乔姆斯基主流语言学派忽视，因为有限状态（FSA）的名字就不好听（多层不多层就懒得细究了），太低端小气下位了。由于语言学内部就忽视了它，自然不能指望统计派主流对它有重视，他们甚至对这路parsing没有啥印象（搞个浅层的模式匹配可以，做个 NE tagging 啥的，难以想象其深度parsing的潜力），尽管从有限状态这一点，其实统计派与FSA语言派本是同根生，二者都是乔老爷居高临下批判的对象，理论上似乎无招架还手之力。
白: 概率自动机和马尔可夫过程的关系
李：但是，多层 FSA 的精髓不在有限状态, 而是在多层（就好比 deep learning 的精髓也在多层，突破的是传统神经网络很多年停滞不前的单层）。这就是那天我说，我一手批判统计派，包括所有的统计，单层的多层的，只要他们不利用句法关系，都在横扫之列。因为这一点上还是乔老爷看得准，没有句法就没有理解， ngram 不过是句法的拙劣模仿，你的成功永远是浅层的成功, 你摘下的不过是低枝果实。不过恰好这种果子很多，造成一种虚假繁荣罢了。
另一方面，我又站在统计派一边，批判乔姆斯基的蛮横。实践中不用说了，管用的几乎都是有限状态。乔老爷要打死单层的有限状态，我没有意见。统计派的几乎所有模型（在 deep learning 火起来之前）都是单层，他们在单层里耗太久了不思长进，死不足惜，:)。 蛮横之处在于乔老爷对有限状态和ngam多样性的忽视，一竿子打翻了一船人。
白: RNN可以完美模拟FSA, 但是现在的人都把RNN当做统计派的功劳。
李：但是他老人家忘记了, 我只要叠加 FSA 就可以比他所谓的 more powerful 的 CFG 做得深透，而且合体（特别适合白老师说的自然语言的毛毛虫体型）。他对有限状态的批判是那么的无视事实和缺乏理性。他是高高在上的神，不食人间烟火的，我们各路NLP实践派对他都敬而远之，基本没有人跟他走。在他本应发挥影响的领域，他其实缺乏起码的影响力。倒是语言学内部被他控制了，语言的形式化研究跟着他亦步亦趋走了半个多世纪，离作为其应用场景的 NLP 却渐行渐远。这是一个十分滑稽的领域怪相。
白: RNN加层、计数器、加栈、加长时记忆，本质上都在突破单层FSA的计算能力。
李：好了，咱们接着聊第二章：为什么多层系统，尤其是 多层 FSAs ，不受伪歧义的困扰？
白: 只要证明毛毛虫以外不是人话，就只管放心玩毛毛虫好了。伪歧义跟规则的递归形式无关，跟规则的词例化水平和压制机制有关。但是，要hold住十万百万量级的规则，CFG一开始就必须被排除在外。
李：对。
说到底是规则的个性与共性关系的处理，这是关键。这个不是我的发现，我的导师刘倬先生早年就一再强调这个。刘老师的系统命名为 专家词典（expert lexicon ）系统，就是因为我们把个性的词典规则与共性的句法规则分开了，并且在个性与共性之间建立了一种有机的转换机制。
白老师说得对，单层的 CFG 基本是死路。眉毛胡子一把抓，甚至所谓词典主义的 CFG 流派，譬如 HPSG 也不能幸免，不出伪歧义才怪呢。如果规则量小，做一个玩具，问题不严重。如果面对真实自然语言，要应对不同抽象度的种种语言现象，单层的一锅炒的parsing，没有办法避免这种困扰。
白: HPSG 之类可以依托树做语义信息整合，但是在树本身的选择数目都在爆炸时，这种整合是不能指望的。
李：可以说得具体一点来阐释其中道理。分两个小节来谈，第一节谈多层系统中，单层内部的伪歧义问题。第二节谈多层之间的伪歧义问题。
白: 但是仍然困惑的是某种结构化的压制，比如“美国和中国的经济”’。“张三和李四的媳妇”
李：如果这两种伪歧义都有自然的应对方式，那么伪歧义不是困扰就理所当然了。待会儿就讲解白老师的例子。我这人啰嗦，学文科的，生存下来不容易，各位包涵了。
白: 抽象的并列，天然优越于抽象的长短不齐。似乎并不关乎词例，词例化的、次范畴化的规则，都好理解。抽象的结构化压制，处于什么地位呢？
李：但是难得大家围坐在一起，忍不住借题发挥一下，顺带进一步阐释了上次“上海会面”上的论点：我对乔老爷既爱且恨，爱他批判单层统计派的一针见血；恨他一竿子打翻一船人，敌我不分，重理论轻事实。
白: 是因爱成恨好吧
李：我们实际上半条身子在统计派的船上，大家都是有限状态；半条身子在语言派船上，毕竟我们不是单层的有限状态。统计派的有限状态的典型表现 ngram 实际上是 n-word，而我们的有限状态是真正的 ngram，这个“gram” 就是刘老师当年一再强调的 “句素”，是一个动态的句法单位，可以是词、短语或者小句，随 parsing 的阶段而定。这样的 ngram 是统计派难以企及的，因为它反映的是真正的语言学，多数统计学家天然不懂。
白: 世界上只有深层派和浅层派，这是复旦美女教授教导的。我认为只要touch深层，无论什么派都会殊途同归。
李：先说单层内部的伪歧义。这个白老师心里应该没有疑问了，不过为了完整还是先讲它。单层的有限状态说到底就是一个 regex （正则表达式），只不过面对的单位根据语言层次的不同而不同而已。如果是 POS tagging 这种浅层，面对的单位就是 words （or tokens）。如果是句法关系的解析层，面对的单位就是短语（可以看作是头词，它代表了整个短语，“吃掉”了前后修饰语）。
对于单层，有两种结构歧义，一种是伪歧义，占多数；一种是真歧义，占少数，但存在。单层系统里面的每一条规则都是一个 pattern，一个缩小版的局部 parser （mini-parsing），试图模式匹配句子中的一个字符子串（sub-string）。歧义的发生就是 n 个 patterns 对相同的输入文句的字符子串都成功了。这是难免的：因为描述语言现象的规则条件总是依据不同的侧面来描述，每条规则涵盖的集合可能与其他规则涵盖的集合相交。规则越多，相交面越大。每条规则的真正价值在于其与其他规则不相交的那个部分，是那个部分使得 parsing 越来越强大，涵盖的现象越来越多。至于相交的部分，结论一致的规则有可能表现为伪歧义（结论完全一致是异曲同工，没有歧义，但设置一个系统的内部表达，难免涉及细节的不同），这是多数情形。结论不一致的规则如果相交则是真歧义。这时候，需要一种规则的优先机制，让语言学家来定，哪条规则优于其他规则：规则成为一个有不同优先度的层级体系（hierarchy）。
白: 在线？
李：FSA Compiler 事先编译好，是 FSA Runner 在线做选择。
白: 那要隐含规则的优先关系，不能初一十五不一样。
李：个性的现象优先度最高。共性的现象是默认，优先度最低。这个很自然。一般来说，语言学家大多有这个起码的悟性，什么是个性现象，什么是共性。
白: “张三的女儿和李四的儿子的婚事”
李：如果优先语感不够，那么在调试规则过程中，语言数据和bugs会提请语言工作者的注意，使得他们对规则做有意义的优先区分，所谓数据制导 (data-driven) 的开发。
白: specificity决定priotity，这是个铁律。在非单调推理中也是如此。
李：这个优先权机制是所有实用系统的题中应有之意。优先级别太多太繁，人也受不了。实际情形是，根本不用太多的优先级别区分，每一层分析里只要三五个级别、最多八九个优先级别的区分就足够了（因为多层次序本身也是优先，是更蛮横的绝对优先）。
白: 我还是觉得优先级初一十五不一样的时候一定会发生，而且统计会在这里派上用处。
李：一切是数据制导，开发和调试的过程自然做到了这种区分。而更多的是不做优先区分的歧义，恰好就落在了原来的伪歧义的区间里面。这时候，虽然有n条规则都产生了 local parses，他们之间没有优先，那就随机选取好了，因为他们之间其实没有核心 semantic 的区别价值（尽管在表达层面可能有细微区别，hence 伪歧义）。换句话说，真歧义，归优先级别控制，是数据制导的、intuitive 的。关涉伪歧义困扰的，则变成随机选取。这一切是如此自然，以至于用FSA做parsing的从业者根本就没有真正意识到这种事情可能成为困扰。关于初一15的问题，以及白老师的具体实例，等到我们简单阐释第二节多层之间的伪歧义的应对以后，可以演示。
第二章第二节，多层之间可能的真伪歧义之区分应对。
对多层之间的真歧义，不外是围追堵截，这样的应对策略在开发过程中也是自然的、intuitive 的，数据制导，顺风顺水。围追堵截从多层上讲，可以在前，也可以在后。在前的是，先扫掉例外，再用通则。在后的是先做默认，然后再做修补（改正、patching）。道理都是一样的，就是处理好个性和共性的关系。如果系统再考究一点，还可以在个性中调用共性，这个发明曾经是刘老师 Expert Lexicon 设计中最得意的创新之一。个性里面可以包括专业知识，甚至常识（根据应用需要），共性里面就是句法模型之间的变式。
好，理论上的阐释就到此了，接下去可以看实例，接点地气。白老师，你要从哪个实例说起？我要求实例，加问题的解释。
白: “中国和美国的经济”。这就是我说的初一十五不一样。
李：这是真的结构歧义，Conjoin （联合结构）歧义 。在语言外知识没带入前，就好比西方语言中的 PP attachement 歧义。结构歧义是NLP的主要难题之一。Conjoin 歧义是典型的结构歧义，其他的还有 “的”字结构的歧义。这些歧义在句法层无解，纯粹的句法应该是允许二者的共存（输出 non-deterministic parses），理论上如此。句法的目标只是区分出这是（真）歧义（而这一点在不受伪歧义困扰的多层系统中不难），然后由语义模块来消歧。理论上，句法和语义/知识是这么分工的。但是实践中，我们是把零散的语义和知识暗渡陈仓地代入句法，以便在 parsing 中一举消歧。
白: 一个不杀当然省事。但是应该有个缺省优先的。
李：缺省优先由“大数据”定，原则上。统计可以提供启发（heuristics）。
白: 有次范畴就能做出缺省优先。不需要数据。
李：当然。次范畴就是小规则，小规则优先于大规则。语言规则中，大类的规则（POS-based rules）最粗线条，是默认规则，不涉及具体的次范畴（广义的subcat）。subcat based 的其次。sub-subcat 再其次。一路下推，可以到利用直接量（词驱动）的规则，那是最优先最具体的，包括成语和固定搭配。
白: 次范畴对齐的优先于不对齐的，就联合结构而言。但是，about 次范畴，理论上有太多的层。
李：那是，联合结构消歧中的次范畴不是很好用，因为这涉及词的语义类的层级体系。不管是 WordNet 还是董老师的 HowNet，里面的 taxonomy 可以很深，统统用来作为次范畴，不太现实。但理论上是这样使用的。
白: 再一个，“张三的女儿和李四的儿子的婚事”。这个也是真歧义吗？
李：上例的问题和难点，白老师请说明。"的"字结构的 scope歧义加上联合结构的歧义的叠加现象？
白: 上例是处理深度的问题，各自理解即可。歧义叠加，只有更加歧义了。可是实际相反，叠加限制了歧义。
李：在分层处理中，我们是这样做的:
（1）Basic NP, 最基本NP层的结果是：NP【张三】 的 NP【女儿】 和 NP【李四】 的NP【儿子】 的 NP【婚事】
（2）Basic XandY, 最基本的联合结构层：在这个层次，如果条件宽，就可能发生联合错误，错把 【女儿 和 李四】 联合起来。这个条件可以是 HUMAN，二者都符合。而且在 95% 的现象中，这个条件是合适的。如果条件严的话，譬如用 RELATIVES 这个语义次范畴（HUMAN的下位概念），而不是 HUMAN 来限定的话，这个句子在这一层的错误就避免了。
那么具体开发中到底如何掌握呢，这实际上决定于设定的目标，没有一定之规。做细总是可以做到更好质量，大不了多加几层 NP 和 XandY 的模块（FSAs），但还是增加了开发和维护的负担。如果做粗一点，只要所造成的 parsing 质量上的后果能控制在应用可接受的范围，那也未尝不可，因为说到底，世界上没有完美的系统。上帝允许人类的不完美。
白: 把这个换成“AB的中点与AC的中点的连线”？同样的结构。
李：另一个思路，就是多层协调中的修补。对于上述两个例子，修补的办法似乎更好。与其分多层，代入各种繁琐的语义条件来消歧，不如任他出错，然后根据pattern的平行因素加以修正。在多层系统中，这个常常是有效的策略，也符合开发的总体规划。先把系统大体弄得work了，可以对付多数现象，然后有时间和余力了，后面可以 patching。前提是，错误是 consistent 和 predictable 的。对于多层管式系统（pipeline system），错误并不可怕，只要这种错误 consistent 有迹可循，后面总可以把它们修正。
多层管式系统常常被批评存在一个 error propagation（错误放大）的难题。其实，多层系统也可以做到负负得正（矫枉过正是也）。一个好的系统设计，是后者，通过 data-driven，可以做到把错误放大控制到最低限度，并发扬负负得正来得到最终正确的结果。
白: 伟哥的诀窍其实是把握一个适中的词例化-次范畴化水平问题。太粗则伪歧义盛行，太细则边际效益大减。
李：上例中 “中点与AC” 可以联合，不过是一个暂时的内部错误而已，后面可以修正。总之，这些都不是根本的 challenge，想做就可以做，实际操作上，也可以选择不做。问题大了，就做；用户发飙了，就做；否则就无视。很少有歧义是做不出来的，功夫和细节而已。最终决定于值得不值得花这份力气，有没有这样的开发时间和资源。
白: 做与不做，有可能影响架构选择。补丁有好处也有后遗症。
李：NLP 可以做一辈子，在基本机制（优先机制，修正机制，范畴、次范畴机制，专家词典等）由平台实现提供以后，慢慢磨到最后就是 diminishing return，与爬山类似，这决定了我们何时罢手。如果85%的精度作为parsing的目标，那么系统会选择不做一些稀有的现象。有了这个 85%，已经可以满足很多应用的要求了。
有了 85% 做底， 还可以让机器变得智能起来，自动地自我提高，所谓 self-learning，这是研究课题了，但是是可以实现的。实际上在我指导的实习生实验中已经实现，不过就是在线开销太大而已。
白: 再看“馒头吃光了”？
李：这个例子更容易讲清楚。在系统的某一层，可以有个规则 把某种 “V+光" parse 成为动补结构，这个V的限制可以调试出合适的子范畴来。
白: “光”词例化肯定是可以的。
李：好，这就解决了95%以上这类以“光”收尾的现象。如果遇到了反例，譬如，“黑洞吃光了”， 那么或者修正它，或者作为个体知识的规则前置。围追堵截是也。总是可以把零碎的专业知识做成规则，如果需要的话。至于这么做值得不值得，那是应用层面的决定。很多时候是不必要的。错了就错了，不过是显得系统缺乏专家的知识，so what？我们普罗 native speakers 也都不是每一行的专家，也并不是每句话都听懂，不也一样没觉得交流困难。就此例来说，决定于听者的知识面，小学生和文盲一般不能正确 parse 理解 “黑洞吃光” 的动宾语义来。动宾的语义是需要语言外知识在语言内非优先的潜在结构上作用才能得出。而动补结构则不需要，那是语言内的句法知识（最多说是句法子范畴或小规则，但不涉及专业知识），是所有国人的默认理解。
白: 这一点非常重要。一个开放，一个封闭。一个外部，一个内部。外部的事儿，就算没有专业知识，也可以大数据招呼。
李：今天似乎可以结束了，说到底，就是：
一，平台需要提供一些基本机制来处理共性与个性的关系，从而应对歧义，这些在 FSA formalism 的教科书定义中可能不存在，或被忽略，但却是实用系统不可或缺的。
二，NLP 的确是个力气活，有无限的可能深入。当然，我们可以选择不深入，可以选择何时罢手。
至于大数据招呼，那个在前述的自学习上也必须用到。我们教授机器做到 85%，大数据基础的自学习可以让它自行提高到 90%，这个是部分证实了的，可惜还没有发表出来，以前说过，懒得成文。都骨灰级老革命了，谁在乎那个。我说的大数据是指与大语料库对应的 grammar trees 自动形成的 forest，比 PennTree 大好几个量级。
这次神侃算不算基本回答了疑惑，可以得出“伪歧义在多层系统中不是困扰”这个结论？
白: @wei 是，非常感谢。
李：不过，我们一方面实用制导，一方面没有忘记基本面和大局。与纯粹的实用主义，头痛医头，脚痛医脚，还是不同。这种积一辈子挖煤的经验之谈，正式论文中罕见，也算一件功德。难得的是白老师还有雷司令身为主流精英，居然能一开始就高于主流，不排斥异端或少数派。所以上次上海聚会，我就说，火药味的架掐不起来的, 因为相互的理解和欣赏多于分歧。但我知道也有很多统计死硬派，甚至大牛，是不尿这壶的。
白: 只要聚焦于深层，一定会殊途同归。RNN记在统计账上，但已经是深层了。
可以再关心一下NLP的商业模式，怎么能讲一个好故事。我们说fsa也好分层也好，资本都是不感冒的。
李：滑稽的是发现有些死硬派做了n年NLP，却真地不懂语言学，有个别大牛连常识都不懂，让人跌破眼镜。当然这个只能内部说说，不能博客的。所以往往是互相地不尿对方那一壶，与宗教之战类似。
RNN 我不敢发言, 不过从白老师零星的介绍来看, 很可能殊途同归。不过 FSA 这套 deep parsing 是已经稳定成熟的技术。RNN 的工业成熟度如何，我不知道。可能都是核弹, 不过是原子弹氢弹区别而已。
白: Ngram说不定变出个什么花样来，也殊途同归。
李：其实 多层 FSAs 本质上就是 ngram 的花样，不过 gram 不再仅仅是词了，而是等于或大于词的句素。能以动态句素作为 ngram 的对象，是因为多层的原因，跟剥笋子一样，层层扒皮，gram 当然就是动态的了。这一点很关键，是乔姆斯基都没想到的 power。
白: 对，边扫描边归约，边抛出句素。
李：这里面最 tricky 的不是机制而是细节。魔鬼在细节，就是指的这个。FSA 是“古老”简单的机制了，细节就是玩平衡，玩模块之间的协调。玩得好的就好比中餐的大厨，可以做出满汉全席来，玩不好的还不如麦当劳、keywords。到这一步，经验因素开始起作用。没碰过n次壁，甚至几万小时的炼狱，这个火候掌握不好。这类系统很难做得表面上漂亮光洁，总是在混沌中前行，要忍受不完美。这方面的忍受，数学家不如语言学家。数学家天生追求简洁完美，不愿意将就。
白: 句素的个头大，影响范围就大，相当于抛得就远。可以进入远距离的滑动窗口，伟哥说的Ngram的缺点就不存在了。
dirty是必然的。
李：ngram 的缺点是主流的缺点，不是语言多层派的缺点。恰好相反, ngram 多层以后，很容易比任何 CFG 做得细致深入，以至于，想怎么深入就怎么深入, 如果持续开发的话。
CFG 那套单层范式，无论统计模型还是传统文法加以实现，真地深入不下去，是框框决定的。两边都玩过，这种对比太强烈了。我对我的博导说过， HPSG 真地不好用，那边费那么大劲的事儿，在我这儿是小菜。说拿的是牛刀，可对象不是牛，而是鸡。不如我剪刀和匕首好宰鸡。
白: 我一个学生搞蛋白质折叠的分析。蛋白质大分子折叠的点恰好是若干局部的代表（相当于语言的head中心词）之间发生全局相互作用的地方。真是神了。
李：今天到此，特别谢谢白老师的互动和精彩的及时点评。
原载：
科学网—泥沙龙笔记：真伪结构歧义的对策（1/2) ；
骨灰级砖家一席谈，真伪结构歧义的对策（2/2)
【相关】
【从 sparse data 再论parsing对信息抽取的核心作用】
parsing关键是它节省了语用层面的开发。没有parsing，抽取是在表层进行，存在的困境是 sparse data 和长尾问题。表层的东西学不胜学，而有了 deep parsing 的支持，抽取规则可以以一当百，至少从规则量上看，这绝不是夸张。这是其一。
其二，deep parsing 使得领域移植性增强太多。
没有 parsing 抽取任务变了，一切须推到重来。
对于规则体系，有了 deep parsing，抽取任务随领域变了就不需要那么大的返工。parsing 吃掉了约 90% 的重复劳动（语言知识和结构本质上是跨领域的），返工的部分不到 10%。
parsing 意义之重大 正在于此。
对于机器学习，NLP应用的知识瓶颈在 （1）sparse data；（2） 任务变，训练库必须重新标注：前一个任务的标注对后续任务基本没有可重复使用的可能，因为标注是在语用层进行的。
如果有 parsing support，理论上讲，机器学习可以更好地克服 sparse data，但实践上，到目前为止，结合 structure features 和 keywords 在机器学习中一锅煮，目前还处于探索研究阶段，没有多少成熟的案例。我们以前尝试过这种探索，似乎parsing的参与有推进系统质量的潜力，但是还是很难缠，模型复杂了，features 混杂了，协调好不是一件容易的事儿。
事实上，规则体系做抽取，没有 parsing 差不多有寸步难行的感觉。因为人的大脑要在语言表层写规则，数量太大，写不过来。只有机器学习，才可以绕开parsing去学那数量巨大的抽取规则或模型，但前提是有海量标注的训练集。否则面对的是 sparse data 的严重困扰。
sparse data 远远不是单指表层的出现频率低的 ngrams （习惯用法、成语等）的累积，那种 sparse data 相对单纯，可以当做专家词典一样一条一条编写，愚公或可移山。如果训练数据量巨大，譬如机器翻译，那么这类 sparse data 对于机器学习也有迹可循。当然大多数场景，标注的训练集始终大不起来，这个知识瓶颈 is killing ML。
更重要的 sparse data 是由于缺乏结构造成的，这种 sparse data 没有parsing就几乎无计可施。表层的千变万化，一般遵循一个正态分布，长尾问题在结构化之前是没有办法有效捕捉的。而表层的变化被 parsing 规整了以后，表层的 sparse 现象就不再 sparse，在结构层面，sparse patterns 被 normalize 了。这是 parsing 之所以可以称为NLP应用之核武器的根本。
没有 parsing，结构性 sparse data 就玩不转。
乔姆斯基纵有一万个不是，一千个误导，但他老人家提出的表层结构和深层结构的思想是不朽的。parsing 就是吃掉各种表层结构，生成一个逻辑化的深层结构。在这种深层结构上做抽取或其他语义语用方面的应用型工作，事半功倍。
Deep parsing consumes variations of surface patterns, that's why it is as powerful as nuclear bombs in NLP。
别说自然语言的语句的表层多样化，咱们就是看一些简单的语言子任务，譬如 data entity 的自动标注任务，就可以知道表层的 sparse data 会多么麻烦：如 “时间”的表达法，再如“邮件地址”的表达法，等等。这些可以用正则表达式 parse 涵盖的现象，如果在表层去用 ngram 学习，那个长尾问题就是灾难。
自然语言文句之需要 parsing，与标注 data entity，正则表达式优于 ngram 学习， 其道理是相通的。
原载：《泥沙龙笔记：从 sparse data 再论parsing乃是NLP应用的核武器》
【泥沙龙铿锵行：再论NLP与搜索】
李：上次提过，先搜后parse，是可行的。
早在十几年前，AskJeeves 被华尔街追捧。这里面也有很多IT掌故我专门写过博文（ 【问答系统的前生今世】，【 金点子起家的 AskJeeves 】）。 当时NLP (Natural Language Processing) 红透半边天，下一代 Google 呼之欲出的架势，尽管AskJeeves其实NLP含量很低。他们不过利用了一点NLP浅层对付问题的分析。这才有我们后来做真正基于NLP的问答系统的空间。
就在AskJeeves上市的当天，我与另一位NLP老革命 Dr. Guo，一边注视着股市，一边在网上谈先search后parse的可行性。此后不久我的团队就证实了其可行，并做出了问答系统的prototype，可以通过无线连接，做掌式demo给投资人现场测试。当年还没有 smart phone 呢，这个demo有wow的效果，可以想见投资人的想象被激发，因此我们顺顺当当拿到了第一轮一千万的华尔街风投（这个故事写在《朝华午拾：创业之路》）。
问答系统有两类。一类是针对可以预料的问题，事先做信息抽取，然后index到库里去支持问答。这类 recall 好，精度也高，但是没有 real time search 的灵活性和以不变应万变。
洪:文本信息抽取和理解，全靠nlp
李：另一类问答系统就是对通用搜索的直接延伸。利用关键词索引先过滤，把搜罗来的相关网页，在线parse，on the fly, 深度分析后找到答案。这个路子技术上是可行的。应对所谓factoid 问题：何时、何地、谁这样的问题是有效的。（但是复杂问题如 how、why，还是要走第一类的路线。）为什么可行？因为我们的深度 parsing 是 linear 的效率，在线 parsing 在现代的硬件条件下根本不是问题，瓶颈不在 parsing，无论多 deep，比起相关接口之间的延误，parsing 其实是小头。 总之，技术上可以做到立等可取。
对于常见的问题，互联网在线问答系统的 recall 较差根本就不是问题，这是因为网上的冗余信息太多。无论多不堪的 recall，也不是问题。比如，问2014年诺贝尔物理奖得主是谁。这类问题，网上有上百万个答案在。如果关键词过滤了一个子集，里面有几十万答案，少了一个量级，也没问题。假设在线 nlp 只捞到了其中的十分之一，又少了一个量级，那还有几万个instances，这足以满足统计的要求，来坐实NLP得来的答案，可以弥补精度上可能的偏差（假设精度有十个百分点的误差）。
IBM 花生机器在智力竞赛上 beat 人, 听上去很神奇, 里面会有很多细节的因应之道，但从宏观上看，一点也不神奇。因为那些个竞赛问题，大多属于 factoid 问题，人受到记忆力有限的挑战，肯定玩不过机器。
雷:@wei 为什么说事先对材料进行deep parsing的搜索不灵活？
李：事先（pre-parsing）更好。我是主张建立一个超级句法树库的，资源耗费大。但急于成事的工程师觉得也没必要。在线做的好处是，内容源可以动态决定。
雷:假设一下，我们把谷歌拥有的材料通通进行了deep parsing，那么这个搜索会是什么样的？ 再辅佐以人工的高级加工
李：nlp parsing 比关键词索引还是 costs 太大。
雷:是，但是现在硬件的条件下，还是可行的吧？那就是把信息转化为了fact的知识
李：是的，哪怕只是把 Google 网页里面的百分之一parse 一遍那也有不得了的威力。那是核武器。就是 Powerset Ron 他们当年绘制的图景。可是这种大规模运用NLP不是我们可定的，成本是一个大因素，还有就是观念和眼光，那是 norvig 这样的人，或其上司才能拍板的。
雷: 暂时局限在一个领域呢？
Nick: 可以先小规模吗，如wiki等？
雷: 破坏google的力量是semantic web. 如果每个网站使用的是semantic web，who needs google, 但是现在的问题是把一个web2.0的site转化为web3.0的成本
李：Wiki已经可行，Powerset 当年就是拿它展示的。但市场切入点呢？ Wiki其实是小菜，比起我们目前应对的 social media, 无论是量，还是语言的难度。
Nick:但wiki有结构
李：做wiki技术上没有任何问题。问题在产品和businesd model.
Nick:做一个wiki的语法树，再叠加wiki的结构，已经很有用了。
雷: wiki 到 dbpedia 还是只有很低的percentage吧？
李：Ron 当年游说你们和微软，不就是wiki么，其实他们的demo，纯粹从技术的角度完全可以通过 due diligence。
大家都知道知识挖掘，在大数据时代有巨大潜力，这是宏观上的认识，永远正确。微观层面，还是要有人在知识基础上做出可挣钱的产品来。微软买Powerset的时候，肯定也是基于这种宏观认识。但没有后续的产品化，买来的技术就是个负担。
RW:Google 是靠se抓流量，然后ads赚钱，Se技术本身不变现
Nick:@wei powerset我看过，not impressive at all
李：那是因为，你的角度不同。他们没有把那种结构的威力，用通俗的方式，做成投资人容易看懂的形式。我也玩过 Powerset，它的核心能力，其实是有展现的。不过要绕几道弯，才能发现和体会。方向上他们没错。
当然我不是为 Ron 唱赞歌，他再牛，再有名气，他的parser比我的还是差远了。这个世界上 yours truly 是第三 -- 如果上帝是第一，在下的下一个系统是第二的话。
当然吹这种牛是得罪人的，不妨当笑话看。
雷: 呵呵，不用上税，无妨的
Nick: 你的不好意思不得罪人
李：Jobs不是说过，只有疯狂到以为自己可以改变世界的，才能在雪地里撒尿，并留下一些味道或痕迹。我们是毛时代生人，自小有一种精英意识。天将降大任于斯人也，自己吃不饱，也要胸怀世界，解放全人类。老子天下第一的心态就是那种legacy。
洪: Chris Manning前两年就跟database/information retrieval的辩论说，别啥啥fact db和information extraction，直接deep parsing齐活。
雷:@洪 我农民，东西放哪里啊
李：Parsing real time 的应用场景，东西放内存就可以了，用完就扔，用时再来，现炒现卖。当然那个做不了真正意义上的text mining，只见树木，难见森林。但可以应对搜索引擎对付不了的简单问题。
毛: 哇哈，不得了。改不改变世界且不说，我的作息时间先被改变了。
雷: 我以为做机器学习的人在在豪气冲天，原来@wei也是！
刘: @雷 一个爱在雪地……
洪: @雷 Chris Manning的意思是，all information is in deep parsed text
雷: facts不就是来源于deep parsed text吗
洪: facts are usually triples extracted from text with consensus。
雷: under a set of ontologies, these facts form a network, that is, linguistic factors are removed。
洪: db & ir people dont really believe nlp is a must path for retrieval tasks
雷: you are right. This is why wei made such big efforts here to point out the problems of those guys.
洪: linguistic info is transparent to native human speaker , but I don't think it's transparent to computer. So, I believe in communicating with machine, or communicating with people through computer, simpler language in query or logic form should be better. Why do we want to make computer understand human language? It doesn'tmake sense at all.
李：洪爷说的是哪国话? 本来就不存在机器理解语言, 那个 NLU 只是一个比喻。其实也不存在人工智能，那也是个比喻。
洪: 现在大多数人可不把ai/nlu当比喻
李：所谓机器理解语言不过是我们模拟分解了分析理解的过程达到某种表达 representations，这种表达是达到最终任务的一个方便的桥梁，如此而已。
洪: 按你的说法，机器人过不了turing test 这一关
李：我是回应你为什么要让机器理解语言。回答是，从来就不需要它去理解。而是因为在人类从形式到内容的映射过程中，我们找到一些路径，沿着这个路径我们对人类的理解，似乎有一个说得过去的解释。
当然，那位IR仁兄说的其实是一个具体环节, 指的是搜索框，他说好好的搜索框，给几个关键词就可以查询，既快又好又简单，为什么要把搜索框变成一个自然语言接口，像以前的AskJeeves那样，让人用自然语言提问，然后逼迫机器去理解？从他的角度，这完全不make sense，这种感觉不无道理。明明不用自然语言，多数搜索任务都可以完成得很好，没有道理硬要与机器说“人话”，增加overhead, 还有机器理解过程中的误差。关键词蛮好。互联网搜索这么多年，我们用户其实也被培养出来了，也都习惯了用尽可能少的关键词，以及怎样用关键词的不同组合，容易找到较理想的结果。自然语言接口似乎没有出场的必要。
可是，这只是问题的一个方面。问题是关键词搜索也许可以解决80% 乃至 90% 的基本信息需求（只是基本，因为心中问题的答案还是需要人在搜索结果中去用人脑parse来确定，这个过程不总是容易轻松的）。但还有相当一部分问题，我们或者难以用关键词找到线索，或者找出来的所谓相关网页需要太多的人肉阅读还不能搞定。这时候，我们可能就会想，要是有个懂人话的机器，自动解答我们的信息问题多好啊。自然语言接口终究会以某种形式重回台面，增强而不是取代关键词的接口。
洪:理解就是 1.能在人与人之间当二传手；2.能根据自己存储的知识和具备的行动能力做出人所认可的反应
李：说白了，就是从线性的言语形式到语法树的映射。这是人类迄今最伟大的发现，或发明，或理论，属于最高天机。人类还没有更好的理论来解释这个理解过程。这个建树的过程，赶巧可以程序化来模拟，于是诞生了 NLU
毛:在图灵测试中，我们是把机器看成黑盒子。但是要让机器通过图灵测试，它就得理解人的语言才能作出反应。 两位大侠，能否推荐几本书看看？最好是科普类的，看着不吃力。
李：洪爷，不能因为在某些语言任务上，没有语言分析，也做到了，就来否定语言分析的核武器性质。LSA根本就没有语言分析，但它用到给中学生自动评判作文方面，效果也不错。
洪: 最近重读了几本认知方面的旧书，我倾向于认为人的内部表征是一种imaginary的多维图式表征，linguistic system只是个人际交流的接口。把多维信息压到线性。让计算机理解小说诗歌，估计永远做不到，因为计算机没有人那么强大的imaginary内部表征。@毛 wei和我一起来推荐几本nlp方面的书，就像PDP一样经典
雷:@wei 句子的语意理解后的表征方式是什么？还是tree吗？
李：逻辑语义，这是董老师的表述。外面叫 logical form，这是从乔老爷那里借来的术语。具体表现细节没必要相同。
雷: 那么我们把句子给理解后，tree与logical form并存在记忆中？
李：二者等价。细分可以有：句法树；语义树；语用树。所谓信息抽取，就是建语用树。句法树到语义树，就是乔老爷的表层结构到深层结构的逆向转换。
洪: Chomsky之所以不谈语义啥的，因为实在没啥科学证据。现在我们所讲的语义都不是native的，都是人类的数学逻辑发明，在计算机上热起来的。出口转内销
雷: 是不是与那时的行为主义为主流有关，因为语意很难有操作定义？
李：这个讨论越来越高大上，也越来越形而上。
毛:是啊，再往上一点，就到哲学、认识论的层面了。另，跟PDP一样经典的是什么书？
李：乔老爷57年小册子。
毛: 什么书名？我以前只是从编译的角度了解他在形式语言方面的理论（现在也忘了），却不知道他在自然语言方面的贡献。以前我对自然语言毫不关心，也就是这一阵听你们高论才觉得这东西挺有意思。
洪: 有关语言学和认知科学的科普书，Steven Pinker写的系列都不错
The Language Instinct (1994) ISBN 978-0-06-097651-4
How the Mind Works (1997) ISBN 978-0-393-31848-7
Words and Rules: The Ingredients of Language (1999) ISBN978-0-465-07269-9
The Blank Slate: The Modern Denial of Human Nature (2002) ISBN978-0-670-03151-1
The Stuff of Thought: Language as a Window into Human Nature(2007) ISBN978-0-670-06327-7
有关NLP：
Dan Jurafsky and James Martin's Speech and Language Processing.
有关基于统计方法的NLP：
Chris Manning and Hinrich Schütze's Foundations of Statistical NaturalLanguage Processing
好像这两本书国内都有影印本
白：总结一下：wei的中心意思，nlp技术在他手里已经很过关了，只是苦于木有好的商业模式，再加上微软谷歌等传统势力的封杀，商业上还不能成大气候。有人建议说回国发展。deep nlp，性能不是问题，可以保证线性online parse，最坏情形回退到搜索。瓶颈在别处。
雷:元芳你怎么看
李：元芳呢?
谢谢白老师的总结，实际上就是这么回事。决定成败的不是技术，而是产品方向。技术差，可以砸了产品；技术好，不能保证产品在市场的成功。技术增加的是产品的门槛。
白: 好的商业模式有两个特点，一个是技术壁垒，一个是侵略性。nlp前者不是问题，问题在后者。需要一张极富侵略性的皮。讯飞也有马失前蹄啊。
独: 多讨论，应该能够找到好的方向。讯飞很多年都做得苦逼死了，熬到这两年才爽。现在做一个新的搜索引擎公司不现实。问答类概念已经被用滥了。出门问问也是因为问答不好做，改作智能手表，反而卖的不错。智能家居的语音交互界面，本质上是一个问答系统。
李：对于关键词，语法树就是颠覆。
白: 信息服务三个阶段：门户网站，域名成为商品；搜索引擎，关键词成为商品；社交网络，粉丝成为商品。下一个成为商品的是啥？问答只是表象，关键是要回答什么成为商品。分析树也不直接是商品。
李：白老师说的极是。关键是什么是商品，可以来钱，这个确定了，作为后台的技术产品才有门槛，核武器才能发挥威力。
白: 我们还是想想，高精准度的deep nlp服务，把什么作为标的商品，才能具有侵略性。
Philip: 给@wei 的高大上技术找个商业模式
独: 我个人算是比较擅长于设计商业模式的，但是对于NLP的直接应用，还是觉得太偏后端，很难找出一个前端产品，对于用户是可感知的刚需。
白: 不在多而在狠，uber就够狠。
原载：《泥沙龙笔记：parsing 是引擎的核武器，再论NLP与搜索》
【相关】
《parsing 可以颠覆关键词吗？》
我: 汉语的裸体准成语：你不理财，财不理你。穿上小词的衣服就是：你（如果）不理财，财（就）不理你：如果 ... 就...。也可以穿戴更多一点：（如果）你不理财（的话），（那么）财（就）不（会）理你：如果 ... 的话 / 如果 ... 那么 ... 等。）穿得越多，越没有歧义，越容易理解，当然也越容易电脑处理。可是国人觉得那样不简约，不能显示我语之性感。
现代汉语的框式结构是非常漂亮的小词结构，漂亮在它不仅给了左括号，也没忘记右括号，这样一来，边界歧义的问题就消弭了。这个框式手段，是比西方语言更高明的显性形式，应予大力推广，以彰显我语严谨的一面。框式结构更多的例子有：因为 ... 所以；虽然 ... 但是；在 ... 中/上/下/间。
顾: 英语也有省略小词: no pain, no gain.
我: 语言是线性表达，因此常常有边界不清晰的问题存在。数学语言（譬如公式）也是线性的，想到的办法就是括号。汉语不知道哪个年代发明的这个框式手段，基本就是括号的意思。这个很高明。
顾: 而且似乎某些高能人群倾向于省略小词。例如华尔街投行和硅谷人士的某些交流中，如果小词太多反而被鄙视，被认为不简洁不性感，这大概是人性，不是中国独有。举一例，出自Liar's Poker, 某trader跳槽，老板以忠诚挽留，他回答，
“You want loyalty, hire a cocker spaniel”
我: 有了框式结构，语言不仅清晰了，而且灵活了。灵活是因为左右括号如此明晰，以致于可以放宽括号内成分的句法条件。
Nick: 可以处理括号的都是什么自动机？我理论忘光了。
我：多层括号需要的是中心递归，就是乔姆斯基的 CFG，有限状态不能对付n层括号。上面的汉语案例大多只使用单层括号，没有用到括号的嵌套（"如果...的话" 与 “如果......那么”可以算有了一层嵌套，左括号共用一个小词“如果”，右括号不同，可以放在两个模块层去做），不需要栈结构，不需要递归和回溯。
白: 有限状态加计数器，是毛毛虫，可以对付括号，保证线速。
顾: 注意这里主从句之间是逗号，不是问号。我刚才特定去书里查对了没错。
RW: long time no see 是华尔街英语的典范！
我: 成语不怕，成语都是可枚举的、有限的，就是个存贮记忆问题。成语的极致就是编码，包括密电码，acronyms 如 IBM，ABC 就是密码式成语。成语是NLP中不用讨论的话题。可以讨论的是，产生式“类成语”，譬如“一X就Y”（如 一抓就灵，一放就乱）, "不X不Y"（如，不见不散，不服不行）。这个有点讨厌，因为词典对付不了，可是又不符合一般的句法，通常用词驱动小的规则来对付。（小规则是大规则的例外。）
顾: 但某些高能人群，尤其是科学家和教授，尤其是在思辨场合下，小词就少有省略。而汉语在写数学教材时，也多用小词。因此是否用小词跟语言用途也有关，愚以为不能否认汉语追求简洁优美是弱点，也不能认为汉语不善加小词或准确表达概念和逻辑。
我: 还是有个程度吧，汉语小词常可省略，总体上就是一个爱裸奔的东方美女。
顾: 偶爱裸体美女。
我: 偶也爱裸女，东方的尤甚，因为亲切，可是 ...... 欧化句式侵入后，白话文运动以来，可以看到一种加小词的趋向，小词在汉语发展道路上开始产生影响了。是吃了伊甸园的智慧树的果子知羞了？
顾: long time no see 据认为是汉语入侵英语之后产生的，只是大家觉得自然，英美人也用了。这个语句困扰我很久，在网上查了据说是如此，但未必是严肃考证。
我: long time no see 是最直接的展示我东方裸体美女的一个案例。西人突然悟过来，原来语言可以如此简洁，这样地不遮不掩啊。他们觉得可以接受，是因为赶巧这对应了一个常用的语用（pragmatic）场景，朋友见面时候的套话之一，不分中外。在有语用的帮助下，句法可以马虎一些，这也是这类新成语（熟语）形成的背后理由。
RW: 我只在老外和中国人打招呼时听他们说过，没见过他们互相之间用过。因此，我觉得他们没有接受这是一个常规用法。
顾: 另外，我觉得如果要分析理解语言，也不能拘泥于句子结构。句子之间的含义同样重要，如果过于依赖小词，可能难以将句中和句间的关联统一理解。而如果看句子之间的联系理解，英文在句间小词也很少用。
我: 用语义（隐性形式）当然好，但是不容易写一个形式化的系统去 parse 啊。用小词（显性形式）的话，那就好办多了。
白: 伟哥还是说说“我是县长”是怎么hold住的吧。问题的实质是，有限状态自动机没有lookahead 能力，如果语义跟着同步走，有很多构造（合一）会是明显浪费的。
Nick: @wei 白老师问:"我是县长派来的"
我: “的字结构”很讨厌。大体上就是英语的 what-clause 对应的句法形式。但比 what-clause 还难缠，因为该死 “的” 字太 overloaded 了。
雷: 中心嵌套也可以是线性的？
白: 某些可以是，全集不是。比如，a^nb^n，可以线性parse。
我: 当然可以线性，除非嵌套是无限层。如果是无限层，栈也要溢出的，无论memory多大。中心嵌套本质上不是 “人话”，这个我和白老师有共识。乔姆斯基之谬，以此为最。
雷: 问题是有些text有冷不丁的多层。有些国内的新闻稿有。
我: 举例，看是人话还是数学？
雷: 当然我们可以排除这些极少数。有些翻译有。
我: 用递归回溯对付嵌套，不过是理论上的漂亮，没有多少实践的意义。
白: 记得everybody likes somebody转换成否定式很难搞。基本归到不是人话一类。
我: 不是人话，就不理睬它！语言中要抓的现象那么多，什么时候能轮到中心嵌套？
白: “我是县长派来的”，是人话，还没揭锅呢
我: I am the one who was sent by the county mayor，这大体是对应的英语吧。英语的 what-clause 只能用于物，不能用于人。“苹果是县长送来的”，the apple is what the county mayor sent
白: 我的问题不是翻译，是有限状态木有lookahead能力，局部生成“我是县长”的问题咋避免。
我: 避免不难。不过就是加大规则的长度而已。有限状态的规则可以任意加长后条件（post-condition）。至于前条件（precondition）比较麻烦，因为前条件改变了 matching 的起点，容易乱套。
白: 短的规则还在啊。根据哪一条，长的压制短的？
我: 对，叫 longest principle，这是所有matching的基本原则，无论是词典查询还是模式匹配。有两个方法来用后条件：（1）加长后条件，以确保 pattern 本身是要抓取的对象，譬如第一近似就是 check 县长后面不是动词。（2）加长后条件来排除例外：这样的规则是没有结论的规则，就是为了排除例外的。这样一来，下一条短规则就可以成功，而且没有误抓的困恼了。
白: 除非你那已经不是纯FSA了。纯FSA只看当前吃进字符做决策。往后check就相当于LR（k）了。
我: 我的 FSA 从来不是纯的，是 FSA++。这个昨天就说过的，我随时要求我的工程师去对这个 formalism 做各种扩展，直到他们抱怨影响了线性速度为止。
白: 那就不奇怪了。
我: 在做 NLP 平台过程中，会有很多的扩展才好应对自然语言parsing的需要。很多人以为一个标准的 formalism 拿来用就好了，那哪行？也因此，编译器只能是内部自己实现（built in house），而不能使用 off-shelf 的，因为后者你根本无法扩充，也难以优化速度。
雷: LR或RR都是线性的。
白: 对。我还以为发生奇迹了呢。
我: 不是奇迹么？抓到老鼠就是奇迹。
白：套用一句潮话：这不科学呀。
我: 如果标准的 formalism 不能碰的话，那么有经验的设计师与一个新毕业生比，就没有任何优势了。我们说生姜老的辣，就是因为老生姜可以很容易把经验的需要转化成软件的 specs，而新手搞不清如何去定义。白老师，“这不科学啊” 的批评声音我常听到。一个是来自我太太，在日常生活中，她一个本科生经常对我这个首席（科学家）呵斥，你一点不讲科学！另一个是来自我一个短暂时期的老板，这个老板是学界主流，她看我写的 proposal，说这里面缺乏 science。我心里说，邓小平也没有 science，他不是把一个大国也治理了，烹小鲜而已。
白: 白猫黑猫拿到耗子都是科学的，狗拿到耗子就略微那个了点，所以澄清不是狗拿的还是很有必要的。
雷: @wei 白老师追求的是形式美。你的是工程美。两者一直你拖我拉的往前走。
我: 狗啊猫啊，是主观定位，无所谓呀，FSA，还是 FSA++，标签而已。我看自然语言是俯视的，成了习惯。太阳底下没有新鲜事儿，因为见到的语言现象太多了。
白: 总是要交流的呀。
我: 当然，也不能乱来，前提是任何"不科学"的扩展，不能最后引致灾难：一个是速度的灾难。一个是不可维护、不可持续发展的灾难。如果这两点可以掌控，就问题不大了。对速度我很敏感，愿意为此自我束缚手脚，只要证明某个扩展影响了线性速度的本性，我就投降，然后选择折衷方案。
雷: 抛弃中心嵌套，cfg就是线性的。
我: cfg 的痛点还不是中心嵌套导致的速度问题，根本缺陷在单层，眉毛鼻子一把抓，不分共性与个性，这才是致命的。
白: 我天天玩工程，不过我们的工程师如果突然说他使用了某个形式化机制但其实不纯粹，我还是会跟他较真的。狗肉好吃，不能成为挂羊头的理由。
Nick: 赞同白老师。spagetti对大工程不行。
我: 你们是主流，站着说话不腰疼。不挂羊头, 语言学家早死绝了。我17个政府项目全部是挂羊头得到的。
Nick: 伟哥可能有绝活，不愿说。
我: 绝活有，细节不谈，谈原则。原则就是，你要做精算师或工程师的老板，而不是相反。绝大多数语言学家没这个底气，只能打下手，做资料员。
雷: nlp的难点或苦活不在parsing，而是知识工程方面的整合。
白: 上下通气。
雷: 呵呵，形象。
白: 米国股市里有知识工程概念股么？
顾: 这是大数据啊！Data Thinker可以。。。(此处省略一千字)
Nick: 中国有？
白: 木有。讯飞在往这方面发展，但眼下不是。
我: 挂羊头卖狗肉的故事在这里：《在美国写基金申请的酸甜苦辣》。Quote：
说到含金量，其实很多课题，特别是面向应用的课题，并不是什么高精尖的火箭技术（not rocket science），不可能要求一个申请预示某种突破。撰写申请的人是游说方，有责任 highlight 自己的提议里面的亮点，谈方案远景的时候少不了这个突破那个革命的说辞，多少迎合了政府主管部门好大喜功的心态，但实际上很少有多少研究项目会包含那么多闪光的思想和科学研究的革命性转变。（纯科学的研究，突破也不多吧，更何况应用型研究。）应用领域“奇迹”的发生往往植根于细节的积累（所谓 the Devil is in the details），而不是原理上的突破。而对于问题领域的细节，我是有把握的。这是我的长处，也是我提出科研方案比较让人信服的原因。有的时候，不得不有迎合“时尚”的考量，譬如领域里正流行 bootstrapping 等机器自学习的算法，虽然很不成熟，难以解决实际问题，但是基金报告列上它对申请的批准是有益的。不用担心所提议的听上去时尚的方案最后不工作，由于科研的探索性质，最终的解决方案完全可以是另一种路子。说直白了就是，挂羊头卖狗肉不是诚实的科研态度，但是羊头狗头都挂上以后再卖狗肉就没有问题。绝不可以一棵树上吊死。
我: 不挂羊头，必死无疑，生存之道决定的。同意雷司令 parsing 问题解决后，真正的关键在挖掘（知识工程）以及最终建立预测模型。
白：NLP应用场景是很考验想象力的。
我: 非结构数据突然结构化了。面对结构的海洋，传统的数据挖掘需要拓展才好应对。挖掘目前做得很浅，就是 retrieval 里面的一个小东西，凑合事儿。parsing 是见树，mining 才见林。以前没有条件见林子 mining 没有实验基地，限制了它的发展和深入。如今不同了。
昨天与xiaoyun还谈到这个，我们都觉得，哪怕只利用 parsing 的一个部分，譬如只做SVO（主谓宾），理论上也是对所有现存关键词技术所驱动的应用的一个颠覆，因为突然多了一个维度。以前所做的不过是 baseline 而已，如今只要有大数据、大计算、大存储，再加上mining，那么凡是关键词技术生存的地方都可以革命，包括搜索、分类、聚合为基础的等等的应用。这个总体趋向是明晰的，条件也基本成熟，现在是考验想象力的时候，然后就是脚踏实地一个应用一个应用的去做
白: 还是要想新的商业模式，革关键词的命，从商业角度未必成立。关键词是拿来卖的，你把人命革了，卖什么？总要有个替代品吧，总不会卖FSA吧。
我: 革命不是杀头，parsing 对关键词，就是爱因斯坦对牛顿。到了语义语用层，关键词，或者叫驱动词（driving words），也是不可或缺的。
Nick: 卖regex到也不见得不可能。
我: 抽取挖掘搜索，往往需要两条腿，一条是关键词，另一条就是结构。如果 regex 可以卖了，离开直接卖 parse 就不远了。
其实我们的 power users 已经开始要求直接用简化的 parse 去满足他的信息需求了。用户是可以训练出来的。我们整整一代人都被关键词训练过、洗脑过了。以致于当自然语言接口技术刚刚尝试的时候，不少用户抱怨说：关键词多简单，跟机器说话，要自然语言干嘛？Power users 在简单的关键词之上用 boolean query 的很多，有些 query 看上去又臭又长又难看，不也忍受了。也见到过创业者，就是用 domain ontology 加上 keyword boolean 作为技术基础，也满足了一个 niche market 的需求而生存的。
Nick: 这是说的哪家公司？
我: 两年前在北京调研时候遇到的，名字忘记了。他们一点也不保守，把 query 直接给我们看，我心想这是一目了然啊，很容易复制的。可贵的是，他们先一步找到了那个市场需求，定义了那个 niche market，也找到了客户，后去就是那些 queries 的库不断更新维护而已。
我: @Nick 说，spagetti对大工程不行。Google 搜索是大工程吧，看一下里面的 spagetti： http://blog.sciencenet.cn/blog-362400-804469.html
原载：《泥沙龙笔记：铿锵众人行，parsing 可以颠覆关键词吗？》
【相关】
【基于关键词的舆情分类面临挑战】
[Abstract] Five challenges to keyword-based sentiment classification: (1) domain portability; (2) micro-blogs: sentence/twit classification is a lot tougher than document classification; (3) when big data become small: big data load when sliced and diced based on the users' needs quickly becomes mall, and a precision-challenged classifier is bound to have trouble; (4) association of sentiments with object: e.g. comparative expressions like "Google is a lot better than Yahoo"; (5) too coarse-grained: no actionable insights, this is fatal.
做自动舆情挖掘（sentiment mining）已经好几年了，做之前思考这个课题又有好多年（当年我给这个方向的项目起了个名字，叫 Value Tagging，代码 VTag，大约2002年吧，做了一些可行性研究，把研发的 proposal 提交给老板，当时因为管理层的意见不一和工程及产品经理的合作不佳，使得我的研发组对这个关键项目没能上马，保守地说，由此而来的技术损失伤害了公司的起飞），该是做一个简单的科普式小结的时候了。
首先对大数据的舆情挖掘是建立在对具体语言单位的舆情抽取（sentiment extraction）的基础之上。只有当语言海洋中千千万万的舆情表达被抽取存贮到某个数据库以后，我们才有条件针对具体的舆情问题（如某特定品牌的网络形象或某话题的舆情走势），搜索有代表性的舆情资料，并将搜索结果整合提炼，然后以某种方式（譬如《品牌舆情图》或《话题晴雨表》）表达给情报使用者。
舆情抽取的主流是利用机器学习基于关键词的分类（sentiment classification），通常的做法非常粗线条，就是把要处理的语言单位（通常是文章 document 或帖子 post）分类为正面（positive）和负面（negative），所谓 thumbs up and down classification。后来加入了中性（neutral），也有在中性之外加入一类 mixed （正反兼有）。这种做法非常流行快捷，在某个特定领域（譬如影评论坛 movie reviews），分类质量可以很高。18年前，我们让实习生做过这样的暑假项目，用的是简单的贝叶斯算法，在影评数据上精度也达到90%以上。这是因为在一个狭窄的领域里面，评论用语相当固定有限，正面负面的评价用词及其密度不同，界限清晰，识别自然不难。而且现在很多领域都不愁 labeled data，越来越多的用户评价系统在网络上运转，如 Amazon，Yelp，积累了大量的已经分类好的数据，给机器分类的广泛应用提供了有理的大数据条件。
但是，上述分类遇到了以下挑战。
首先，领域移植性不好，影评数据训练出来的分类器换到电子器件的客户评价分类上就不管用。
要对多个领域训练出多个分类器，很耗时，效果也不能得到保证。于是有人开始研究独立于领域（domain-independent）的舆情分类，其假设前提是舆情表达各个领域之间既有领域独有的表述方式，也有共通的表达（比如，好/good 在任何领域都是正面的形容词，坏/bad 在任何领域都是负面的），而且二者有相当的信息冗余度。这个假设在语言单位较大（譬如长的帖子或文本）时，是成立的。因此，这个挑战不算是致命的。但是很多应用领域，语言单位不大，譬如社会媒体中风行的微博/tweets，就很短，这一点构成下述第二个挑战。
第二个挑战来自移动时代压倒多数的短消息。语言单位的缩小使得分类所需要的词汇证据减少，分类难为无米之炊，精度自然大受影响。
从文件到帖子到段落再到短消息，语言单位每一步变小，舆情分类日益艰难。这就是为什么多数分类支持的舆情系统在微博主导的社会媒体应用时文本抽取质量低下的根本原因（一般精度不过50%-60%）。当然，文本抽取精度不好并不表明不可用，它可以用大数据来弥补（由于大数据信息天生的大冗余度，利用sampling、整合等方法，一个大数据源的整体精度可以远远高于具体文本抽取的精度），使得最终挖掘出来的舆情概貌还是靠谱的。然而，大数据即便在大数据时代也不是总是存在的，因为一个真实世界的应用系统需要提供各种数据切割（slicing and dicing）的功能，这就使得很多应用场景大数据变成了小数据，这是下面要谈的第三个问题。
第三是大数据切割的挑战。
本来我们利用机器来应对大数据时代的信息挑战，起因就是信息时代的数据量之大。如果数据量小，蛮可以利用传统方式雇佣分析员，用人的分析来提供所要的情报，很多年以来的客户调查就是如此。可是现在大数据了，别说社会媒体整体的爆炸性增长，就是一个大品牌的粉丝网页（fan pages）或一个企业的官方网页，每时每刻所产生的数据也相当惊人，总之无法依靠人工去捕捉、监测情报的变化，以便随时调整与客户的互动策略。这是机器挖掘（无论分类还是更细致的舆情分析）不可不行的时代召唤和现实基础。但是，观察具体应用和情报需求的现场就会发现，用户不会满足于一个静态的、概览似的情报结果，他们所需要的是这样一个工具，它可以随时对原始数据和抽取情报进行各种各样的动态切割（slice/dice 原是烹饪术语，用在情报现场，就是，
"to break a body of information down into smaller parts or to examine it from different viewpoints so that you can understand it better",
摘自 http://whatis.techtarget.com/definition/slice-and-dice）。舆情切割有种种不同依据的需求，譬如根据舆情的类别，根据男女的性别，根据数据源，根据时间或地理位置，根据数据的点击率等。有的时候还有多次切割的需求，譬如要看看美国加州（地理）的妇女（性别）对于某个品牌在去年夏季（时间）的舆论反映。最典型的切割应用是以时间为维度的《动态晴雨表》，可以反映一个研究对象的舆情走势（trends）。譬如把一年的总数据，根据每月、每周、每日，甚至每小时予以切割，然后观察其分布走势，这对于监测和追踪新话题的舆情消长，对于新产品的发布，新广告的效用评估（譬如美式足球赛上的巨额品牌广告的客户效应）等，都有着至关重要的情报作用。总之，大数据很可能在具体应用时要被切割成小数据，一个分类精度不高（precision-challenged）的系统就会捉襟见肘，被大数据遮盖的缺陷凸显，被过滤净化的结果在小数据时会变得不再可信。
第四个挑战是找舆情对象的问题。
在几乎所有的舆情分析应用中，舆情与舆情的对象必须联系起来，而这一基本要求常常成为舆情分类系统的软肋。当然，在特定数据源和场景中，可能不存在这个问题，比如对 Amazon/Yelp 这类客户评价数据 (review data) 的舆情分析，可以预设舆情的对象是已知的（往往在标题上，或者其他 meta data 的固定位子），每一个review都是针对这个对象（虽然不尽然，reviews 中也可能提到其他的品牌或产品，但是总体上是没问题的，这是由 review data 的特性决定的）。然而在很多社会媒体的自发舆情表述中（譬如微博/脸书/论坛等），在舆情分类之后就有一个找对象的问题。这个问题在比较类语言表达中（比如，"谷歌比雅虎强老鼻子啦" 这样语句，正面评价“强”到底是指雅虎还是谷歌，这看似简单的问题，就难倒了一大帮机器学家，道理很简单，机器分类系统依靠的是 keywords，一般没有语言结构的支持，更谈不上理解）。与青春躁动期的小屁孩也差不多，满腔情绪却找不到合适的表达或发泄对象，这几乎成了所有褒贬分类系统的克星。在随兴自发的社会媒体中，这类语言现象并不鲜见，一边夸张三一边骂李四更是网络粉丝们常见的表达（譬如方韩粉丝的网络大战）。
第五个挑战是颗粒度的问题。
这是分类系统的致命伤，它们只知道数翘大拇指还是伸出中指的数量，这对舆情的总体概览有点意义，但是这远远不是最有价值的舆情情报，关于这一点，我在以前的科普随笔中论述过：
褒贬分析只提供舆情的一个概览，它本身并不是 actionable insights. 知道很多人喜欢或者不喜欢一个品牌，so what？企业还是不知道怎么办，最多是在广告宣传投资量的决策上有些参考价值，对于改进品牌产品，适应用户需求，褒贬舆情太过抽象，不能提供有价值的情报。这就要求舆情分析冲破两分、三分、五分的分类法，去发掘这些情绪的背后的动因（reasons/motivation），回答为什么网民喜欢（不喜欢）一个品牌的问题。譬如挖掘发现，原来喜欢麦当劳的主要原因是它发放优惠券，而不喜欢它的原因主要是嫌它热量太大，不利减肥。这样的舆情才是企业在了解自己品牌基本形象以后，最渴望得到的 actionable 情报，因为他们可以据此调整产品方向（如增加绿色品种和花样，水果、色拉等），改变广告策略（如强调其绿色的部分）。摘自【立委科普：舆情挖掘的背后】
上面列举的机器舆情分类系统的挑战，并不是要否定机器学习在舆情领域的价值，而是要阐明以下的观点：粗线条的机器分类只是舆情自动分析的开始，万里长征的第一步。一个真正有价值的舆情挖掘系统还需要更多更细致的舆情自动抽取和挖掘的技术来支持。鉴于学界和业界 90% 以上自称做 sentiment 的系统，都是以机器分类作为基础支撑的，明白这一点尤其重要。那么什么是舆情抽取和挖掘系统所需要的完整的技术基础呢？且听下回分解吧（如果兴起的话）。
【相关】
《李白毛55: 漫谈中文NLP和数据流》
立委按：谈笑有鸿儒，泥沙龙写照也。毛白李三剑客，隔洋神交，日颠夜倒，天马行空，人生快事也。语言理解，人工智慧，软体硬件，万言不离其宗也。铿锵三人行，行迹可存，笔记于此，以飨同仁也。
白: 转：《夏洛特烦恼》我以为主角叫夏洛特 。原来男一号叫夏洛 ；接下来会不会有《郭敬明天见》《周立波很大》《吴奇隆胸记》《王宝强奸案》《郭富城会玩》《井柏然并卵》《黄秋生无可恋》《贾乃亮了》《奥巴马上来》《周润发财了》《权志龙虾壳》《金正恩仇录》。
李: 边界之争。夏洛特是词典一方 特+烦恼 是句法一方 作为一般原则 句法认输。所有的边界之争 你总可以找到一种语境 来支持任何一方，但是实际系统中 还是按原则办事（除非某特定语境出现频率大 而且可以形式化被捕捉作为原则的例外）。“郭敬明” 是词典，“明天”或“明天见”也是词典，词典与词典相争。 谁赢呢？要分不同情形。情形对应的是 heuristics。对于此情形，“明天见” 赢。因为有这么一条 heuristic：最少词数胜出。郭敬/明天见, 算两词。郭敬明/天/见 是三词。更深的理由是 音节数量的匀称的 heuristic：3 1 1 不如 2 3 匀称。
白: 无后坐力炮，经常被读成2 3节奏，按构词法，应该是1 3 1。可否不那么早定输赢，都打到上一层。
李：可，keep ambiguity untouched 的办法 也是一招，不过加大了后去 parsing 的搜索空间 也可能不妙。
白: 上层用Ngram也无所谓。看一个滑动窗口激活一个还是两个词袋。
李: 这就是拼积木，难的积木留在最后拼。拼积木ngram比cfg容易，没有爆炸的问题。
白: 正是。
李: 汉语的节奏对称还是很厉害的，举反例总会有，但是实际中发现，音节数的条件，比起其他的条件（词类、子类、语义分类）往往也很好用、可靠。另外一个相关的体会是排比句式，汉语（包括古汉语）排比句式的使用往往可以把本来占有统计劣势的 parse 变得有效起来。不过，至今没想到利用排比句式帮助消歧的好的实现办法。感觉排比的发现和使用是处于另一层，而且排比的 scope 不好事先确定。
毛: 对于汉语NLP， 二位觉得有什么好书可以推荐？不用很深，科普就行。
李: 我很多年不看书了，还是白老师推荐吧。最好的是白老师正在写的，这个无疑问，但你需要等。汉语 NLP 论文献，80% 谈的是切词，全领域走火入魔了，陷入细枝末节和烦琐哲学，很大程度上非常可惜的一种智力浪费。
毛: 等倒没关系，反正暂时也没时间看。其实我不太会有机会用到这方面的知识了，我这是“朝闻道夕死可也”。尼克，Unix的那些Utility，每个都是基于一个while主循环，这就是lambda的语义。Java8让你有一种简洁的方法来表达这种语义，然后它替你生成这样的循环。
白: 自然语言的语义，也有lambda的份儿。
毛: 是，所以我觉得数据流在 NLP 方面可以发挥一些作用。
白: 表函数、表关系、表部件的词（中点、姐夫、抽屉）都是。需要一个带坑的语义结构去定义。坑，就是约束变元。
李: semantic subcat? Syntactic subcat specifies the form of roles in a frame，correspondingly, semantic subcat specifies the preferred semantic classes for the expected roles of a frame. 语义 subcat 都是必填的，虽然句法上还是可省略。
白: 坑有必填的和可选的两种。
李：如果加上可选的，那就超出了subcat，而进入 cat 了。因为可选的角色一般针对大类，而必填的才针对子类。
白: 这点商榷一下，时间地点等，往往不是必填的。
李: exactly，时间地点等边缘角色针对的是大类。所有的动作、行为都适用。它们都在时间与空间中存在。而一元谓词，还是二元谓词、三元谓词，甚至零元谓词，这些都是子类的区别。天气动词语义上是零元的，虽然句法上可以加一个：“It” is raining 、“老天”下雨了。世界语最接近逻辑，语义的零元，句法也是零元，就不用加这种无意义的主语：Pluvas。
毛: 我觉得最有前景的可能是并行多路的parsing。就如你们刚才说的“无后座力炮”，如果系统能立马分出两个数据流分支，按不同规则加以解析，然后由高一层的规则判断何者为优，那效率就高了。这在NLP方面不是什么新概念，问题在于能否搭出这么灵活而高效的系统。但是NLP所处理的原料不太可能是世界语的文本呀。
李: 只是说明语义和句法之间既对应，又不完全对应的情形。比较不同语言，这些不对应的部分反映了不同语言的应对策略，这是很有意思的对比。
白: 标签化的表达比函数式的表达，应对非必选的东东就灵活多了。
李: 英语用 it，谁知道这 it 是什么东西？汉语比较具体，用的是“老天”。
白: 相反吧，汉语不说。
李: 汉语也可以不说，“下雨了”。如果不说，那就与世界语一样逻辑了，躶体出境。
白: 不说不是省略，是比省略高明的模糊。
李: 这里不是省略，因为逻辑语义上没有这一元的地位。
白: 语义上就有0元谓词，但是句法上没有地位，于是搞了个貌似省略的充数。
李：”老天“ 直译过去就很可笑：The sky is raining, Mother Nature is raining, or， God is raining？
白: 比it还富有想象力.
高: 像黑格尔说的,Was ist Das.
毛: 可以用函数式的方式来处理标签，把二者结合起来。我相信在NLP这一边已经有了许多很好的概念和方法，问题在于怎样搭出好的系统来高效加以实现。所以数据流应该有用武之地。
李: 语言很有意思，可以从三层来看这种“坑”。Filmore 把这个叫做【格语法】，他写过 “Case for case”，许国璋教授翻的，叫《格辩》，得其神韵，很妙。《格辩》是与乔姆斯基唱对台戏，是反乔派中最有分量的历史文献了，高举的是语义大旗。对NLP有深远的影响。所以，“坑”（case）可以分三层来看。第一级是 morphology case，这是“格”的本来用法，主格、宾格、工具格等等的词尾形式所表达的。第二级是 syntactic case，刻画的是 subcat 对语言形式的条件要求，包括具体语言中每个 Role 的词序、介词等的要求。第三级是 semantic case，刻画的是输出框，这是各语言共同的，又叫深层格，是 Filmore 提出的概念，与乔姆斯基的逻辑形式（logical form）对应。要几个元（格）是由谓词的概念子类决定的，它反映的是自然的关系（可以包括本体常识）。可是每个语言在实现这些深层格的时候，会利用不同的句法或词法的形式，于是穿上了句法或词法的外衣。
毛: 好吧，你们先掐。
白: 毛老，函数式和标签式表达，只有一墙之隔。标签其实就是最高抽象类的里面的“准”全局变量，谁都可以继承来塞点私货。不塞也无妨。
毛: 所以，我认为应该重启五代机的研究。有人说现在神经元网络是六代机了，我认为不对，因为说到底总还是“人工智能机”。
李: AI机只是六代机的一个引擎？
毛: 至少是现在，通过图灵测试是计算机的上限，所以不应该有高于AI机的计算机了。
白: 把RNN、多层FSA、多层词袋这些东东做成硬件就是了。
毛: 神经元系统只是一种计算模型，它也要通过编程在计算机上实现。神经元网络的运转说到底还是程序的执行。
白: FPGA实现就很好，能做成NLP协处理器就更棒了，NPU。
毛: 对是对的，但是如果变化太多，硬件实现就太不经济了。另一方面，如果有很多这样的部件，那么如何灵活高效地加以调度，根据具体情况动态搭出合适的系统，这本身就是个问题，这就又要涉及数据流了。我们平时在碰到困难时说要 “换一个思路”， 实际上就是要换一种数据流。
白: 希望NLP能早日成熟到毛老可以对接上的水平。
毛: 我觉得很可能是反过来的， 搞系统的人何时能搭出适合于NLP的系统，NLP Oriented Systems。 问题是搞系统的人一般都不懂NLP。
白: 是NLP这边说不清楚。回头说格。 “把”在汉语里号称是宾格介词，但是遇到“把我累死了”这种例子，又找不到哪个谓词提供宾格的坑。实际上，“累”是“使累”，是一个使动用法。所以顺序很重要，先使动 ，后宾格，一切OK。先宾格，后使动，北都找不着。
毛: “我累” 怎么解析？
白: 主谓啊。但“我累死你”不是。
毛: 哦。那就是“我使你累死”
白:
虚线框内形成一个虚拟谓词（复合然后缩合而成），对于这个虚线框，“你”貌似它的宾语，所以也获得了使用“把”表示宾格的能力。在句法层面，“使”不见了，“把”却在横行。
毛: 那么这种“使动”的属性就作为标签加在“累”这个词上？
李: “累”和“死” 先合成，然后针对宾格的坑就出来了。“累死”这样的算是合成词，不过这种合成词是 productive 的。
白: 气糊涂，饿疯, 都一样, "忙晕", "乐坏".
毛: 累死 应该是 累到死 累到要死的程度 的意思，这个死是补语吧？
白: 是补语，语义上对应一个程度标签，非必选的，所以不算框的正式坑。加标签是随手做，填坑是大动静。所以正规军和游击队，待遇就是不一样。
李: 累死我了 --》 把我累死了。符合正常的位移转换（movement/transformation）方式。【累（V的某种子类）+死】就是一个造词小规则，是产生式合成词的规则。符合这个规则的合成词就带有如下特征：及物，具体说，是使动的及物，并有表示程度的结果（“死”，不是真死）在内。带“把”提前是及物的共性，不用管。只要这个规则成功的时候，subcat 标签加对了，后去就顺理成章，无需特别操作。
毛: 所以呀，面向NLP的系统应该很方便很灵活地让你动态挖个坑，而且是同时挖上好几个坑，可以并行去试试不同的坑。这样才好。
白: “这些馒头把我吃胖了”。这个复杂些，有主有宾，只是虚线框里面拧着，了的时态含义省略了。胖，有一个坑。使和吃，各有两个坑。复合后缩合的虚线框部分，只有两个坑，一主一宾。与“吃”相比，正好颠倒了。所以，这类补语不仅是表程度，而是具体表致使后果的程度。
毛: 期待白老师的科普书早日出来。你的书里会画这些图吗？
白: 会。一个框，本质上就是一个函数定义式，也就是lambda表达式。入矢代表输入（自变量），出矢代表输出（因变量）。复合的时候，正是玩lambda表达式的时候，而且都是带类型的。
毛: 对呀，我在想这些图应该能转化成DAG式的数据流。
白: 每个坑都有类型，譬如，吃，输入类型两个坑分别是有生命、食物，输出类型是事件。
李：对，坑有两个信息：一个是坑本身的类型（what role），一个是坑里面的东西的“格”条件。role 是坑的主人决定的（词典里面的 谓词 subcat 或者规则产出的 谓词 subcat），“格”其实也是 subcat 题中应有之意，规定好的。格是输入匹配条件，roles 是输出事件语义。
毛: 数据流，结合立委的多层 FSA 模型，如果能做成通用的系统，我觉得是个很好的进展。有没有统计过像这样的图大概有多少？（以复盖常用句型为度）
李: 常用句型几十个吧，10-100 的区间。
毛: 哦
李: 看定义的粗细，谓词 subcat 最多只有三元 （所谓 S【V】OC），元里面还可以细分，大体 < 100 可以搞定
毛: 这个就可以用上分层嵌套的方法。
李: 这段对话，毛老、白老师，要我整理出来么？你们定，如果要，我就整理成博文。这次是你们俩主唱，我只是敲边鼓的，纯粹语言学的边鼓。
毛: 那当然好啰，要从尼克提到lambda开始。
白: 没问题啊。
李: 我其实不懂数据流，函数式略懂皮毛。lambda 在学语义学的时候学过一点，但是一直没完全整明白过。
毛: 那是工具性的，NLP本身才是关键。
李: 不过 subcat 在产生式合成词中会有变换，是我在 Morphology 课上学过的，而且学过的案例相当多。复杂案例的变换也不少。白老师的后一个例子是复杂案例之一。语言学家很善于总结这些格框变换的模式。
毛: 尼克最喜欢搞锵锵三人行， 咱就来一下三人行。
李：毛老、白老师，想起一件可能与数据流相关的事来，先写在这里，省得忘了。信息抽取（IE）这个领域刚开创的时候（20年前，由 DARPA 主持推动的 MUC 启动了这个领域，是NLP的实用化努力，非常了不起的一个推动，把NLP从象牙塔拉了出来），主流统计派还没回过味来，因此IE领域中的规则系统并不少，因为规则简单直接好用。其中，规则系统中，比较有影响的是斯坦福研究中心（SRI）推出的所谓 Cascaded FSTs，现在想来就是毛老说的数据流了。虽然后来我领导的小组也一直做多层FSAs，有时也贴上 Cascade 的标签，二者区别是显著的，虽然本质相同。斯坦福做的 Cascaded FSTs（finite state transducers）是把每一层编译的 network 直接用“数据流”串起来的一体化流程，cascade 是编译（或运行？）内部的机制。而我们做的所谓 cascade 就是从外部叠加调用，这是传统软件项目中管式系统（pipeline）的模块化开发，然后在运行的时候，从外部来接口，是大路货的路线。
洪: 看看有没有modern Hadoop实现
李: 总之，昨天我还发懵，搞不清为什么谈多层NLP的时候，毛老非要强调数据流，今天醒过来，原来如此。不过，我个人的感觉是，那种内部数据流的 Cascaded FSTs 后来逐渐淡出视野，一定有它内在的局限或问题。而我走的外部pipeline系统的方法，却得心应手，开花结果了。尽管理论上，数据流的路线应该更容易高效，更容易固化，但是肯定是遇到了什么坎儿过不去。
白：关于数据流，一直感觉NLP涉及的比较细粒度，就算自动机的堆叠或者分层的词袋，仍然粒度过细，一个句子里就可能多次流动，更不要说RNN这种自己转着圈玩的了……把这么细粒度的流动用大数据处理的利器来玩，是不是有点高射炮打蚊子？请毛老指教。但是，自动机堆叠一个实现上重要的架构就是pipelining。底层边吃进输入，边产生阶段性的输出，又变成上一层的输入。这个pipelining的框架如何在系统层面优化实现，很有油水。还有，当数千个自动机协同工作时，它们当中一定有共享的数据结构和计算，如何进行优化，乃至硬件层面的优化，这里面大有文章可做。
毛: 白老师说的对，数据流运用于NLP有许多细节的问题，特别是粒度的问题，还要好好推敲，现在还只是个朦胧的方向。粒度的问题一方面取决于具体的业务逻辑，一方面也跟硬件有密切关系，例如有没有GPU这一点，就对数据流的粒度和形状都会有很大影响。
李: 毛老，这是 SRI 的 work，叫 FASTUS。我在找他们描述 implementation of casaced FSTs 的部分，好像言之不详。以前不求甚解，反正自己已经找到了一条顺风顺水的路子，管人家怎么实现的，用的啥数据流。
毛: 好，谢谢立委。Cascade肯定就是pipelining，这就是一维数据流。
李：这个数据流的概念上没有问题。我是想知道，他们是不是把一个模块的 network 与pipeline 线上的其他 networks 整合成一个 integrated 的 network？我想知道，是不是整个编译全系统，还是像我们一样，每个模块是单单编译，单单调用的？
白: 如果有同步的语义操作，我相信会的。
李: 我的印象是，他们是编译全系统的，所以我们一直承认自己是 external 的 cascade，我们只是外部连接。重点的重点是，里面有一个共同的数据结构，无论 Pipieline 怎么流，不外是对这个数据结构的更新而已。
毛: 所以立委和白老师得要多掐，我就在旁听着，边听边想数据流的事。
李: 唉，还是没看到实现细节，保不定他们所谓的 cascade 与我们的做法一致，不过是利用共同的数据结构作为粘合剂，一个模块一个模块的调用。早年的文献中，最原始最愚蠢的数据结构是 string 进 string 出，然后他们描述怎么在这个一维的string上加各种括号和标签。下一个模块必须在模式匹配的时候要跳过这些人为的括号与标签，才能更新信息，那个愚蠢透顶，不可思议。我还真照文献说的实现过一个prototype，一边做一边骂这帮傻老帽。那个玩意儿根本做不下去，超过两层的处理就焦头烂额了。后来有人（譬如英国著名的NLP平台 GATE）用 XML 作为模块间连接的标准接口，本质上也还是 string，不过是多了一些现成的工具，可以用来 parse 这样的数据成内部结构。当然，在不同系统对接的时候，开发者和使用者是不同的组织，XML 作为标准接口往往是最少扯皮的一种方案，因为内部的数据结构不具有这种传递性。然而对于一个系统内部的各模块，用 XML 做数据传输近乎胡闹。做个 prototype 也许可行，做应用肯定不好。
毛: 立委讲的外部连接和全编译的问题，我理解就是节点间动态局部连接的问题。全编译就是一次性把整个数据流搭好，以后就不变了。所谓外部连接，就是按需要把若干计算节点局部地临时连在一起，灵活可变。当然是后者更好，不过应该是全局框架中的局部变化。我说的要研究怎样根据NLP的特点灵活构筑合适的数据流，就是这个意思。
李: 全局框架的保证就是一个共同的丰富的可扩展的数据结构。只要保证这个数据结构的设计是合理的，一切就好办了。
毛: 昨天群主一声吆喝，立委说话的风格还真的就变了，马雅可夫斯基的调调不见了。
李: 从善如流嘛。
设计一个NLP专项平台，就包括数据结构的设计，NLP语言的设计，该语言的编译和执行，以及数据流流程的配置和优化。这几个环节都是相互联系的，没有丰富的经验根本玩不转。
毛: 在数据流、即函数式程序设计中，不会由多个节点对同一份数据结构进行修改，这就是输入是否immutable和有没有共享变量的问题。不过对于NLP来说这属于实现细节。
李: 为什么不会由多个节点对同一份数据结构进行修改？每个节点都是单向递进的，数据结构因此变得越来越丰富，分析越来越深入，是为 deep parsing。简单的设计允许数据结构信息的增量更新，不允许或者制约了对数据结构的破坏性操作。譬如，推翻一个内部结构，进行重构（因为 patching 的需要）。但是聪明的工程师在实现的时候，不认为破坏一个局部的内部结构有太严重的问题，不过就是实现费劲一点罢了，屁股总是可以擦干净的。所以我说，只有想不到的，没有做不到的，我才不管他内部怎么实现的，只要用起来顺手就好。只有在实现影响了速度的时候，我可以做让步，允许工程师对我的操作做一些限制。
毛: 如果允许，那就有同步等等的问题，不同节点之间就会互相牵制，而且这样的系统是最容易有bug的。而函数式程序设计，其基本的要求就是：每一个计算节点都是数学意义上的函数，都没有副作用，这就要求：1）没有共享变量，2）所有输入都是immutable。把数据流系统设想成一个供水系统，如果水管在一个点上分支，那么在其中的一个分支上投毒，是不会影响另一个分支的。
李: 照这么说，只允许增量式更新是管式系统开发的安全原则？一开始是增量式的，后来是我坚持要多给我一个做 patching 的手段，打破了这个限制。如果不做 patching，我就只剩下一个手段，那就是先扫除例外，后做一般规则。如果允许 patching，我就多了一条路子，先做大路货，然后遇到问题或例外，再做修补。表面上，这两个办法不过就是数据流中个性与共性操作的位置不同而已，但是实践中总是多一条路子，用起来顺手。其实，做破坏性操作，我开始是有担心的，总怕屁股擦不干净。但是，好像还是在可控范围内。
毛: 对，你所说的对工程师们的能力要求，问题就在于那种结构模式本来就是很不可靠的，得要非常高明的人才能对付，所以一般都尽量把同步、互斥这些事情移到操作系统和语言编译器中解决，因为那些都是真正的高手才玩得。但是即使如此，对于复杂的系统，如果不采用函数式即数据流的结构和方法，难度还是很大。
李: 原因可能是，破坏的结构不过是中间的局部结构，还没到要用它的时候，只要最后系统出来的结构是合理的，就似乎没有问题了。
毛: 你挺幸运，手下有几个高明的工程师，要不然恐怕还做不出那么些成果。
李: 因为我是他们的唯一顾客，顾客是上帝。我一直是这么说的。
毛: 端着人的饭碗，就得听人管。
李: 好在我不懂系统，否则可能不敢这么大手大脚。
毛: 但是，这是有限度的，问题再复杂一点，他们可能就会对付不了。这时候就得考虑模式的改变。不走邪路，也不走回头路，咱走正路。
李: 同意这里面有个度。另一方面，系统太漂亮了不顶用。上得厅堂，下得厨房，这个标准对做系统也一样。正路就是厅堂，厨房就是我这样的实用主义，以邓小平思想为指针。
【相关】
【立委科普：漫谈语言形式】
如果有兴趣的话，准备在群里讲一次语言的形式手段的话题，这是语言学的基础。是 hard-core 语言学，不是电脑学。 一觉醒来了，有精神，有三个呼应，就开讲，谈为什么语言掌握得多的人，或语言学受过训练的人，看到的更多是语言共性。
独: 期待
黄: 呼应~
qj: +1
迈: +2
学生算半个。好，三个半了。可惜毛老，洪爷，雷司令，白老师和尼克等没在。不管这些IT达人了，咱们开讲语言学202。
各位都学过电脑语言，也都会自然语言，可以做个比照。作为符号系统，语言说到底就是以形式来反映内容。语言的不同是形式的不同，内容一定是相同的，否则人不可能交流思想，语言的翻译也就失去了基础，这个道理老少咸知。
那么什么是语言形式呢？回答这个问题就进入语言学了。
如果我们要把内容和形式分开来研究（当然是分不开的，但是理论上可以，否则就没有乔姆斯基革命了），什么是语言形式呢？乍一看语言，不就是 string 么？语音流也好，文字串也好。这个回答不算错，但那是太直观的答案。这个string是有单位的，所以至少可以说语言形式是一个 list of items，items 就是词（more precisely 词素）。list 就是词序。
所以，作为第一个抽象，我们至少得出了词序（word order，有时也叫 linear sequence）是一个重要的语言形式（语言的表达手段）。另一个重要的形式就是词，不过这个还不太够意思，太直感，不够理论，没有抽象。
顾: 语言形式是否是将语言用有限个确定元素进行表示的方法？
可以这么说，问题是词不能算有限的（finite）的单位。
穷举很难，而且即便列举了，也无法抽象，没有抽象，就没有掌握，人不可能学会语言，人脑不比电脑，记忆力可怜。所以，探究语言形式要研究词是个什么玩意儿。这就进入了语言学最基本分支了，叫 morphology，可以称 small syntax，就是一个词范围内的结构。对于有些语言，morphology 很繁复，譬如俄语，拉丁语。对于有些语言，morphology 很贫乏，或者可以说没有 morphology，譬如汉语，英语。
撇开这些语言的元件中的构造性差别，我们在研究“词“的时候，第一眼看到的差别是它的两大类别。一类叫实词（notional words，or open-ended vocabulary），原则上是一个开放的集合；一类是虚词或小词，即功能词（function words or closed vocabulary），是可枚举项。
这个分类很重要，因为作为语言形式，能够掌握的必须是 finite 的集合。对于功能词，因为数量有限，没有问题。功能词就是介词，连词，疑问词，感叹词之类，其实延伸一下也可以包括前缀、后缀等材料（叫语缀），在所有的语言中都是有限量的，出现频率高，可以死记的。它本身就是语言形式，原则上无需抽象（虽然也给他们简单分类），因为可以枚举。
黄: 所以也可以叫做闭类词
qj: 这个词分类对所有语言都适用吗？
对，所有语言都是这样的。欢迎毛老，这下可热闹了。
到此，我们至少得到了三个具体的语言形式了：1 词序； 2. 小词； 3 词缀。语言的不同不是形式的不同，而是形式的倚重和比例的不同，下面还要讲，这才是有趣的语言学。那么实词呢？实词当然是语言形式，但是因为是开放集，必须给他们分类才好形式化。除了成语和习惯表达法，一般来说，你总不能用枚举的办法为每一个实词写规则吧（真有这么做的，在很窄的领域），人脑也是在实词词类的基础上总结抽象的。实词于是有大类（Part of Speech）, 名（noun）、形（adjective）、动（verb）三大类。副词（adverb）一般不算单独的大类，往往是形容词派生而来，或者与形容词同形。只有少部分原副词（original adverbs）属于小词的范畴，可以枚举。
实词三大类还是太粗，对于语言的抽象和掌握不够用，于是可以进一步再分类。特别是动词，有一种很重要的句型再分类叫 subcat（subcaegorization），是重要的语言手段，就是区别所谓单宾语子类，双宾语子类，宾语+补足语的不同子类，等等，所有的大辞典后面的附录都有的。再进一步，词汇的语义分类（lexical semantic classification，人啦，动物拉，家具，地点，机构等的分类）也可以加入进来，作为语义的形式化手段，可以用 WordNet 或者董老师的《知网》，这就把语义甚至常识偷偷引进句法了。
总结一下语言形式，1 词序， 2 小词， 3 词缀， 4 词类（包括子类）
张: 在吃火锅间隙，忍不住看了讨论
qj: 正好是晚饭时间。这些宾语子类都是limited的吗？
子类当然是有限的，分类的目的就是让理论上无穷的词汇，转变成有限的分类（包括子类），以便掌握和运用。朗曼词典列出的英语 subcat 类有30多个，牛津大辞典好像列出了20个左右。大同小异，颗粒度略有不同。其实常用的动词句型子类也就是不到10个。汉语的传统词典不列句型小类，但是语言所后来出的《动词用法词典》，还有《汉语800词》等，开始分子类，并标注了。
qj: 恩 英语的规则比汉语更加清晰简单
毛: @wei 这里正好是晚饭时间，你那已是凌晨3点，要不你先睡一觉，醒来再接着讲？你这个应该作为一个大课题开讲并讨论才好。
黄: 汉语800词不错
我睡醒了，才想到开讲的，没关系，你们吃饭。物质文明和精神文明并举。:)
语言形式这么一分，自然语言一下子就豁然开朗了，管它什么语言，不外乎是这四种形式的交错使用，比例搭配和倚重不同而已。所谓语法，也不外是用这四种形式对语言的现象及其背后的结构做描述而已。
白: 正在包饺子，很感兴趣伟哥会把枯燥的句法讲得多么生动。
白老师指正则个。
毛: 刚才@Sophia 说英语的规则比汉语清晰，这一点我觉得就值得讨论，因为我一直认为文言的规则不清晰和岐义在很大程度上阻碍了中国近代的科技进步。
对，毛老，英语确实比汉语清晰，德语法语又比英语（虽然英语是从的德语法语杂交而来的，“不幸” 的是后来走了汉语的道路）清晰。这里的所谓 ”清晰“, 是指这些语言有显性的形式来表达结构关系, 而汉语缺乏这种显性形式，因此做汉语自动分析就显得难。什么是显性的形式？譬如词法范畴的名词的性（gender）、数（number）、格（case），动词的时（tense）、体（aspect）、态（voice）。这些词法范畴是以显性的后缀（词尾）形式来表达的。但是汉语没有。
毛: 如果是跟白话文比呢？
qj: 我就是那种学起文言文大脑一片混沌的人。学过英文的语法结构 以后反过来看当代汉语 反而思路清晰一些
毛: 前几天也曾讲到过一个，文言除在古代可以降低成本以外，实际上仅对艺术有益，对于科技发展则害处极大。
文言更加缺乏显性形式。文言虚词就那么几个，不如现代汉语的小词丰富，因此比现代汉语更难（将来退休以后，准备就做文言 parsing 玩儿）。现代汉语的形式化相对容易一些。
黄: 语法在汉语中的作用不像英语规范（虽然英语也是soso），因此语义的研究尤为重要。
对。再回来看一下形式的分类：1 词序 2 小词 3 词缀 4 词的分类
黄: 有朋友在做文言机器翻译文到现代文的机器翻译。
毛: 由此又影响到中国的传统文化，也是艺术性强都科学技术逻辑都很欠缺。
凡是 morphology （各种词缀）复杂的语言，通常不需要运用词序的手段，也较少依赖小词。譬如俄语，还有世界语（Esperanto），“我爱你”，就三个词，可以用六种词序表达，排列组合。
黄: 世界语不能算是自然语言吧。
世界语算是准自然语言。诞生不自然，发展自然了。为什么语序自由呢，因为有宾格这样的后缀形式，跑到哪里都是动宾的关系。当然就不需要依赖语序的形式了。
回来谈为什么汉语不如西方语言严谨？因为汉语发展过程中，没有走语词综合（利用语缀）的道路，而是坚持在分析（利用小词）的道路上走到黑。从语言学的高度，语缀也好，小词也好，其实也都是差不多的材料（形式），但是，语缀的范畴化，比起小词，要发达得多，因此严谨得多，也冗余得多。可以举例说明。
毛: 有没有人研究过语言跟民族文化与民众性格之间的关系？
肯定有，不过我眼里只有语言和语言学，从来不敢发散。一辈子就想这一件事儿，搞得都有点条件反射了，跟洪爷似的，什么 input 都映射成诗歌，我是什么 input（语言形式）都自动转成树了。管它显性形式还是隐性的形式，全部映射成所谓逻辑形式（logical form），即带有丰富节点信息的结构树。
毛: @wei 你的条件反射就是通过有限自动机完成的。
什么是隐性形式？隐性形式就是词类和各种子类。为什么说是隐性，因为需要标注才能显性化、形式化。那些词本身并没有这些标记。如果用显性的后缀“标注”了，那就成显性了。譬如，“兄弟” 在汉语是名词（noun），这个是词典标注的，或者是 POS 程序标注的（如果有歧义的话），不是这词本身的印记。但是 frato （兄弟） 在世界语就不需要词典标注，因为有名词后缀 -o。再看 汉语的复数 “兄弟们”，这里用了小词“们”，世界语呢，用后缀 -j，fratoj。乍看，这不一样么，都是用有限的语言材料，都是显性的表达。但是，汉语的复数概念表达是有时候显性有时候隐性，这个“们”不是必需的，而有数这个范畴的西方语言（包括世界语）却是永远的显性，那个后缀是不能省略的。
“三个兄弟没水喝”
这里的兄弟就没有小词“们”，而且汉语文法规定了不允许在数量结构后面加复数的小词，硬把显性的表达转变成了隐性的表达。这样的语言是不严谨的，因为信息冗余度不够。换句话说，严谨的语言较少倚赖上下文来确定其结构语义，不严谨的语言离不开上下文，兄弟的复数意义需要上文的数量结构。
汉语的小词是从古汉语的实词虚化而成，这是语言的进步。
毛: 所以乔老爷的ＣFG解析更适合用于结构严谨的语言。
好了，今天大概就是讲透了一个主题，什么是语言形式。从这个基点，以后可以讨论很多话题，包括文言文与现代汉语，世界语美不美妙不妙，西方语言为什么更加严谨。
RW: 从文言文到白话文，有无语言形式变化？如果有，系统地体现在哪几点？
qj: 如果语言无比严谨没有歧义, 各位也就没有这工作机会了也没得争辩哈哈哈
北: 如果无比严谨, 那就是计算机语言了 世界上觉得程序比小说好看的人是有 但是太少了 根本无足轻重
毛: 语言没有变化和差异，是否正是能够更好更忠实地表达思想的变化和差异？
毛老思维太活跃, 跟不上您. 今天这一讲就完了，现在算是闲聊，借题发挥。
毛: 哈哈，多谢立委一觉醒来忽然心血来潮，这个话题太有趣了
顾: 是否所有的思想，皆可用一种语言表达？
本讲就讲了一点：形式有四种，语序，小词，词缀，分类。只要从这四点出发，很多现象就可以解释。语言大不了就是围绕实词的概念，用这些手段连接起来，表达概念之间的关系意义。
其实“语言形式”这个话题，还没引申来谈，谈起来还有很多有趣的东西，譬如语缀与小词之间的关系，相互补充和替代的作用，语言发展中倚赖语缀的综合道路，以及倚赖小词的分析道路，以及两条路线的斗争，等等，以后有闲再谈。
【相关】
《立委科普：关键词外传》
Keywords as Technology and as Business Model. The entire search industry has relied on keywords as money-making machines. What are the limitations of keywords as technology? What are the limitations of keywords as business model? What are prospects beyond keywords? These are issues discussed in this blog and the next (in progress).
信息爆炸的时代，IT 领域风云多变，群雄争霸，此伏彼起。其中最精彩的故事之一就是搜索巨头的崛起。他们的谋生本领从技术和商业模式两方面看，都是所谓关键词（keywords）。于是关键词有了两个含义，一个是关键词的技术，另一个是作为广告基点的可以卖钱的关键词。
总结一下，关键词只是表象，它的价值植根于对信息的表达（载体）。是这种信息载体的身份使得它把用户的需求、网页的相关以及广告商的目标这三者联合起来，成为互联网经济的三大基石之一（电商交易和游戏服务是另外的两大互联网产业）。然而，关键词只是信息表达的最原始粗糙的元件，它没有抽象度，无法应对不可枚举的概念（譬如“产品”），它没有语词结构，最多只能用逻辑“与或非”操作关键词（术语叫 boolean query），而无法表达文法关系（譬如表达 “发布”的对象必须是产品）。所有这一切都是根子上的局限。因此，关键词不可能是信息时代的终点。关键词技术和关键词模式都面临而且需要一场颠覆式的革新。
【后记】
这篇是地地道道的科普，太浅显、白话、常识了，老妪能解了吧，只是结论部分从天下大势和技术基础的角度指出了关键词技术和关键词模式的根本局限，算是夹带了私货：关键词面临革命（或者叫颠覆式革新更易让人接受，也更妥帖，因为不可能杀掉关键词，只是要剥夺它的信息唯一载体的地位）。
原载：《立委科普：关键词外传》
【相关】
《立委科普：关键词革命》
先从关键词的优缺点谈起。关键词的优点是：简单（simple），鲁棒（robust），查全率好（good recall）。这些优点也决定了它的两大局限：（1）查准率差（poor precision）；（2）表达手段贫乏（not expressive），甚至无法表达，不能胜任信息载体的工作。
优点缺点一个面向一个面向地谈，这样可以帮助看清关键词的全貌及其发展趋向。
先从用户的视角说，关键词的“简单”显而易见，因为任何信息都是由词汇组成的，训练用户在词汇中提取关键词是比较自然的事儿，所以基本人人会用。也有开始不会用的用户，譬如不知道把非关键的停止词（stop words）除掉，或者留下了太多的关键词（关键词之间默认是“逻辑与”的关系），这样去搜索，结果往往找不到合适的信息，但是吃几次亏用户慢慢就适应了。
关键词 query 作为检索的入口，其表达的贫乏和局限，我们每个网人都有过体会，有些想找的信息用关键词匹配就是找不到。道理很简单，思想和语言都是二维的，而关键词是一维，严格说，连一维都不够, 因为关键词的默认就是一袋子词，连次序的维度都不在内。具体来说，关键词作为query，既不精准，也不概括，在查准率（precision）与查全率（recall）两方面都有根本的局限。不精准的原因是所查的关键词之间关系是简单的“与”，因此无法确定返回的网页链接（URLs）里是不是有自己想要的情报，还是关键词的偶然共现（如果网页文字很多，偶然共现的可能性很大，返回来的则多为噪音）。对付这类噪音，目前的办法是给关键词加上引号（quoted query）把一袋子词变成线性词串去做 exact match，这个办法增加了词序的维度，的确大大降低了噪音，但同时也往往漏掉了太多，因为语言中相关联的关键词并不是总挨在一起，事实上紧挨着的通常是极少数。作为信息载体，关键词之间的关联的最好表达还是要揭示其内在的文法关系，这一点很少异议。第二条缺陷是关键词不具有概括性，因此也影响了查全率。很多人认为关键词除了简单外，最大的优点就是查全率好，这样看来似乎与缺乏概括性有矛盾。这个疑似矛盾实际上是基于查全率的两个不同定义。查全率的形式定义几乎就是为关键词量身定制的，说的是，关键词检索理论上可以做到100%的查全率：对于被索引的网页，系统完全可以返回所有的符合关键词query条件的相关网页，一个不拉，这在技术上是可以保证的。然而这种“查全率”不能反映用户的真实需求，因为同一个概念完全可能以不同的关键词来表达。满足信息需求的查全率必须以概念而不是关键词来计算。当这个概念是语词不可枚举的时候，关键词技术则根本无法表达，用户所要的查全率无法实现。【注一】
举个例子，如果你想搜寻公司购并的情报，现在的办法就是搜索 “公司购并”。这个效果差太远了，因为谈论公司购并里面恰好提到这两个词的是少数。多数的情形都是，Dell 购并了EMC, 苹果准备购买特斯拉，腾讯要买京东之类。关键词在这里遇到两大挑战：其一关键词没有概括能力，而有很多概念在语言表达中是没有办法枚举的，譬如公司的概念，我们没法在query一一列举所有的公司名： Dell|EMC|苹果|特拉斯|腾讯|京东......，这个给公司自动标注的工作叫做 NE（Named Entity tagging），通常是语言分析系统里面的一个组件。第二，关键词的 query 不允许设定任何文法关系的条件。譬如，公司购并的情报需要”公司“类的词作为 BUY （包括“购并”、“购买”、“买”等） 的宾语（对象），没有这个动宾（VO）条件的限定，返回的文件可能是噪音，里面恰好提到 BUY 和公司，但二者并没有并购的关系。对于这二者，深度分析系统都已经把握 了，其结果表达表现为带有节点语词及其标注的句法树，其中树结构的核心就是SVO（主谓宾）。因此，关键词query的升级应该是 SVO 这类关系条件的表达。这样的技术革新面对的最大问题就是如何培训用户使用SVO而不是简单的关键词 query。面对亿万用户，这似乎很难。然而，用户是可以训练出来的。我们整整一代人都被关键词训练过、洗脑过了，才学会了怎样使用关键词的不同组合尝试找到最好的结果。同理，SVO 也会经历这个用户自适应的过程。只要搜索界面设计得巧妙和intuitive，允许两种搜索并存，尝到SVO搜索甜头的用户会逐渐影响带动其他的用户。
第二个面向是大头，就是对大数据处理的关键词升级。从搜索引擎所面对的整个互联网而言，使用任何比简单的关键词索引更高级的语言技术，即便理论上可以实现，无论从成本还是运作上，都将是一个巨大的挑战，在可预见的将来，没有理由相信仅存的几家互联网搜索巨头会冒这个险。然而，近年来大数据架构的突破性发展，以及硬件成本的下降，至少使得我们相信，在互联网大海的一个子集（譬如社会媒体，譬如维基世界，譬如某垂直领域）施行语言处理技术的升级，是完全可行的。
我们看到，自然语言的深度分析技术已经进过反复验证和在 niche markets 的产品中成功应用，技术升级的条件业已成熟。 哪怕只利用深度分析的一个部分，譬如只做SVO（主谓宾）
，理论上也是对所有现存关键词技术驱动的应用（不仅仅是搜索）的一个颠覆。因为突然多了一个维度，在词汇之上，增加了关键的结构信息：非结构的大数据突然结构化了。面对结构的海洋，传统的数据搜索和挖掘势必拓展。挖掘（mining）方面目前做得很浅，就是检索（retrieval）里面的一个小东西，凑合事儿。技术上看二者的关系，parsing 是见树，挖掘才见林。以前只有关键词索引，没有条件见林子，挖掘没有实验基地，限制了它的发展和深入。以此观之，以前所做的不过是 baseline 而已，如今只要有大数据、大计算（parsing比起关键词索引就是大计算）、大存储，再加上新的挖掘和检索的自然拓展，那么凡是关键词技术生存的地方都可以革命，包括以搜索（search）、分类（classification）、聚合（clustering）为基础的各类应用（与搜索直接相关的有智能搜索和问答系统，其他的应用还包括舆情挖掘、客户情报、自动文摘、新闻推送、智能助理、机器人接口等等）。这个总体趋向如此明晰，条件也基本成熟，现在是考验想象力的时候，然后就是产品老总配合语言技术创新者，脚踏实地一个应用一个应用的去做
最后说一下作为搜索公司客户的广告商（金主）。关键词的简单特性，在这里表现为商业标的的清晰，这是一个很大的优点。以关键词博弈定价易于操作，关键词最清晰，最少纠纷，谁买了就归谁，没有扯皮的事儿。广告商只要愿意花钱，可以竞标购买任何热门的关键词，也可以预见自己广告的投放情境，一切都是透明的。有权威人士认为关键词商业标的的清晰是压倒性的优点，以致任何革新如果削弱了这一点就难以成功。尽管如此，关键词的两大局限“精准度差”和“表达力弱”，从广告商的角度同样存在，而且很严重，因为这些局限直接影响了广告商客户的核心利益。长远看来，广告商不可能满足于用简单的关键词来作为广告内容连接用户的表达方式，因为它实在太简陋了。广告商的终极目标是精准投放，关键词虽然比传统广告的被动轰炸要精准，但是无法与语言自动分析理解基础上的精准匹配相比拟。从历史上看，关键词对传统广告的革命就是基于精准投放这个核心价值。前搜索时代，被动轰炸是广告商的唯一模式，突然出现关键词了，精准度大幅度提高，广告效果也容易追踪测量。现在 SVO 出现了，搜索面对的是更高阶段的精准投放，与上次广告革命非常相似。如果说让普罗百姓很快学会SVO来代替关键词不大现实，可作为广告商，直接购买表现力丰富得多的SVO 不是不可以想象的事儿。事实上，也可以对广告商客户做专业服务（professional service），不用他们操心广告高精准投放所需的SVO的具体表达形式，只要展示精准投放的实际效果即可。当然前提是搜索内容的 indexing 也做了相同的革新, 这样才能衔接得上，商业模式的推进才有可能。
总结一下，作为现存语言技术基础的关键词面临一场技术革命，因为语言深度分析技术与大数据处理的技术双方都已经成熟。革命不是杀头，深度分析对关键词，就是爱因斯坦对牛顿。抽取挖掘搜索等的质量大提升需要的是两条腿走路，一条是关键词，另一条就是SVO。到了应用领域的语义语用层，关键词，或者叫驱动词（driving words：严格地说，在SVO中，有的关键词保留成为驱动词，有的抽象为词的 feature了），依然不可或缺，但对关键词技术的颠覆式创新增加了语言结构这个关键。正如语言所老所长吕叔湘先生很多年前谈文法的关键性作用时说的，光有珍珠成不了项链，还要有珍珠串子。作为革新，信息载体应该也必须从关键词向 “驱动词+SVO” 过渡。
【注一】
其实，即便一个概念是可以枚举的，关键词 query 也常常困难重重。可以枚举的关键词理论上只要用逻辑“或”即可表达概念的外延，从而保证查全率。但事实上，很多关键词都是多义的，并不能多对一到想要搜寻的概念上，因此产生噪音。事实上，搜索服务曾经做过所谓“同义词扩展”（synonym expansion）的尝试，但很多时候由于自然语言词汇的多义带来的噪音而得不偿失。这个困扰在革命性的 SVO query 框架内不再成为挑战，因为在 SVO 看来，关键词不再是孤立的存在，而是受到上下文的文法关系约束的驱动词。多义在句法上下文中，噪音自然减除。这是 SVO 高于关键词的一个极大优势。
【相关】
【立委随笔：听喜马拉雅老罗侃人工智能】
关于ＡＩ的几点小感想：
１. ＡＩ这一波狂热，甚至连文科生罗胖都开始信服了。那天堵车听喜马拉雅，收听罗胖的跨年演讲，谈产品 高科技等，觉得这小子铁嘴钢牙，不全是嘴皮子功夫，有真货。譬如，论产品和服务，从空间移向时间，就很有高度。唯独他谈ＡＩ的时候，让我莫名。有几分道理，更多是谬误，参杂一起，言之凿凿。这才相信了ＡＩ的营销已经多么有成效，把一个完全的外行人也整成导师了。
罗胖说，很快（言之凿凿说的是五到十年）一多半人就要失业了，为人工智能取代。这不是新鲜的观点，开复老师等大咖也一直在说。老罗说人类历史都是人奴役、压榨、剥削人的历史，终于历史走到了尽头：大多数人连被奴役被剥削的价值也没有了，因为人工智能不怕被奴役和剥削，不抱怨、不造反、不暴动。干嘛要剥削人呢？
怎么办？也许就是给这些完全没有价值的多余人一个ＶＲ的眼镜，让他们一辈子在游戏中度过。如果不想落入这个群体，很少的几个可能是做设计家和创新家。因为对于现存的一切，人工智能无所不能。只有对不存在的东西，对于新设计和新创新，人类还有一点点赢面。
这些把人类与人工智能割裂成两个平等、独立或对立的竞争对手的说法，已经流传甚广，似是而非，但也很难证伪。先放在一边。
奇葩的是，他居然搞懂了深度神经。简单说就是深度神经就是一个怪兽，胃口特别大，只要给它喂大数据，他就无所不能。罗胖说，深度神经可以看历史上所有的医书，然后分析你所有的生命数据，然后给你建议吃什么药。你必须听他的，因为你穷尽一辈子也不可能理解人工智能的智能。但是他肯定比你和你在人类所能找到的任何专家高明。
总之人工智能行的是上帝的逻辑，我们人的逻辑无法理解 也无须理解。顺之者昌逆之者亡。这个逻辑的算法基础就是深度神经。
罗胖这些说法其实早已在现下媒体，以及早先的科幻中，为无数记者作家描述过。他不过是利用他所特长的语言艺术表达出来。
２. 看老友在朋友圈提ａｉ＋酒，就让我想起历史上魏晋的药＋酒，都是性感、时髦、流行而且催情的。很浪漫，也很颓靡。
３. 老友接着谈他看好机器人情感，觉得前景无限。老友说的机器人的 ＡＩ 情感，这里的情感是说的什么呢？
（１） ＡＩ 对于人类表述的情感的捕捉：譬如舆情挖掘
（２） ＡＩ 机器人（譬如微软小冰）自己所表现出来的情感表述
（１）是已经和正在实现的事儿，毋庸置疑，但与常人所说的机器人情感大概不是一回事儿，虽然不少人有意无意混淆二者。
（２）是典型的“逢场作戏”：微软小冰细语款款地说爱我很多次了，我要不是做 ＮＬＵ 的，可能早就被她迷惑了。
说的是（２）这种情感大有前途么？
可以想到的前途是： 虚拟恋人（安慰失恋的人）；老人陪伴（宽慰孤独的老人）。不怀疑这种东西最终可以以假乱真。将来市场化时候唯一要着力做的是，消除心理障碍，要给客户洗脑，这个机器人，不是机器，而是人。
（绝不能泄露天机：这与人类情感，没有一毛钱的关系。她爱死你了，你也爱死她了，你们结婚，也绝不会有爱的结晶。）
【相关】
【泥沙龙笔记：强人工智能的伟哥测试】
【强弱人工智能之辩】
【李白之41：Gui冒VP的风险】
白:
“这些国家的统治者必须变革，不然就是在冒被一脚踢开的风险。”
1、“冒……风险”，离合词；
2、“风险”属于“N/S”型的名词，不反填定语从句；
3、“被”由N+升格为N，占“一脚踢开”提供的两个坑中的一个；
4、先行成分“这些国家的统治者”填“一脚踢开”提供的另一个坑。
李:
【冒VP的风险】
汉语离合词 是框式结构之一种，离合词里面的 XP 是啥 离合词本身决定。可以认为是由该词的subcat模板所规定。 这个case里面规定是要 VP。离合词“冒-险”（“冒-之|的 险|风险”）本身也是（动宾式）VP，于是我们赶上了内外两个 VPs：“Gui 冒杀头之险”。Subcat 如是说：
1 Gui 冒险。
2 Gui 杀头: 实际上是被杀头。“杀-头”本身也是离合词 里面应该是要的NP。NP外化就成了句法主语和逻辑宾语，也就是所谓隐式被动：Gui杀头 == Gui被杀头 == 把Gui杀头 == 杀Gui的头 == 对Gui杀头。这才叫语言学，微观语言学， subcat 执导。subcat 是语言个性与共性的接口
3 两个 VPs 之间的关系: 当然也由外面这个离合词“冒-险”来决定。具体说就是，内VP是外VP的同位语，是给外VP填充“冒险”的内容：冒什么险？杀头之险。这个同位语来源于内VP是外VP里宾语的定语这种形式，是随着离合词动态合成为动宾合成词，由宾语的同位语定语，捎带过来的（定语转状语，主子单位是变大了，但mod本性不变）。这个现象是动宾离合词的共性，再如：洗个痛快的澡 == 痛快洗澡.
4 剩下一些句法语义的鸡零狗碎 也仍然是外VP的subcat决定的：包括内VP是非谓语VP，因此不能用句法（或词法）的时体形式，语义上表达的是不定式。至于外VP，它当然是谓语VP， 譬如可以有进行体：“Gui正在冒杀头之险”。
总结一下：subcat 可以有很丰富的内容，很复杂的规定，它连接句法形式（模式s）与其对应的语义。好在 subcat 都是词典词条决定的，所以再复杂琐碎，在词典主义（lexicalist）看来也不难把控。
理论上 subcat 的这种复杂性最好由subcat的复杂特征结构（SUBCATT typed feature structure）来描述。上面举的例子及其相关句法语义的约束及其与逻辑语义的接口，可以非常从容、非常精细地在诸如 HPSG 的复杂特征结构里面透明地表达出来。如果是象牙塔玩符号逻辑，可说是进入了符号逻辑的天国：个性共性 词典grammar, 句法语义 燕舞莺歌，太平世界 同此凉热，在在美景 处处和谐。这就是我以前说的 玩 HPSG 可以入迷的原因。下面给几个HPSG 的复杂特征结构的图示，展现一下其叠床架屋背后的合一（unification）风采：
但我们终究还是抛弃了复杂特征结构，为了线速，为了简略，为了多层，为了模块化和易维护。总之是为了现世的便利，挥别了理想的符号天国。
【相关】
【李白之40：逻辑语义是语义核心，但不是全部】
李:
"不晓得是啥"：不晓得[ ]是啥
不晓得【萝卜】是啥。
这个宾语从句中的主语的坑省略以后，萝卜哪里去了呢？
萝卜不晓得是啥
不晓得是啥的萝卜
一口可口可乐喝完, 吐出一块不晓得是啥的东西
白:
“拿一些自己都不晓得是啥的东西来糊弄别人。”
定语从句反而是自然的
李:
why not 不晓得 NP[是啥的东西]? “晓得”的 subcats 既可带宾语从句，也可带ＮＰ宾语的：
不晓得啥东西
不晓得这东西
then, why the parse [[不晓得是啥]的东西] is better than [不晓得[是啥的东西]]？回答清楚这个问题，貌似需要一点说法。
白:
“他是个连微积分都不晓得是啥的东西”
又回去了。“晓得”带小句宾时，不满足穿透性，就是说晓得的逻辑主语并不必然成为小句的逻辑主语。这样“不晓得是啥”作为一个整体进入定语从句的时候，就出现了两个坑，不知道反填哪一个，这是要避免的。
李:
是吗？
“我不晓得到哪里去” == 我不晓得【我】到哪里去。
白:
不一定，可自主决策类，可以穿透。一般性的动词，无法穿透。
李:
“不晓得是啥的东西” 与“狂吠的狗”应该是一个逻辑。
白:
狂吠是不及物的，一个坑。没有歧义。
李:
“不晓得是啥” 也是vp 也是不及物 或 宾语已经内部 saturated。
白:
不晓得是啥，两个坑：a不晓得b是啥。但“连微积分都不晓得是啥”，微积分填掉了一个坑，就没这个问题了。b锁定，只剩a了。“东西”必然指“晓得”的逻辑主语。只剩下这个可能。东西只有在负面情感时才可指人，虽然逻辑上包含人。连……都不晓得是啥，显然承载了这个负面情感。
李:
对。两个坑。但是 b 坑比 a 坑更具有必填性。
在“不知道是啥的东西”里，“东西” 与 “晓得” 没有直接关系, “东西” 微观上是 “是啥” 的主语，宏观上 是 “不晓得是啥” 的主语。“这玩意是大家都不晓得是啥的东西。”
这里“晓得”的主语是“大家”。
白：
有“大家”，先填掉了逻辑主语。“东西”拔不走了。
李:
“晓得”的第二个坑 是宾语子句。“东西” 显然与 “晓得” 没有直接关系，因为根本就没坑了， “晓得” 已经饱和了。如果引进短语结构ps，可以说 “不晓得是啥” 这个 vp，还有两个坑。有两个坑的 vp 听上去很奇怪。但在汉语的所谓 “双主语句式”中有可能存在。
白:
“是”的两个坑，“啥”占了一个
晓得的逻辑宾语是X，S比N优先，顺序比逆序优先。
“这玩意儿他们不晓得”。这种情况又可以了。晓得的逻辑主语跟另一个不兼容。又多出来一个。整体上还是相当于一个及物动词。
李:
大主语 topic，有可能是一个 arg 的坑 也有可能不占坑 那就是 mod。小主语必然填一个坑。
白:
双主语有两种情形，一种是大小主语，往往有part of联系；另一种是宾语提前或话题化，这种没有part of联系。有part of的，可以名词自带坑。没有的，只能消费里面的坑。名词自带坑的，里面就可以是不及物动词了。一个坑就够。另一个靠带坑的名词自吃自吐。自带坑的名词甚至可以传导到更遥远的补语。“他眼睛哭肿了”实际是：1、他哭；2、眼睛肿；3、眼睛是他身体的部分。眼睛，和哭，共享“他”这个萝卜。因为“肿”合并到“哭”，“肿”辖域内的残坑（谁的眼睛）获得免费额度。可以复用已填坑的萝卜。
李：
有 part of 这种特别有意思：“他身体不错”。
== 【他 身体】不错。
== 他 【身体 不错】
这两个看似水火不容的结构，都有各自的合理和优点，二者互补才反映全貌。
(1) “他的身体不错”：显性形式的小词“的”，让“他”降格为修饰语，属于填了“身体”所留的坑的修饰语。
白：
有“的”，修饰语辖域自然归并到被修饰语辖域，也获得免费额度。他，可以既填“的”本身的坑，也可以再填“身体”的坑。
李：
(2) 他身体方面不错：“身体”被降格，降格成后置词短语ＰＰ“身体方面”（Postpositional Phrase），类似状语。
(3) “他么，身体不错”，“他”降格为话题状语，用了口语小词“么”。
(4) “他身体好，又聪明” 可算是谓词“升格”（或“小句降格”）。从一元化领导升格为集体领导。本来谓词（譬如“聪明”）就是谓语，但现在“身体好”这个短语或小句整体变成了谓语，与另一个ＡＰ谓语“聪明”并列。
白：
“身体好”整体相当于一个不及物动词。两个带坑的成分级联，略去中间环节，还是吃N吐S。
李:
这些现象极端有趣，fascinating。表明 在基本相同的逻辑语义底层结构中，语言表达可以借助语言学的形式手段，给这个底层结构穿不同的衣服，打扮成不同的形象。进而对其语义做某种非核心的修饰。
白：
从填坑角度看只是初等的数学运算。免费额度算清楚了，其他都是小菜一碟。这又打破树的形态，真心不是树。
李:
但是 即便所有的坑都填妥了，那也只是逻辑语义的胜利，底层核心的被求解，表层的细微语义差别（nuances）， 那些不同表达方式，那些“升格”、“降格”的不同语言形式。它们所反映的东西 严格地说 也应该被恰当的捕捉和表达。
白:
两件事情，谁和谁有什么关系是逻辑语义的事儿。用什么顺序表达是另一件事。后者也负载信息。
李:
对呀。
白:
比如听说双方之前各知道什么，强调什么，诸如此类。这些不在“主结构”框架内，但是是一些“环境变量”，需要的时候可以从里面捕捉这些信息。
李:
最典型的例子是 “我读书” 与 “我读的书”，二者语义的区别，虽然逻辑语义核心以及填坑关系是相同的。
白:
焦点不同、有定性不同，已然未然不同，甚至单复数也可能不同。我当下正在读的书可能标配是单数，我读过的书标配就是复数。
李:
这些语义 与 逻辑语义，处于不同的层面。逻辑语义是本体（ontoogy）作为模版， 这些语义与本体模版无关。所谓本体模版，说到底就是规定了坑与萝卜，及其 type appropriateness（相谐性），他不反映这些有待填充的模版之间的结构关系，也不反映关系中的节点上附加的语义或细微差别，诸如 强调、委婉、正式、非正式、语气 等。
白:
这些都可以抽象为：语境的坑，只不过这些是需要经常update和reshuffle的。做下一代人机对话不做这个的，都是耍流氓。
李:
不仅仅人机对话，机器翻译也要这个。
30年前，董老师强调要以语言之间的核心，即逻辑语义，作为机器翻译的基础。让我们脑洞大开 深受启蒙。然而 这只是翻译需要正确传达的一个方面，的确是最核心的一面，但不是全部。边缘意义和细微差别，在核心问题基本解决后，就成为需要着力的另一方面。典型的例子是被动语态的机器翻译。从逻辑语义的角度看，主动被动是表层的语言现象，在逻辑上没有地位。因此所有的被动语态都可以转变为逻辑等价的主动语态来翻译。这有合理、逻辑和简明的一面，但人不是这样翻译的：一个高明的译者懂得，什么时候被动可以翻译成主动，什么时候需要翻译成显式的被动，什么时候可以翻译成隐式的被动，什么时候改造成反身自动的表达方式（譬如在英语到法语的翻译中加 se）。
白:
视角选择，也是一个考量因素。有时，被动语态的采用，纯粹是为了视角的连贯。跟立场态度并无直接瓜葛。
李:
总之 逻辑语义是个纲 纲举目不一定张 对目下功夫是区别一个好的系统和一个很好的系统重要指针。
白:
纳入语境的坑，一个好处就是所有填坑的机制可以复用过来，无需另起炉灶。说话人、听话人、处所、时间、先序语段、先序焦点、相对阶位等等，都可以套用本体的subcat。
李:
这个方向探索不多。但现在是可以考虑的时候了。
白:
我考虑很久了。语义是船，语境是河。船有内部结构，但行进也受到河的左右。内部结构不能完全决定行进的选择。
白:
不知道“王冕死了父亲”算是交叉还是不交叉？
王冕游离在外，另一部分的中心词是死，但王冕却不填它的坑，而是去填“父亲”留下的残坑。成为“死了父亲”这个短语的事实上的逻辑主语。但是还原到二元关系，这个link还是在王冕和父亲之间。从形式上看，王冕（N）和父亲填坑后的残坑（/N）中间隔着中心谓词“死（S）”，但这个吃饱了的S对N和/N之间的眉来眼去是无感的。
乐见其成。
F:
如果是语义依存，是non-projective的，是有交叉的，"父亲"这个词的投射不连续。
白:
‘’倒是“父亲”填“死”坑的一刹那，让我们见证了“右侧单坑核心成分”比“左侧单坑核心成分”优先级高的现实。如果双坑，则是左侧核心成分优先级高，我把它们处理成句法上存在填坑关系了。
李:
“王冕死了父亲”的交叉与否的问题，这个以前想过。不交叉原则针对的是句法关系
这是句法关系的逻辑底线，交叉了逻辑上无法说通，所以判违规。还没见过例外：句法关系可以并列，嵌套，但不能交叉。但不交叉原则不适用于逻辑语义关系。其实，严格说，相对于逻辑语义的不应该叫句法关系，也包括词法关系（可以看成是小句法）。总之是形式层面的结构关系。形式层面的结构关系不允许交叉，这个原则是对的。有意思的是，语言中的不同层面的形式结构关系，戴上逻辑语义的眼镜，或映射到逻辑语义的表达的时候，就可能发现交叉现象。原因是昨天说过的，逻辑语义讲的是萝卜和坑的语义关系。逻辑语义的图（graph）中是不包含句法结构层次之间的关系语义的。换句话说，逻辑语义把“结构”打平了。譬如在句法中被局限在词法层面的萝卜，完全有可能去填句法层面的逻辑语义的坑。反之亦然：词法层面中的坑，完全有可能让句法层面的萝卜去填。用乔老爷的Ｘｂａｒ句法框架或概念来说就是，语言单位Ｘ的层次，在逻辑语义看来是不重要甚至不存在的，无论是 Ｘ 是 -1 (我把词法内部的层上标为负数)，０（词一级），１（组一级），２（短语一级）。萝卜与坑可以在这些不同层次中继承或跳转，但是句法上却有层次之间的区别和禁忌。
这些层次以及层次间的关系和规定（譬如不交叉原则）是客观存在的反映，是逻辑语义以外的另一层结构语义。这种东西在重视层级的短语结构句法（ＰＳＧ）及其表达中，体现得较好。在不重视层级的依存文法（ＤＧ）中就反映和表达得不好或不够。不管我多么喜欢ＤＧ，多么讨厌ＰＳＧ表达的叠床架屋，我还是要指出ＤＧ的某些不足，正是ＰＳＧ的长处。
回到白老师的例子，可以看得清晰具体一些：“王冕死了父亲”。ＰＳＧ句法上，王冕 是ＮＰ，“死了父亲”是ＶＰ，构成Ｓ。ＶＰ里面“死了”是Ｖ－ｂａｒ, “父亲”是ＮＰ宾语。这里面的结构不可能有任何交叉出现。“王冕”与“父亲”处于不同的层次，句法不允许一个单位钻进另一单位的里面去建立联系，这是违反了君臣父子的天条。一个句法结构，对外就是一个元素，里面是黑箱子，不透明（但可以利用某种机制传递某种东西）。唯此，才能维护结构的清晰。但是到了逻辑语义，这些条条框框都可以打破：一个儿子可以有ｎ个老子，交叉也不是不可以。树（ｔｒｅｅ）是无法承载逻辑语义的任意性和结构扁平化了，于是需要用图（ｇｒａｐｈ）。我早就说过，ＤＧ本性上比较亲近逻辑语义（深层核心结构），而ＰＳＧ则亲近的表层句法结构。很多人以为它们是互换的或等价的，只是表达（ｒｅｐｒｅｎｔａｔｉｏｎ）方式不同。其实不仅如此。在我们饭还吃不饱的时候，我们首先想到的肚子问题，核心问题。当我们衣食无忧的时候，我们就要讲究全面一些，核心和边缘都不放过。并不是不放过边缘，不放过表层结构语义，就一定要回到ＰＳＧ，但是至少仅仅逻辑语义是不够的，还需要添加其他，就如白老师昨天提到的那些以及他的一些表达方案。
白:
这些所谓的句法，功劳不大，脾气倒是不小。比他多识别出有价值的二元关系，反而有毛病了。哪儿说理去。我认为这里面存在一个次序问题。
站在外层N的角度，它确实填了一个/N的坑。但不同粒度会看见不同的结果。“死了父亲”是一个联合体，这个联合体挖了一个名词坑，“王冕”填进去，天造地设、严丝合缝。既没有穿越也没有交叉。“他哭肿了眼睛”也是一样。“肿了眼睛”作为一个联合体挖了一个名词坑。和“哭”的名词坑一道，共享“他”这个萝卜。
中心词作为组块的代表，统一对外提供坑。这是对的。但是这坑未必是中心词自带的，可以是中心词在组块内部兼并而来的。把坑拘泥于中心词自带的坑，相当于用镣铐把自己锁起来。何苦自己为难自己？
李:
今天的对话，符号逻辑，参杂点黑话与绿色幽默，有点绕，烧点脑。管他呢，还是发了吧。
白:
“把字句”与补语所带坑的深度捆绑，也是受这个“联合体意义上的坑”规律所支配的。“他把眼睛哭肿了”单看“哭”和“肿”，没有坑可以共享萝卜，“哭”与human相谐，“肿”与body part相谐，二者尿不到一个壶里。但是“眼睛”恰恰在这里起到了“转换插头”的作用，吃human，吐human body。看这个“肿了眼睛”的联合体所带的坑，与“哭”所带的坑，完全相谐，恰恰是可以共享的了。所以，在PSG那里避之唯恐不及的穿越交叉，其实隐藏着重大玄机。恰如其分地把它请回句法，可以起到四两拨千斤的作用。我对什么该放在句法层面，其实只有一个标准，能描述谁和谁有关系。如果谁和谁就是交叉着发生关系，句法不仅不应该回避，而且应该忠实描述。更何况，大的方面，中心词代表所在组块对外发生关系方面，并无违反。只是“过继的坑”也可以代替“亲生的坑”而已。树状结构、亲生的坑，都不应该成为忠实描述“谁跟谁有关系”的障碍。如果有障碍，一定是障碍错了而不是关系错了。
退一步海阔天空。只要把“在你辖域里残留的坑”统统在名义上算作“你的坑”，什么都结了。
李:
说得不错。但估计乔老爷是不认账的。他在句法与语义之间打隔断，坚信不隔断 谁也做不好 做不纯粹和深入。何况 语义是全人类共同的 哪有句法有性格和多姿多彩又万变不离其宗呢。他的普遍文法（UG） 仍然基于句法独立于语义的根本原则。只有句法才是真正的语言学。到了语义，语言学就开始参杂逻辑的杂质了。
白：
我说的也都是句法，不是语义。只不过是能给语义省点事儿的句法。
李:
夹杂了本体，或本体的隐藏式 譬如 大数据中间件，就不能说是纯句法，因为常识揉进了形式系统。
白:
只是在控制（怎么做）层面引入了本体/大数据，在描述（是什么）层面无需引入。而老乔的语言学一样是不管控制层面的事儿的。也就是说，如果只是为了写一本句法书而不是为了做parser，本体连一句话都不需要提。那就在这个层面比，谁揭示了更多的结构性信息。
【相关】
大数据淹没下的冰美人: 喜欢范冰冰的理由
最近两年“忽悠”大数据，常有网友问我：OK，我看到了，热点话题你是可以从大数据中挖掘出一些东东来，做成奇奇怪怪的词云来，蛮唬人的。可这些信息有什么价值？差不多都是我耳闻过的 rumors 。
Good question，说破大天去，挖掘出来的情报如果没有信息量（e.g.人所共知），或者只是进一步传谣，所谓大数据及其挖掘不过是浮云。大数据专家？饶了我吧。不如回家种红薯，或可产生些许价值。But wait，这个问题细究起来，绝对不是简单否定，就可解决的。至少可以从下面几个方面来看：
1. 对象和目的：回顾一下，我们的对象是海量增长的社会媒体大数据，我们的目的是透过这些 人一辈子也无法尽览的大数据，挖掘民意和舆情。这些舆情都是有统计意义的现实存在，而不是存在于个别人头脑里的天才思想，只要挖掘出来的情报具有代表性，这些情报是不是新颖，不影响我们为挖掘所设立的舆情目标。
2. 信息量问题：乍看，挖掘出来的情报都似有所闻，但其实挖掘还是增加了信息的价值。似有所闻并不奇怪，本来就是流传广泛的公共信息（open sources）。所增加的信息在于，作为个体，每个人的所闻都是零碎的，不可能具有大数据挖掘的全面。更重要的是，即便你是一个 人生即网网即人生 的无可救药的网虫，多数挖掘对你都不是新闻，你对这些信息也不可能具有量化的排序能力。就说你是冰美人死心塌地的粉丝，你也不可能给我们列出大众心目中的冰冰小姐随时间曲线的形象消长，也无法量化大家喜欢她或者不喜欢她的种种理由的分布。你也许可以蒙对几项，你绝不可能给出本文给出的结果。这些排序和分布就是附加的新信息。从另一个角度看这个问题，如果 90% 的挖掘结果不具有新闻价值，而只具有印证的意义（但也间接说明大数据挖掘是靠谱的），那也不坏。作为信息消费者，我们会自然把注意力集中到意想不到的情报上去，wow，原来还有这个啊。这些 surprise info 是你不借助大数据深度挖掘工具永远无法看到的信息，它被淹没在数据的海洋中。
3. 挖掘的情报价值：这个话题太大，不同的消费者，政府、企业或个人，可以看到和用到不同的价值，你觉得没有价值的结果，在有心者眼里可能具有决定的意义。一个企业愿意花百万美元去挖掘社煤大数据中的客户情报，他们必然是看到了一般人感觉不到的挖掘价值。手工民意调查的时代即将过去，因为大数据的挖掘会更加多快好省。如果你是范冰冰团队的策划人，下述挖掘对整个团队的市场化努力以及公关策略的调整，应该具有相当的参考价值。
回到冰美人的大数据挖掘来。前面的博文已经展示了舆情概貌，总之是冰小姐现在是如日中天，压倒性地被大众喜爱，甚至迷恋。那么喜欢她的理由呢？先看褒贬云图：
理由千千万，代表性的理由归纳列表如下：
| Why like her | Mentions |
| 漂亮美艳 …… | 6420 |
| 霸气 | 2493 |
| 火, 红 | 1208 |
| 范冰冰的胸 | 686 |
| 公益项目 | 684 |
| 时尚女王 | 446 |
| 武媚娘传奇 | 326 |
| 底妆白皙 | 298 |
| 年轻 | 232 |
| 时尚 | 229 |
| 敬业 | 133 |
| 范爷的皮肤 | 164 |
|
成功 |
130 |
| 愈挫愈勇 | 121 |
| 低调 | 121 |
| 大方 | 118 |
| 聪明 | 110 |
| 精湛 | 92 |
| 精致 | 87 |
| 合拍 | 84 |
| 成熟 | 75 |
我个人的理由也在其列呢：看来不少人与我一样，因为《武媚娘传奇》而喜欢她。我们择其几点，drill down 看看真实数据怎样表达的：
(1) 前两项压倒性的美丽和霸气，是喜欢的最大理由。
范爷霸气
范冰冰靚到
范冰冰最好看
范冰冰好漂亮
(2) 公益项目：原来这条公益项目的新闻大体是同一个来源，被各大网站反复转载，至少说明冰小姐团队做得很成功。
12月11日, 吴亦凡参加《我们小区艺体能》“圣诞慈善篮球赛”,慈善赛的收入将在比赛结束后以冠军队的名义捐赠给福利机构, 用于帮助困难居民。 2014年6月, 吴亦凡加入范冰冰公益项目“爱里的心”捐赠队伍, 成为继李嘉诚后第二个捐助的人。
(3) 范冰冰的胸：女星被人评头论足，不足为怪。但范小姐的胸之所以跃升为好评前五，其实有两个原因。
一是冰美人的自身条件的优越（魔鬼身材）以及形象塑造的重点所致，性感女神，是很多人的由衷赞佩。
二是在传统社会与现代化过程的急剧变革时期，她的美胸展示不仅仅是粉丝喜爱的理由，也成为争议的焦点（事实上，后面还会提到，冰美人的胸不仅是喜爱的理由，也是不喜爱的理由，尺度太大，被某些人认为是伤风败俗）。有争议就会有卫护、有赞美：
范冰冰的胸真的好美
谈谈法制晚报中青网新华社死磕毕福剑与不道德视频的播放 范冰冰的胸没有危害, 有危害的是你龌蹉的思想意识; 毕福剑的嘴没有危害, 有危害的是僵化教条、极端政治的思维方式。
其实，以范冰冰饰演的武媚娘为代表的唐代仕女式的袒胸露背，曾经被广电局严审，视为洪水猛兽，以致片子被勒令重新剪接，曾经引起社会媒体的轩然大波, 编剧李亚玲的痛心评论传遍全网：
此事件造成了颇为强烈的网络热议。 著名编剧李亚玲做出评论:“《武媚娘传奇》中的胸确实剪掉了! 真没想到21世纪的人会这么保守, 甚至不如千年前的唐人开放。
在停播的四天中, 片方解决了重大技术问题, 紧锣密鼓的将原有画面全部裁成了大头贴, 斥资千万的服装造型只剩下脸上的粉底...... 著名编剧李亚玲就此事做出评论:“《武媚娘传奇》中的胸确实剪掉了! 真没想到21世纪的人会这么保守, 甚至不如千年前的唐人开放。
由于播出方湖南卫视在一官方微博中, 对于此次停播给出的“因技术原因”这一理由过于简单, 使网友在一头雾水的同时, 也对相关部门的管理水平提出质疑。 对此, 著名编剧李亚玲做出评论:“《武媚娘传奇》中的胸确实剪掉了! 真没想到21世纪的人会这么保守, 甚至不如千年前的唐人开放。
昨晚复播的三集中,“武媚娘”和其他众妃子宫女们的胸部镜头全部被剪, 画面仅呈现远景和肩膀以上的近景, 网友纷纷吐槽:“现在一个屏幕全是脸”、“满屏都是大头照”。 著名编剧李亚玲也表达了自己的看法:“《武媚娘传奇》中的胸确实剪掉了! 真没想到21世纪的人会这么保守, 甚至不如千年前的唐人开放。”
(3) 底妆白皙：地球人都明白，冰小姐代表了化妆艺术的巅峰。她的底妆衬托了她形象的明艳绝色。有老友说，我只爱化妆的冰冰。
蕾哈娜 (Rihanna) 的阳光感卷发, 与健康的蜜糖棕色皮肤融为一体, 浓密卷翘的假睫毛塑造出迷人电眼。 鱼草网化妆猜你喜欢的文章: 范爷搪瓷底妆白皙胜雪 女星美妆花尽心思 泫雅红唇领衔4minute 秀冷傲别样风情 赵丽颖周冬雨戏内争宠 戏外淡妆拼清纯
【范冰冰搪瓷底妆白皙胜雪彩妆花尽心思】近日, 电影《一夜惊喜》在北京召开发布会。 主演范冰冰、蒋劲夫、李治廷、导演金依萌出席, 范冰冰当天搪瓷底妆展现如雪的肌肤, 纤长浓密的假睫毛是范爷明亮双眸的利器, 加上丰盈感十足的大波浪卷发, 俨然真实版芭比娃娃
（4）皮肤：光靠化妆是做不了影后的，赞美冰美人除了酥胸外，就是她凝脂般的雪肤了（她的脸相对比之下，则争议较多，有机会可以挖掘展示一下，总之是粉丝视若桃花，爱得要死，但也有横挑鼻子竖挑眼的嫌她面相不正）：
范爷的皮肤真好
总之，喜欢女星的理由，看来还是以貌取人为主，人之常情。其他品质（敬业、低调、聪明、成熟云云）也有提及，当无法与美胸美肤相比。那么不喜欢的理由呢？大约多与娱乐界的绯闻和流言蜚语有关，这方面挖掘下去近乎传谣了，不太好写，假语村言，点到为止，留待下篇博文拿捏分寸吧。
【相关】
【大数据淹没下的冰美人】的系列博文链接：
【社煤挖掘：大数据女星排行榜】
Mirror mirror on the wall, who now is the fairest one of all?
自从毛委员开启新中国，半个多世纪以来影视娱乐界历经磨难起伏，如今迎来了百花齐放星光灿烂的黄金时代。被无数粉丝奉为当今中国影视女皇的范冰冰，在众多女星中究竟排名如何？我们让大数据说话，让社会媒体告诉你。
先比较一下据说当今PK范冰冰呼声最高的张馨予。
PK
张馨予天生丽质，比范冰冰更接地气，可惜她饰演的几位角色都是刁毒的坏女人，据说连带她也受牵累。下表是过去27个月社煤大数据挖掘的概览比较：
单看这概览便知，在大家心目中，张馨予还嫩了点，无法挑战范冰冰的影后地位。从人气上看，张小姐还不及范小姐的四分之一；褒贬指标 45% 虽然算是不错的媒体形象了，但也远远不及范冰冰的 62%。粉丝的狂热度也略逊一筹（70 pk 76）。下图是时间曲线。首先是热议度比较，可见出除了 2013 年十月前后，张馨予的热议度陡升外（为什么陡升，等空来细细挖掘看），过去两年多的其余时间均不及冰小姐。
反映媒体形象的褒贬指标（net-sentiment）的曲线表明，范冰冰差不多步步领先张馨予，而且评价度一直比较平稳。张馨予则起伏较大，只在四个时间点短暂超越范冰冰。
下面的情绪指标（passion intensity）也类似，不过两位更加接近（有三个时间点馨予短暂超越冰冰），说明各自都有一批狂热死忠的粉丝，争吵起来不惧激烈。
上述挖掘比较的结果，用我们创造的同时含有人气指标（品牌大小或泡泡的大小来表示），褒贬指标（net sentiment 横轴）和激情指标（passion intensity 纵轴）的多维品牌比较一览图 (Brand Passion Index，BPI) 独特图示如下：
张馨予不在话下，那么其他红星呢？请看：
哈，论人气，范冰冰稳居第一，比第二位的章子怡还要高出一倍。可论受欢迎的程度（褒贬度）这项硬指标，美丽大方接地气的高圆圆才是普罗百姓（也是笔者）心目中真正的无冕之后，高达 74 %，比范小姐高出 12 个点。
网民心目中的真正星后 高圆圆
(可惜的是，我所喜欢的徐静蕾风光不再，逐渐淡出女星圈，步入中年的她已经更多转型为导演了。)
高圆圆 pk 范冰冰是完胜。过去两年多除了几个短暂的时间点，圆圆是一路领先：
范冰冰只能说是话题女王或眼球女王，高圆圆才是网民心目中的真正皇后：
高圆圆为什么具有如此高的口碑成为网民的偶像呢？下面是圆圆的两张云图，可以提供一点insights：
最后把调查的六位当红女星的过去两年多的比较曲线一并提供如下，供大数据爱好者们研究参照：
【后记】
《圆冰之战花絮：泥沙龙笔记，核武器封喉篇》
我:
这个需要较真，为大数据正名。自摸、莫衷一是、粉丝之战都是有的，根子都是缺乏大数据的nlp，有了nlp，我们就坐在大数据之上，而不是被数据淹死，看不到真像，无论真像多么残酷。你冰的脑残粉多不多，当然不少，不独你一个，有图为证
但是，世界上怕就怕大数据nlp和但是二词，与脑残粉一样巨多的是流言蜚语：大数据淹没下的冰美人（之四）: 流言蜚语篇（慎入）。而事实上，流言蜚语对你冰的buzz的贡献巨大，你懂的，国人奏好这口。这些都是舆情，但只是舆情的一个片面，大象的耳朵或大腿而已。真正决定舆情的是大数据的褒贬比例（所谓 net sentiment），为此立委洋洋洒洒写了五大篇大数据调查的总结系列，对你冰算是仁至义尽了吧。
请看结论篇： 大数据淹没下的冰美人（之五）: 星光灿烂谁为最？
比没文化更可怕的是没核武器。圆冰之战，该结束了吧
【大数据淹没下的冰美人】的系列博文链接：
大数据淹没下的冰美人（之三）: 喜欢的理由
【社煤挖掘：大数据男神排行榜】
女弟子有花痴者，为心目中的男神排名争论不休。究竟大众舆论是怎样的呢？为女生谋福利，咱们大数据挖掘一把，也好增加她们的谈资。
以前为女星排名狠狠挖掘过一次（见篇末【相关博文】），结果甚合吾意，高圆圆是众望所归当之无愧的女皇，而范冰冰不过是炒作女神。
到了男星，就麻烦了，根本就记不住谁是谁，在我眼里，他们跟你我一样，都是一坨泥巴。于是专从女生中收集候选人，做了这次社会媒体的形象排名，叫做男神榜，供女生争论和消遣用。
无数女为你痴狂：男神榜首宁泽涛
初步排名结果如下。宁泽涛高居榜首。进一步的细节挖掘待后发布。
看看这张男星图，体育圈的宁泽涛出类拔萃，卓尔不群的样子。
男神对比图（Brand Passion Index）里三个维度，褒贬度（毁誉的比例），狂热度（就是脑残度），炒作度（背后往往有推手）。
炒作由圈的大小表示，决定于媒体中提及和眼球数的多寡。另外两个维度是 XY 坐标，X 是褒贬，Y 是热度。
这够一目了然了吧，这图是有专利的。
下表是中文社会媒体大数据过去两年半对这八位男星自动舆情挖掘排列出来的男神排行榜。
男神第二名：靳东
男神第三名：钟汉良
男神第四名：王凯
男神第五名：胡歌
男神第六名：林丹
男神第八名：霍建华
impressions 是眼球数，与炒作度mentions基本一致。最重要的是 net-sentiment 褒贬指数，喜欢与不喜欢的比例，好话多于坏话就是零度以上，坏话多于好话就是零下。男神嘛，都在零上。50% 算是相当地受欢迎了。
竖线不是零度，竖线是被比较的几位的中值。
passion 是狂热度，情绪的烈度，数字越大，脑残越多。
这是炒作度排名。黄晓明为最。估计是那场婚礼闹的，虽然他的受欢迎程度其实很一般，褒贬指数才 38。但以我男生的眼光，他确实有型，五官跟雕塑刀刻似的，而且也有胸肌。可你为啥着急娶了女神 Baby 呢。世纪婚礼究竟是给你涨了粉丝，还是碎了粉丝的心，下次大数据挖掘告诉你。
男神第七名黄晓明
【相关博文】
大数据淹没下的冰美人（之二） 2015-05-13
《圣皋陶之苗裔兮》
中国文人自屈原始，就喜欢吹嘘自己祖上如何如何，“帝高阳之苗裔兮”云云，以示自己根正苗红，血统高贵。这两天整理校对《李老夫子遗墨：序类》，第一篇“李氏创修宗谱序”也提到“李氏”的来源如下：
“按李氏之先，自嬴姓顓頊高阳氏曰皋陶者，为堯大理官，始为理氏，至殷紂时有曰利贞者，偕母逃难于伊候之墟，食李实以全生，复改理为李，子孙因以为氏焉。”
以前读《李老夫子遗墨》比较偷懒，基本跳过晦涩难懂的李老夫子正文，而对《遗墨附录》中更贴近近現代生活的两位叔爷的“时文”感兴趣，因此对这段“李氏”来源的掌故没有印象。甜甜曾经问我：“Dad, you said our family name Li (Lee) means plum, how come? Does that mean we Li family like plums in particular?”我当时不知道“李氏”跟李子到底有沒有关联，只好顾左右而言他，告诉甜甜，据最新统计，“李氏”似乎已经上升到中国的（可能也是世界上的）第一大姓，extremely popular, 就連小小的水牛城辦公室就有兩位 Uncle Li's, 其中一位還是朝鮮族裔，但八百年前都是一家人哪。
李老夫子對祖上家道中落、改“理”為“李”、“指树为姓”的歷史，撰述失之簡陋。立委于是上網進一步搜尋資料，查得《李姓血祖皋陶并李姓考》（[zhidao.baidu.com]）。原來，李家的始祖皋陶在堯舜時代就任國家重臣“大理官”（司法部長），清明正則，功勛卓著，經邦緯國，英名蓋世，舜帝親立為接班人，甚至孔夫子也拜其为上古“四圣”之一。古人以官为氏，因称理氏。所惜圣皋陶帝業未举而病亡。至商紂王朝，圣皋陶的后代理征仍繼任理官，正直清廉，为荒淫昏庸的纣王所不容，终遭殺身之祸。于是，“理征的妻子契和氏带着幼子利贞逃了出来，奔于伊候之墟（今河南境内），饥饿不堪，见一树上结有果实，便采了来吃，母子得以活命，其后，利贞畏于纣王的追捕而不敢姓理，于是以‘木子’救命之恩，改称李氏”。天下第一大姓李氏由此而宗派繁衍，生生不息。
我告訴甜甜：咱們非但出身書香門第，還是大圣人皋陶的传人呢。
2007-04-30
================================
[zhidao.baidu.com]
李姓血祖皋陶并李姓考
据《秘笈新书》引《姓纂》及《新唐书.宗室世系表》记载：“李氏，帝颛顼高阳之裔。颛顼生大业,大业生女华，女华生咎繇（皋陶）”。皋陶是原始社会时期东夷部族的首领，曾经任理官，掌管当时部落联盟的司法大权，他曾经主持制定了五种刑罚（墨、劓、非刂、宫、大辟），并依照罪行的轻重来量刑治之，还对不用五刑的罪人分等流放，天下人莫不信服。
传说皋陶专门训养了一头名叫（角圭）（角虎）的独角奇兽，这奇兽有一种特异功能，那就是能辩善恶真伪，它一遇见有罪的人，就会用尖利的独角去冲撞；一发现谁在说假话，就会怒气冲冲，令人生畏，皋陶用这样的奇兽断案，真是再好不过了，所以，皋陶以善理刑狱著称于世，神话毕竟是神话，可这个神话故事却把人们带到遥远的上古时代，仿佛看到皋陶正直而果断的形象。
正是由于皋陶崇高的威望，所以至舜继位后，仍用皋陶为大理，于是，天下罪恶得以平正，人们安居乐业，任职期间，皋陶多次提出贤明的谋略，认为治天下须慎修其身，特别强调“知人”和“安民”他的主张深得舜帝赏识，舜帝以皋陶最贤，将他作为继位的候选人，但是，舜帝还未来得及把帝位禅让给皋陶，皋陶就病逝了。
据《史记》引《括地志》云：皋陶死后“葬之于六”。即现安徽省六安市城东7.5公里、六安至合肥公路北侧15米处，东北35米处为皋陶祠旧址。皋陶被孔子列为上古“四圣”之一，《史记·索隐》载：“六安国六安，咎后偃姓所封国”，故六安有皋城之称。皋陶墓为圆形土冢，周长97米，高6.2米，墓顶平面直径4米，上有黄连木一棵，形同华盖，墓前有清同治年（1869年）安徽布政使吴坤修手书“古皋陶墓”碑刻一块，碑高1.82米，宽0.92米。1981年公布为六安县重点文物保护单位，同年被上海辞书出版社收入《中国名胜大辞典》。据《史记》引《括地志》记载：禹封其少子于六，以奉其祀，以后六便成为一个偃姓小国，楚穆王火之，无谱。皋陶有长子伯益，《帝王世纪》说：“伯翳（益），为舜王畜多，故赐姓赢氏。”可知，伯益因善训鸟兽而被舜帝赐了赢姓，成为赢姓部落的首领，皋陶的次子名仲甄，又叫仲偃，仍以偃为姓，以后，偃姓奉皋陶为祖，以姓为氏，皋陶之后，历虞、夏、商，26二十六世为理官，按照古人以官为氏的习惯，故称皋陶及其子孙为理氏，以官为氏的理氏，传至理征时，任商纣王的理官，时商纣王昏庸无道，沉湎于女色，理征屡屡进谏，执法不阿，为昏淫的纣王所不容，终遭亡身之祸，理征的妻子契和氏带着幼子利贞逃了出来，奔于伊候之墟（今河南境内），饥饿不堪，见一树上结有果实，便采了来吃，母子得以活命，其后，利贞畏于纣王的追捕而不敢姓理，于是以“木子”救命之恩，改称李氏，这就是后来“指树为姓”之说，按此说，李姓之始当在商末周初。
综上所述，李姓以皋陶为血缘始祖，是偃姓的后裔，曾以官为氏称理姓，据清儒秦嘉谟所辑《世本》案：古理、里、李三字并通，《史记.五帝本纪》记载皋陶为大理，而《管之法法》记载：皋陶为李（理）；《史记.魏世家》记为“李克”而《韩诗外传》则记为“里克”等等，因而，李姓以做作理官的皋陶为血缘始祖之说，实不为妄。理征之子利贞，当是李姓的得姓始祖。
==============================
《李老夫子遗墨：序类》
李氏创修宗谱序
攷之姜嫄履跡，哉生弃，传十五世来，周发纘绪，不源后稷，而统古公。君子曰，是殆亲其亲者欤，自亲亲之谊不明，编世族纪者，徒事頇颟，不仗声威，即席閥（？原文门外代内，查无此字）阅，甚有爬罗剔抉，不问谁何，同姓者是，以为绣像演图，不如是不足以充门闾而芬齿颊，而其劳之娜愉不顾焉，又孰知有大谬不然者哉。客有繇旧镇来者，告于余曰，今秋吾友李君宝初，惧族之散，而思有以收之，爰召号族人，创修宗谱，以盛公由豫章迁繁为一世祖，夫盛公字法先，号纯夫，明初官指挥使也，其父隆二公讳思明，字景彰，乘元末乱，击贼累月不脱甲，亦以功封武德将军，一门发迹，声施烂然，至今犹可想见。迨隆二公以疾卒于军，公收骸骨归，后随太祖大军南下，过繁阳之荻港，道经旧镇，慕其风淳俗朴，山水清奇，遂上疏解职，家于此，生子四，太？（左辶右上口下佳）、太铠、太钦、太钊，均业儒，卓卓有声，公殆汉之疏广疏受之流亚欤。伊族以公为始祖，其高风亮节，固堪光宠宗族，而为千百世子孙之法守，独于隆二公以上之世系，付之阙如，揆诸孝子慈孙追远之苦衷，得毋犹有遗议乎。余应之曰，唯唯，否否，不然，昆仑山之脉，而五岳则自为宗焉。星宿水之源，而九河则自为派焉。按李氏之先，自嬴姓顓頊高阳氏曰皋陶者，为尧大理官，始为理氏，至殷紂时有曰利贞者，偕母逃难于伊候之墟，食李实以全生，复改理为李，子孙因以为氏焉。他如周之耳，汉之广，唐之渊，以及宋元两朝，贤人君子，棋布于史册诸列传者，难以屈指数。然斯人也，固为千百世夫人之先河，非仅仅足楷模一姓之子孙也。如必检入家乘，附会焉曲为点缀，颜之曰，某某是吾宗，某某是吾派，纵不近渎，亦私也，非公也，亦小之乎视若而人也，况谱以明血统，别异同，辨亲疏，崇实也，昭敬也，骨肉而途人者非，途人而骨肉者亦非也。语云，五百年前一家，盖谓同姓而异族，犹山水之各宗其宗，各派其派，总之不离亲其亲者为近是，如客所言，宝初先生循孔子删书自唐虞例，以创修兹谱也，可谓曰知矣。呜呼，噫嘻，余有感焉。世道盛衰之辜较，风俗人心而已。程子常论管摄人心厚风俗，莫若明谱系立宗法，夫宗法之废久矣，惟谱系修明，秩伦著恩，犹有古宗法之遗意，今宝初先生举此钜典，行见宗族睦矣，人心固而风俗厚矣，是即维持世道之权舆也。余牖下微伧，安敢雌黄其侧，幸蒙不弃，谨作歌以貺之，歌曰：满腔铁血定山川，不为功名利禄缠，好挈妻与眷，尽泛五湖船。曷若核图问以卜，兼相彼流泉，栽花种竹结书缘，兰桂阶庭子孙贤，君不见姬宗稼穑开基先，旦复旦兮八百，年俎豆莘莘礼教宣，喆人起兮世泽延，宝级琅函寿地天，荫流瓜瓞永绵绵。
--------------------------------------------------
喆 zhé ◎ 同“哲”，多用于人名。English: ◎ a sage; wise; sagacious
瓞 拼音:dié ◎ 小瓜。English： ◎ young melons just forming
Posted by: 田牛
Date: May 01, 2007 11:07PM 摘一段狗来的《旧五代史》，看看宋人薛居正等是怎么议论“认祖归宗”大原则的。
立委冒泡，还嘴，我立刻认罪删帖。 [www.guoxue.com]
王者祖有功而宗有德，汉、魏之制，非有功德不得立为祖宗，商、周受命，以稷、契有大功于唐、虞之际，故追尊为太祖。自秦、汉之后，其礼不然，虽祖有功，仍须亲庙。今亦粗言往例，以取证明。秦称造父之后，不以造父为始祖；汉称唐尧、刘累之后，不以尧、累为始祖；魏称曹参之后，不以参为始祖；晋称赵将司马卯之后，不以仰为始祖；宋称汉楚元王之后，不以元王为始祖；齐、梁皆称萧何之后，不以萧何为始祖；陈称太丘长陈实之后，不以实为始祖；元魏称李陵之后，不以陵为始祖；后周称神农之后，不以神农为始祖；隋称杨震之后，不以杨震为始祖；唐称皋陶、老子之后，不以皋陶、老子为始祖。
===========================
哈哈，“认祖归宗”的大原则？曾祖李老夫子對“妄将古時帝王為祖者”向不以為然，早有所論焉：
“余閱譜夥矣，類皆以古時聖帝明王為之祖，而自為其後者也，然古時聖帝明王，信有子孫矣，而古時平民，獨無子孫乎，豈知非其祖而祖之，春秋祭祀，其来格乎，當祖而不祖之，将置其祖于何地，此皆無知無識，何足道也，歲庚午秋，余詣黑沙洲省岳母，舅君輔傑将其父創修宗譜遺稿示余，檢閱全卷，自某公遷繁以後，支分派衍，皆近代可考，今育坤先生纠集族諸君子，纂輯而編訂之，以文理公为始祖，虽有老譜，而残篇破简，恐不足徴，虽有世系，而代遠年湮，恐不足信，此中不敢棄遺，亦不敢妄續，雖本先岳之遗规，而昭血統，明宗法，所謂善作者不必善成，善繼者唯能善述，先生之與余先岳，其功績均垂不朽，先生少從余先父游，其得余先父之遗訓欤，抑先生獨具卓见欤，有此卓见，以親妄将古時帝王為祖者，相去奚啻霄壤也，至於先生偉功巨業，自有名功巨卿序述，余才薄筆疏，焉敢論次，今貴族華乘将成，謹以所見，约略序之如此。”
【相关】
【李白郭52：单层、一锅烩、反悔】
Guo:
@白 你前几天提到“算符优先”，今天又提type，猜想你的二元相偕是离散（而不是连续）的。能问下你的运算符和类型大概的数目规模吗？
完全不用“复杂特征集”，把所有不同关系都拍平在同一层，感觉颗粒度不容易掌握。
白:
（1）type是贯穿于句法和语义的；（2）算符优先是仅适用于句法的；（3）二元相谐是仅适用于语义中间件（subcat+统计）的；（4）平拍是贯穿于句法和语义的。算符的数目几十；句法cat少得可怜；subcat目前1000多。
Guo:
几件不同的事情！谢了！
白:
神奇的是，少得可怜的句法cat，居然管了这么多事儿。勾画了毛毛虫的“包络”。subcat确定了毛毛虫的细节。
李:
平拍是ｗｈａｔ
白:
把萝卜和坑搁同一个桌面上。坑不再嵌套。就是单子化的意思。
李:
哦 扁平化。
我自己在扁平化过程中，也有很多机关很好玩的，我叫做原子化。原子了，但taxonomy还在。非常轻便利索，但一样容纳知识结构。
白:
taxonomy是框架定义，不是实例定义。具体到实例都是扁平化的。
李:
本体（ontology）里面的主线 ISA 就是 taxonomy. 社科院跟刘老师做ＭＴ的时候，就是我提议的扁平化，说话３０多年了。刘老师当时很高兴，给起了一个高大上的名字叫背景知识库（ＢＧＫＢ）。与白老师现在的中间件处于同一个地位。
白:
一个词在说人，就犯不上扯猿猴啊灵长类什么的。
李:
问题在当那个说【人】的词填坑的时候，【灵长类】啥的需要参与。当然，用大数据中间件也许可以绕过去了。但传统的优选语义的约束必须要用到 taxonomy，具体说就是，如果是用到灵长类，语义相谐给满分。
白:
萝卜和坑的subcat不一致时需要借助taxonomy一致化，具体就是求格（lattice）的下确界。
李:
就是。
理论上taxonomy往上是满分，taxonomy 向下需要打个折扣。你要的是【人】，那遇到【职业】的话，是满分。你要的是【职业】，遇到了【人】，那需要打个折扣，因为并不是所有的人都有职业。
白:
但是所谓绕过去，只是在借助subcat解决parsing问题（例如伪歧义）的意义上绕过去，解决语义问题则是绕不过去的。也就是说，大数据可以部分替代subcat来确定谁跟谁有关系，但不能进一步确定是什么关系。确定是什么关系（落到哪个槽里）还得subcat出马。
@wei 在模式匹配下的分层，我理解主要是为了方便（在nonterminal级）lookahead并引入有限的上下文相关。
其实顺着LR(k)的思路，对其稍加改造，也是可以对含有一定上下文相关规则的文法等价地单次无回溯做parsing的。
李:
等价这种东西理论上可以证明，实际上做起来就知道，模块化是怎样一个让人放心的开发策略了。哪个大型软件不是模块化的？为什么偏偏到了自然语言这个 monster，非要一锅烩呢？
这里面有一个坎儿，不是认知和策略层面的, 而是算法层面的。如果你的ｐａｒｓｉｎｇ算法的基因就是单层搜索，即便你接受模块化的好处，多层的从容和开发维护的便利，你可能还是难以改造成多层。
白:
拿具体例子说。哪个策略是算符优先做不到的。
算符优先碍着开发什么事儿了
李:
我说不过你，但你说不服我，＝）
我是打死也不会回到单层去。
白:
我一张优先序大表，表上每个格子对应一个模块。
李:
对啊
白:
绝对是模块化的，但算法是按照优先序统一调度的。这没矛盾啊。
李:
事实上Ｂｒｉｌｌ ｔａｇｇｅｒ就是单层，但是里面的２００条规则是有次序的，或优先级的，等价于２００多个模块的多层ｐｉｐｅｌｉｎｅ。这个道理我懂。
白:
语言学家只需要关注一个一个模块的事情，只需要关心优先序的语言学合理性，不需要关心调度算法。这在开发上哪点不好了？
李:
也许吧，这要等到哪天我投奔白老师做个语言学码农的时候，才能体会到，是不是在单层里面也有模块化开发的感觉了。
白:
调度算法只有一锅煮才是最合理的。
李:
一锅煮合理的ａｒｇｕｍｅｎｔ本来是立足于自然语言现象的相互纠缠，interdependency。
白:
不是的
李:
既然你一锅煮了 还是要补以休眠唤醒等机制，那么这个根基就动摇了。
Guo:
计算上不等价。算符优先，如算术表达式，计算复杂性与算符数无关。规则优先，如Brill Tagger，计算量随规则数目增加。
李:
一锅还是分层，最终都有个唤醒的问题。
白:
一锅煮是提炼了语言学无关的过程性控制策略的共性，语言学相关的，都封装在模块里了。唤醒也是语言学无关的。@Guo 我规则数为0。
李: 唤醒与语言学远距离句法有关。
可以反过来问：有什么一锅煮能解决的，分层解决不了或解决不好？
以前的例子是有的，譬如 hidden ambiguity, 尤其是汉语切词，在一锅烩中，理论上在理想状态下，这个问题是可以自然解决的。但是切词模块被分开后，这个问题就不能。解决只有靠休眠唤醒。
白:
不加反悔，都解决不好。
李:
不加反悔，理论上一锅烩的 parsing 是可以解决的。当然理论与实践有距离。所以白老师即便一锅烩，也不解决它。
白:
加了反悔，给分层带来多大架构上的冲击我不知道，但是给一锅煮+算符优先带来的架构上的冲击几乎为零。
李:
反悔与分层是天然亲密的。chemistry 很好。反悔不过看成是分层的延伸而已。不过是最后多加几层罢了。
白:
那大家殊途同归好了
李:
而且因为反悔都是在后期，条件成熟了，efficiency上极为合理优化。我现在做反悔，都是在结构上做，不在线性序列上做，那叫一个痛快，一打一个准。反悔从机制上几乎等价于抽取了。
白:
kick off也是在结构上做：一个萝卜出，一个萝卜进。坑还是原来的坑。
Guo:
分层并不天然地等价于模块化。Brill Tagger，改中间任何一条规则，后面全部规则都要重写。这是“负负得正”的负面。
李:
如果是 adaptive 目标驱动，就没有了这个负面。为什么我们多层开发的每一个模块的变动，都必须要通过目标驱动的 regression 测试呢。这些都是软件开发的老生常谈了。
白:
词典化的词负载结构框架下，没有改规则的问题，只有写词条的问题。
李:
模块化的好处是解析性好，可以理喻。一个ｂｕｇ来了，很容易找到出问题的模块，不会是隔靴搔痒。
白:
模块化所有人都没有意见，可以忽略。
李:
到了真地进入这个模块去ｄｅｂｕｇ的时候，情况就不再是局部模块了，而是全视野 目标驱动的。这样既保证了一打一个准，有保证了没有副作用。既埋头拉车，也抬头看路。所以Ｇｕｏ的那个顾虑不是问题。
白:
但，模块化并不必然推出分层，分层并不必然推出单向无反悔，模块化也并不必然推出算符优先哪里不work。算符优先相当于桶排序，而桶排序是线性的。
李:
撤了。今天有个 Tech Day。白老师也夜深了，good night
白:
至于目标驱动，这是软件工程的老生常谈。软件工程还说要做边界测试、压力测试、极限测试。
李:
的确是老生常谈。
“白老师也夜深了”
白:
好句
李:
这句里面，主语“白老师”，“也Ｘ了”是典型的谓语。句法主语与谓语是什么逻辑语义呢？
白:
顺杆爬，主语所在地。
李:
哈：白老师（那地儿）也夜深了。
白:
这是隔着时区说话才有的语义。
李:
这是同一个战壕战友的关切黑话
【相关】