立委 NLP 频道 开张大吉

第六章 中文 NLP。作者读者都是中国人，写的是中文博客，加上中文处理有其特殊的挑战，所以单列。更重要的是，很多年来，中文 NLP 被认为远远落后于欧洲语言的 NLP。这里的材料深入研究了中文的特点和难点，展示中文 NLP 的新进展。结论是，中文处理的确有其挑战，但其处理水平并没有落后太多。与英语NLP或其他欧洲语言NLP一样，最先进的中文NLP系统也已经进入了大规模大数据应用的时代。

第七章 舆情挖掘实践。舆情挖掘也是挖掘，这里单列是因为这是笔者目前的研发重心，也是因为这是 NLP 中最 tricky 也很有价值的应用，展示其挖掘实例可以激发大数据挖掘的想象力。本章集中了舆情挖掘的中外实例，几年来的热点话题追踪，或者打趣，也有不少闹着玩的成分在，包括给男星女星排名，甚至挖掘他们的花边新闻。

舆情挖掘比事实挖掘难很多，虽然体系和方法论上二者有很大的相同点，但难度有天壤之别的感觉。这是因为主观性语言（subjective language）是人类语言中较难的一面。严格说 sentiment analysis 属于抽取，sentiment extraction 才是更准确的说法，不过大家都习惯了沿用 sentiment analysis，而 opinion mining 才属于挖掘 （or mining of public opinions and sentiments）。这个里面学界最多报道的工作实际是 sentiment classification，但classification只是sentiment analysis 的一个皮毛。舆情舆情，有舆有情。舆就是 public opinion，情才是 public sentiment，后来为了统一在大家习惯的 sentiment 的 umbrella 下面，我们把情限定于 emotion 的表达，但 emotion 的表达只是一种情绪的挖掘，可以与 classification 很好对应，不管是分两种情绪（褒贬），三种情绪（褒贬中），还是四种情绪（喜怒哀乐），或 n 种，总之是 classification 。但是 deep sentiment analysis 不能停留在情绪的 classification，必须找到背后的东西。这就是为什么我们强调要挖掘情绪背后的理由，因为人不能老是只有情绪（喜欢不喜欢）和结论（采纳不采纳)，而不给出理由。前者仅仅是发泄，后者才是为了传达、说服或影响人的具体情报，是可以帮助决策的。挖掘的主要目的有二：一个是把这些情报统计出来，给出概貌，不管是制作成图表还是使用词云等可视化的表达。第二就是允许用户从这些情报开始做任意的 drill down 或顺藤摸瓜。很多时候我们只展示了前者，其实真正的价值在后面（系统demo可以展示其威力，博文很难表现其动态）。后者才真显系统的威力，前者不过是静态的报表而已。Deep sentiment analysis 是 NLP 应用中最难啃的果子。