这是最近的热点新闻，舆情鼎沸，有蔓延之势。值得挖掘和跟踪。

社煤选样：

【相关】

【置顶：立委科学网博客NLP博文一览（定期更新版）】  

 《朝华午拾》总目录

相关专题：韩春雨事件
转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-977111.html

上一篇：【deep parsing：“对医闹和对大夫使用暴力者，应该依法严惩"】
下一篇：【新智元笔记：巨头谷歌昨天称句法分析极难，但他们最强】

研究发现，国人爱说反话：夸奖的背后藏着冷笑

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-617870.html

上一篇：两种啤酒罐的开口结构
下一篇：评《有关太阳内光子想到一个类比——金属导电》

自动舆情监测分析表明：A-股 看好 哎！！！

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-639090.html

上一篇：三代 “大跃进”
下一篇：【凡事不决问 social：切糕是神马？】

百度在所调查的一年跨度的社会媒体统计中共出现近 227 万次，其中“哪里有小姐”与它共现 50 万次，是关联度最高的 term （占据与其共现的 top 100 关联词语之首，share：22%），这就是词云出来的背景数据：

再看对同样的社会媒体同样的一年时段的“谷歌”的调查结果

谷歌 出现的总次数远不如 百度，只有 73万4千，但也足够多 到可以观察其关联词了

 

 

 

Let US Drill down： 百度小姐的真相在这里

 

是什么样的推手把 小姐 与 百度快照 弄得满世界都是

日期: 12/14/2012 17:40:43

一定是有人编制了程序，到各网站（包括宠物网站）张贴小姐的广告及其百度快照。

 

Drill down 发现很多链接，Spam 一样，点了链接进去大多已经失效了，大概已经被网管删除。

大概是删不胜删。

 

 

 

最后在百度直接做了一下“哪里有小姐”的搜索，果然是东土最响亮的广告词。

 

最后在百度直接做了一下“哪里有小姐”的搜索，果然是东土最响亮的广告词。

 

 

前一篇博文：

 

社会媒体测试知名品牌百度，有惊人发现

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-642614.html

上一篇：社会媒体测试知名品牌百度，有惊人发现
下一篇：“我们为什么选择在学校学习”的思考

狂欢也应该，劳苦一年了。

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-646437.html

上一篇：手表的价值观
下一篇：WordClouds: Season's sentiments, pros & cons of Xmas

立委按：哈，【爱情推背图】甫问世，一个小时点击1000多次，编辑MM有立马加精，风助火势，风靡理呆成疾的科网。原来埋头基金和论文的理呆们也食人间烟火，对人性的探究兴趣一样盎然。好，再接再厉，来个姐妹篇【社会媒体：现代婚姻推背图】。

【大众心理探究：婚姻】

日期: 01/09/2013 16:39:34

所挖掘的数据源：来自中文世界社会媒体过往一年的档案，繁体约五千五百万文档，简体文档达三亿五千万。大约有一亿论坛帖子来自百度（贴吧等），两千多万来自搜狐，两千五百万来自天涯论坛。

婚姻（简体）被提及390万次；繁体被提及约 41 万次

繁简体的分别调查可以透露出大陆社区与台湾社区对待几乎永恒的话题“婚姻”的有所不同的社会认知。首先值得注意的差别在对于婚姻的总体评价上，简体世界基本是负面的，净情绪指数为-5%，而繁体世界是正面为多，净情绪指数为+5%。这正负5%共10个点的对照，虽在意料之中，仍让人嗟叹无语。祖国大陆经济起飞，社会巨变，带来的是社会的两极分化以及婚姻关系的不稳定等系列问题，从而影响了普罗百姓对婚姻的信心和评价，这是意料之中。而台湾呢，虽然生活在夹缝中，整体社会情绪还是向上的，乐观的，这在对“爱情”观念的调查中也得到印证。另一点对照就是所谓热情强度的指数，简体世界高出繁体世界五个点（21-16=5），说明海外华人社区比起国内，更加平和一些。

 

 

1. 婚姻的关系概念

可以提出的看点有：

（1）婚姻是男人与女人之间的事情（貌似废话。本来不是事儿，可如果调查美国社会媒体，可能就是事儿了：不同州法律不同，同性婚姻是敏感的热点话题，其合法化似乎有蔓延全国之势。）

（2）爱情与婚姻关联度极高（那自然）

 

（3）除了男女爱情老公老婆结婚证外，与婚姻概念最相关的不外乎是 家庭、父母 和 孩子，对了，还有房子（至少在大陆很多城市，房子对结成婚结不成婚至关重要）。

（4）有意思的是，婚姻问题总是与 岁月 和 时间 不可分（所谓n年之痒？）

（5）浮出水面的其他与婚姻有瓜葛的人和事包括：霍启刚（是不是那个与我们奥运之花搞世纪婚礼的大款？）、还没结婚儿子越来越多（这又是谁？有几房？）、姚晨（谁？婚姻怎么啦？）、婚纱照、婆婆、裸婚、剩女（错过了？）、假证（假结婚证还是假房产证？待查）。

 

 

 

看看以臺灣社會為源頭的繁體世界中婚姻的社會形象如何吧

 

（1）婚姻最大的concern似乎是 歲月（誰經得起歲月？樹猶如此，婚何以堪），其次就是 愛情 問題（愛情枯萎、愛情褪色？婚姻難道真是愛情墳墓？）

 

（2）跟愛情生活一樣，繁體世界特別重視 星座 在婚姻生活中的影響，什麽 處女座、金牛座、雙魚座，不亦樂乎，星座不同，就不能婚麽？同胞，你們也太迷信了吧。

 

（3）不像愛情馬拉松，婚姻的核心是行動：結婚結婚結婚，聽上去很像【義勇軍進行曲】，赴湯蹈火呢？

 

 

 

2. 与婚姻有关的情绪分析

 

情绪上，无论简体社会还是 繁体社会，围绕的核心问题就是幸福和不幸福，大多源于婚姻的破裂和失败。

似乎美满婚姻只是一个传说。婚姻需要支持，尽管如此，不幸福、不看好，破裂和失败的婚姻仍然像一个幽灵，在华人社区徘徊。以前都说西方社会乱象丛生，满大街都是陈世美，离婚率高达50%，如今起飞中的中国据说也快赶上来了。

 

婚姻带来的情绪对立看下图一目了然。总体来看，大陆社区正不压邪，缺乏正能量，负面情绪如病毒一样在蔓延：厌倦、烦恼、悲惨、不如意、不美满、不愉快、太荒唐、太难熬、出状况、有名无实、不能忍受。海外社區也有很多矛盾情緒和牢騷，可總體上還是東風壓倒西風，相信婚姻，渴望婚姻，享受婚姻，感到婚姻 甜蜜美滿 的也大有人在。

 

 

3. 探幽婚姻的是非得失

 

1. 无论繁简，婚姻世界映入眼帘都有两个大字 问题. 外交无小事，婚姻大问题。婚姻最大的问题就是问题。啥问题呢？本来我们系统是非得失的挖掘着眼于发现具体的缺点或优点，而不是抽象的问题。大概婚姻的是非太难缠了，清官难断婚内事，结果就是大大的问题，却搞不清问题所在。保不准啥问题都有。

 

2.  問題之外，繁體世界顯然比較美好，甜蜜、合法、穩定/固 占了主流，建議欲享受婚姻的同胞，一定要找臺灣女生，移民到臺去做乘龍佳婿，那裏似乎還有一片美滿婚姻的綠洲！简体世界可就惨了，婚姻不但 没有浪漫色彩，而且总是 不顺，不稳定，不容易。

 

3. 把婚姻比作 沉重的枷锁，不是首创，是很多人的真切感受。可彼岸同胞，却有称它为 一種甜蜜的負荷，行啊，同胞，服了您，简直太可爱太乐观了。

 

 

 

 

朋友，您从这些从成千上万人思想言谈中真实发掘出来的推背图系列里，又发现什么呢？您的婚姻观与大众的婚姻认知有差距么？在婚姻这古老的制度和观念上，对于您自己的切身环境以及未来社会，您是乐观派、悲观派，还是绝望族？

 

从爱情到婚姻，种种纠结啊，好比面对一个蜜罐转成的火坑，跳也不跳？

 

婚姻就是围城：颠扑不破的宇宙真理。

【立委名言】归纳是预测之母

 

 

 

姐妹篇：【社会媒体：现代爱情推背图】

 

 

 

这两天在看非诚勿扰，感觉人类迄今对于婚姻最深刻的认识就是围城论

作者: 立委

日期: 01/09/2013 13:14:24

真的是在城外的一个个拼命要钻进去
城内的呢， 隐隐约约多多少少又想出来（太累啦）。

 

所谓“进化论”，其实就是对“稳态”的否定。当然不是说个体的不稳定，

作者: mirror (*)

日期: 01/09/2013 18:03:39

而是说要有“鲁棒性”。嫁 鸡随鸡嫁狗随狗，用个学术词儿的表达其实就是鲁棒性。

鲁棒性好，就可以象昆虫、寄生蟹那样拖着盔甲、房屋跑。鲁棒性不好，只有推到重建了。

----------
就“是”论事儿，就“事儿”论是，就“事儿”论“事儿”。

 

 

【置顶：立委科学网博客NLP博文一览（定期更新版）】

 

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-651871.html

上一篇：论“论”
下一篇：卫生巾和纸尿布

                   

 

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-664312.html

上一篇：米拉围脖：什么是原创? 张亭栋是原创么？
下一篇：初中科学教育是分科教学好还是合科教学好？

看點及分析：

 

（1） 一年來馬英九的總體形象偏低，凈情緒指標在零度以下居多，他一直試圖改善形象，但總也不大成功。究其原因，凡臺上的政客，除非社會經濟出現奇跡般改善，作為常規，總是招致的批評遠多於贊揚。民眾總是憤怒的，而在野黨不會放過任何一個機會推波助瀾。

 

（2）不過一年來也有10多次短暫的亮點，聲望處於零度以上（褒大於貶），雖然都好景不長：從圖上看，去年七月初到九月初之間是正面聲望持續最長的區間（只在八月短暫跌入零度以下），不知道有什麽亮麗的政治表現還是由於團隊公關得力，有興趣的讀者可以查證一下。馬總統宣誓就職的五月中，凈情緒指標尚在零下30度左右徘徊，怎麽到了七月就迅速回暖至零度以上，持續約兩個月，直到九月2日的+35的峰值。我對臺灣政治不熟悉，也沒有精力去探究 data 和證據鏈（盡管我們的工具提供了多項 drill down 的功能），但這個區間似乎確是馬總統二度當選以來得到民眾認可的最佳時期。此後就一蹶不振，只在十月、十一月與今年元月短暫回升。一年來的最低點在三月四日的-44，十二月16日也很慘，一度跌入-42，冰凍刺骨。總而言之，馬英九自從去年初當選以來，不是很順，民眾的失望抱怨情緒彌漫網壇。

【社媒挖掘：社会媒体眼中的臺灣綠營大佬】

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-664500.html

上一篇：米拉围脖：什么是原创? 张亭栋是原创么？
下一篇：初中科学教育是分科教学好还是合科教学好？

 【研发笔记：粤语文句的情报挖掘】实现之后，没顾上在应用层面做测试。前两天想要做测试，但对广东香港不熟，不知道什么是他们的热点话题 。于是决定拿娱乐界名人开刀，他们的八卦永远是网民的兴奋点，不妨挖掘一下他们的网络形象。

首先想到的是阿娇。做她准粉丝已经几年了，不为别的，只为她长相让人看着舒服。华裔女演员比她名气大的多得很，但是看着比她养眼的极少。远的如巩俐大妞儿，太村姑了，长相很平，似有苦相。据说是魔鬼身材，可盘儿不靓，身材也就不作数了。大红大紫的张子怡有些小家子气。范冰冰长得怪怪的，艳丽有余，不像是真人。真正看得让人舒服的，台湾以前有一个徐若萱，大陆曾有一位邻家女孩徐静蕾，香港就数阿娇了，名如其人，娇美细嫩。对了，大陆1989年前有一位央视女主播杜宪，那是亿人迷，怎么看怎么舒服。养眼到什么程度呢，可以形式脱离内容。当年看央视新闻，内容别提多八股了，可是因为有杜宪，还是愿意看。至于阿娇，是偶然在一部武打片中发现的。从来不爱看那些打打杀杀的武打片，可是阿娇让人眼前一亮，再荒诞的内容也就剥离了。后来据说她受陈冠希之累，牵扯进艳照门负面新闻中。也难为她了，在那样的压力下，还不得不硬着头皮出来开记者会做一些澄清。记者会上一出场，依然是楚楚动人，确如她说的，太傻了，真地不值。话说回来，一辈子不做荒唐事者鲜见，她就是运气不好而已。扯远了，回到舆情挖掘上来。

除了阿娇，粤语文化圈里陈冠希据说是议论最多的一位了。他的艳照门事件很让整个华人世界兴奋躁动了一阵子。据说他是那种“坏”男人的典型，温哥华富豪华侨家出身的花花公子，party animal，讲一口流利的英语，开豪华车，酷而有型（除了泡妞，从来搞不清他擅长什么，音乐、舞蹈、演技、写作？）。那就看看舆论怎么说他吧。

下面的社交媒体挖掘，来自中文世界社交媒体过往一年的档案中被系统识别为粤语的部分。香港娱乐圈名人鍾欣桐（阿嬌）和陳冠希为挖掘对象。对不起了，只能拿名人做小白鼠了。从净情绪（net sentiment，一种褒贬比例的指数）来看，两位的社交媒体形象仍为负数，陳冠希更是低到-22%，说明网民对他的评论明显贬多于褒。

阿娇褒贬指数不高估计还是受到以前负面新闻之累（算她倒霉，碰到了陈冠希），其实粤语地区喜欢阿嬌的粉丝并不少，喜欢的理由见下图：主要是她长得年轻甜美（年轻/甜美/甜蜜：17.1%），人同此心啊。有意思的是，喜欢她的人很多具体提到她漂亮的手（18.9%）、眼睛和脸，甚至声音（其实她的皮肤也是没治了，怎么没人提？），总之她是以外在条件取胜，此乃尤物，足以移人。

至于陈冠希，不管多少负面新闻缠身，女粉丝“喜欢”（“爱”）他的仍然不少，见下面红多绿少的【情绪云图】中的“喜欢”两个大字。真是应了那句古话：男的不坏，女的不爱。（红贬中的“如此绝情”不知是他的哪一桩孽债。）

具体的不满集中在【褒贬云图】中大大的那个“搅”字。

我们把部分网友议论陈冠希的粤语帖子附在最后。

【相关】

 【研发笔记：粤语文句的情报挖掘】

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-701385.html

上一篇：“好奇：油条为何两根一起炸？”
下一篇：Google 人事部门承认，千里马常有，而伯乐难寻

没想到转基因话题这么热，随手做了一个自动调查发在博客上（ 【西方怎么看转基因：英文社交媒体大数据调查告诉你】），一天多就达到 7000 点击，40 多评论。先把我对问题的回应整理如下。

1. 关于数据问题

你这个数据是有问题的，想想看，美国加州、华盛顿州的公民投票结果都是不同意转基因标识，大多数民意连转基因标识都不要了，对转基因食品安全性的担心能有多少呢？这个样本比你那个说明问题吧？

博主回复(2013-12-24 10:04)：这个数据是没有问题的，因为我们对于最近一个月的社交媒体是不做品牌针对性筛选的，是普适的。对于一个月之上的数据，可以根据 GM Food 这样的主题词去筛选也可以一网打尽，但是有数据成本的问题。至于数据挖掘有没有偏差？文本挖掘技术当然不可能是完美的，但是统计上没有问题，因为第三方多次测试精确度都是接近90%。

2. 关于结论的对错

转基因的安全性靠调查研究难以给出正确评价。

博主回复(2013-12-24 12:47)：两码事。

安全性是科学问题，假以时间应该由科学解答，或者有些已经回答并得到权威部门认证。

舆情调查反映的是普罗百姓对事物的方方面面（包括安全性）的看法而已。

还有一点， 博文中说的Gluten引起的各种那个过敏症。 我一直都不理解美国曹氏中标识的gluten-free的食品为何就那么重要？ 因为gluten就是我们中国人飞铲喜欢吃的面筋， 各位都喜欢吃油面筋塞肉， 北方人吃面要“筋”， 都是gluten含量很高的食品， 跟转基因毫无关系。

而且超市中真正gluten-free的食品货架上很少的，现在美国飞机航班上不提供花生， 只有那个非常难吃的 pretzel 据说是因为有些人对花生过敏， 所以航班不供应花生了。

博主回复(2013-12-24 17:55)：听我的专家朋友说，Gluten 确实与转基因无关，是有公认的科学结论的。

那为什么舆情中，这一项作为转基因的主要问题呢？

没办法，这就是舆情，我不能改变它，只能反映它。

也许这正说明，科普还没做到家，还没能让老百姓了解和信服。任重道远。

3. 关于阴谋论

菜老师有奇文 http://blog.sciencenet.cn/blog-789923-752383.html，说：“李维先生说，该英文社交媒体大数据调查反映了民间的真实态度，这个观点看来要打个问号了。” 这个“该”字从何谈起，我们对社交媒体是一网打尽（因为企业用户要求如此），其组成和来源都在文中有交待。他下面的推测充满了细节，实在太异想天开了。蔡老师怎么不询问一下就这样胡乱猜测呢，描述了一个天大阴谋似的。

“搞这个调查的英文社交媒体的完全可能是反转基因团体控制的，其调查的人群经过了特异的选择，或者说该英文社交媒体的读者主要以反对转基因人士为主。这样的数据即使是“大数据”，又有什么意义呢？”（下划线是立委加的）

蔡老师哎，你这样善于胡乱猜测还怎么做学问呢。这是我自己主持开发的软件，用的是未经任何人控制的原始数据（英文叫做 firehose，就是直接从社交网站流出来的），没有人工干预，靠的是自然语言挖掘技术自动生成的。这样说，应该够清楚了吧。我的本行就是舆情自动调查，这只是针对热点问题，从系统输出结果而已，供大家做舆情分析时候一个参考。

说明一下，所用的软件本来是为企业用户做客户情报调查用的。社交媒体一网打尽是指在我们的 index （库存）里面，我们包括所有够得着的社交媒体，英文社交媒体从比重上看，twitter 为主，Facebook 其次，其他论坛上百万个来源只占少数，这是当今社交媒体的自然现状。

我自己是系统架构师和主要实现人，所以不时用系统挖掘热点话题，一来可以看看系统还有什么可以改良的地方，而来也算是对社区做一些大数据语言挖掘的科普展示。阴谋论简直匪夷所思。

蔡老师(2013-12-24 16:24)：我的推测是否正确，不是关键。关键是你的舆情分析软件结果与公民的投票结果相反，必须做出解释，否则这样的舆情分析只会造成更大的认识混乱；如果领导据此决策了，更加有误导嫌疑。

(2013-12-24 16:15)：我不怀疑你的数学分析能力，你的数学模型包括软件应该是不错的。但是，出色的数学分析能力并不能保证你的结果是正确的。牛老师比我说得更全面，还有其他网友对此也有分析。
我再将我当年的生物统计学老师说过的话告诉你，让我们共勉吧：数学模型应当建立在具有生物学意义的基础上，离开了这个基础，哪怕数据再充分、模型再漂亮，也是没有意义的。

博主回复(2013-12-24 18:07)：您的思维很怪异：说什么领导据此决策错误，我就更加有误导嫌疑。

这是什么话。领导面对这么多志愿免费提供的不同侧面的信息源，依然决策错误，那就是狗屁领导，没有领导能力、决策能力，领导应该下台，这个决策错误与信息提供者有一毛钱的干系？

又：说什么数学模型要建立在生物学意义上对于我们文本挖掘媒体调查领域完全是瞎掰。我一个语言学家懂什么生物学，我做语言文本调查要什么生物学的基础？我的对象是自然语言（社交媒体），不是生物啥的。我的模型建立在语言学（语言分析，parsing）基础上，这才是我们这个领域的基础。你隔行传授的经验没有一丝的适应性和可行性。

博主回复(2013-12-24 16:44)：喂，喂，我为什么要为我的自动调查与公民投票的差异做出解释？

我只是提供一个信息源而已。这个信息源是大数据高技术的结果。投票那是另外一个信息源。二者吻合还是不吻合，可能有一千个因素，我有什么责任和义务解释？

我也从来没关心过那次投票。

博主回复(2013-12-24 16:38)：

您如果质疑“调查反映了民间的真实态度”，完全没有问题，因为同样的数据可能有不同解读和 interpretation

如果质疑质量或操作过程中的误差，也还不算离谱。

可您凭空从头脑想出来并 描述了我的数据被操纵的过程和细节，就让人跌破眼镜了。

4. 关于噪音处理

至于博主和蔡晓宁先生说的大数据处理的技术我不会， 还得在学习了。 不过google或百度上的绝大多数数据是垃圾数据。 如果要使用大数据处理来统计， 我建议博主把CA或Medlines或 Bological abstrct里的数据做个大数据处理，看看你能得出一个什么结论。 这些可就是科学的结论了。

至于垃圾过滤，这是任何大数据系统都必须要做的工作，我们也有这个过滤，经过几年的不断改进，测试证明英文大数据的垃圾已经不再是大问题了。

不过中文媒体的垃圾过滤还有很多工作要做，有国内微博水军和僵尸的问题。不过对于热点话题，可以只选取带 V 的样本，也就杜绝了水军和僵尸。但对于冷门话题就不好办了。

另外一个工作是避免过量重复（de-dup），英文也已经做得很好。

对于大数据处理， 我完全是外行， 现在说几句外行的话， 不对就当垃圾处理
1. 任何数据的输入的前提是数据的可靠性， 不分青红皂白的把所有数据输入， 输入的数据就没有科学性， 可靠性， 由此而来的结论当然就没有任何意义了
2. 现在网络上有所谓的大V， 用定贴机为某一个题目专门不断发帖顶贴， 所以不分青红皂白的输入这种数据， 实际上是被其他人所误导。
3. 所以要用大数据， 必须界定你的大数据来源。 否则同一事物， 被不同人选择来源， 完全就有不同的结论。
以上是外行的话。

博主回复(2013-12-24 18:35)：当然你的担心是有理由的。做大数据的人当然要过滤垃圾（包括无处不渗入的色情），而且要 detect 僵尸、水军和数据的过分重复（机器人发贴）等。

大数据挖掘有没有价值很多时候是可以验证的。因此上述问题的严重程度，可以从过往的验证中得到一个大概的置信区间。细节就不谈了。

总之是，由于大数据的存在以及大数据处理能力的不断完善，舆情挖掘提供了一个难以取代的情报源，在决策中有参考价值。这是可以基本肯定的。

5. 有比较才有鉴别

其实这些问题只要放在比较的框架中就不是严重问题。虽然具体语言中褒贬比例和分布可能不同，但是如果一个对象的褒贬指数放在其他对象的褒贬指数的 reference frame 里面来阐释，其解读就比较真实。比如，在过往的许多调查中，我们知道褒贬度降到零下20以后就很不妙，说明媒体形象差，老百姓很多怨气。有了这样一个历史积累，新的品牌或话题如果达到类似的指标，解读就不大会离谱了。

特别是，我们做一个行业的多品牌调查和比较的时候更是如此。品牌A与品牌B的在舆情中的相对位置非常说明问题。系统的误差，质量的不完美，语言数据的不完整，以及语言现象的分布不匀，所有这些统统不再成为问题，除非这些差异是针对特定品牌的（这种现象基本不出现）。

这一点毛委员早就说过：有比较才有鉴别。

有比较才有鉴别，这是铁律。任何指标单看，其意义就很悬。包括我说转基因不受美国人民喜欢（零下29度），也是因为有过往的褒贬指标平均值作为 reference frame 才说的。

6. 大数据是忽悠么？

是的，有很多忽悠。但是立委论大数据不是忽悠。

》》这篇博文充分说明，“大数据”并不是神仙，完全可能得出错误的结论，“大数据”只是一种工具，要看使用者如何使用它了。

博主回复(2013-12-25 00:30)：说大数据是神仙的，多半是忽悠。

今天忽悠大数据，明天其他东西流行了，就忽悠其他东西。

但是大数据给决策人（政府、企业或者犹豫如何选择的消费者）提供了一个前所未有的方便工具，去纵览有统计意义的舆情。这在以前只能通过小规模误差很大的人工问卷调查来做。如今自动化了，而且样本量高出好几个量级。拜科学技术所赐。

7. 关于系统可靠性

任何一门新的方法的建立，都需要首先用对照验证其有效性。这种抓取网络关键词，有没有与大样本的问卷调查等传统方法进行对比，验证过有效性？看到fear，就下结论说是人民害怕，也许是有人说不用fear呢？至于英文网络的数据，为什么下结论时认为只是美国人的意见，把欧洲人等排除掉了？

博主回复(2013-12-25 07:09)：你提到“抓取关键词”，怀疑系统不能处理否定式（“也许是有人说不用 fear 了”），那是你不了解我的背景，虽然我在100多篇科普性博客已经多方面描述过系统的能力。简言之，我们的舆情挖掘不是通常的关键词技术，而是建立在高级得多的深度语法分析（deep parsing）之上的信息抽取和挖掘。不仅可以对付否定式，否定之否定等更复杂的语言现象也能处理。

博主回复(2013-12-25 00:59)：至于意见中是不是只有美国？

这个还真可能不准确。我说的不严谨。英文社交媒体从分布上看，美国网民比重很大，但这个世界是地球村了，当可能包括西方其他国家的舆情夹在里面了。

其实很好解决，系统有地理过滤器，我可以只挖掘美国来源的社交媒体。但这样数据量就需要超过一个月的积累才好挖掘，有成本的。今后高兴了，再做吧。博主回复(2013-12-25 00:53)：有没有与问卷调查以及用其他方式验证过这个系统的有效性？

有过。很多次。而且还在不断定期进行中。为什么要这样做？因为质量是系统的生命线，否则怎么取信于客户。

大数据挖掘热点话题（冷门话题数据量少，就不好说了）作为舆情的反映，基本可信，至少不比传统手工问卷差。作为决策参考没有问题。

你不必相信我的 claim。我也不必提供验证细节。你也不是我的客户。我免费提供信息，权当 raise awareness 和科普。

我的论点，您可能只看到了其中一部分。我再多说一点，人们的用词习惯在这个比较里面没有被考虑到。比如，说一个人很丑可能多数人用单词A，而说她美可能会有十种表达方式。假定认为美的有十个人，用词个不一样，说她丑的只有三个人，但看起来是显然的高频词。这不是误导吗？这种现象往往在理性精细思维和随意发泄情绪两种情况下对比很明显。

博主回复(2013-12-24 17:45)：要想做这种矫正，你先得研究清楚这种现象在真实语料中确实存在，严重程度，分布如何。听上去，这一步你还停留在假说层面上。这时候说系统误导是欠公允的。

另外，一个概念有多少词来表示只会影响 Word Cloud 图示中的 fonts 的大小（其实即便在那里，我们对比较严格的同义词还是做了合并处理的，因此问题没有想像的严重），但并不影响最重要的 net sentiment （褒贬度）的指标，因为后者是根据褒贬两大类来计算，而不问具体的用词。

很多事情都是这样的：赞成的人不怎么发声，而反对的人则会闹出很大的动静。从国人对待转基因的态度到泰国黄红两派的斗争死结，这种现象在社会中普遍存在。这可能有社会心理学的解释。
因此，所谓相对客观的大数据，也许本身就已经预设了立场。博主回复(2013-12-25 11:08)：这种情况是可能的。所以我说，同样的数据结果可以有不同的解读。

你可以打折来看褒贬指数。譬如，指数为零表面上似乎是褒贬民意旗鼓相当，你可以打个折扣，理解成其实是褒多于贬，只不过很多满意的人不言声而已。

这个折扣怎么打，可以根据经验法则，多一些实验也许慢慢可以显现出来。

8. 我只做民意，不介入转基因的争论

老师可以写得更简洁些,并且有学术数据支撑,而不仅仅是民意支撑么?
从学术原理上来讲风险,用数据说话,现在大家抄来抄去,感觉不专业.

博主回复(2013-12-25 00:39)：我只做民意。别的你们做，或谁爱做谁做。

我不反对转基因，也不大关心转基因因为没感觉有什么危险。我的不少懂行朋友也持拥抱态度，我没有理由不相信这些专家。但是民意也需要一定程度的尊重和引导，不能强迫人们吃转基因，或任何东西。在民意有很多顾虑的时候，给民众选择的权利是合理的（除非标识成本太高：其实高成本只要转嫁给要求标识的消费群体就合理了）。

题外话：我的转基因立场

我其实没有什么立场，也没有相关的生物知识背景，转基因从来不是我关注的对象（因为是热点话题才选它当小白鼠做舆情挖掘的试验，而不是对其感兴趣）。通过朋友的争论和综述， 觉得两边的极端派掐架很难看，都有误导和蛊惑。（By the way，我觉得挺转人士当年犯了致命错误，他们不该把 GM 翻译成转基因，要是翻译成生物高科技最新改良食品伍的，就会减少很多阻力和疑虑。名不正则言不顺，言不顺则事不成。现在好多百姓听到转基因就跟听到癌症似的，你说说这个术语翻译是不是害死人。后来金大米起的名字就很好，无奈受转基因的牵累，还是遭到很多人的排斥。）

我本人不介意吃转基因食品，因为从来没有感受到有危险。我去肯德基最喜欢买的就是他们的烤玉米。从来不问出处。但事已至此，转基因就不单是科学的问题了。要上老百姓餐桌的话，老百姓的感受不能不顾及。作为一种过渡，我觉得在中国有必要给转基因食品做标识（或给非转食品做标识，one way or the other），给人民选择的权利。这个不必要循美国不标识的例，原因是国情不同，老百姓为食品安全困扰太久，井绳之忧是自然的反应。转基因的最终胜出，应该靠自己的实力，譬如价格的低廉，日益显示出来的安全性等。标识以后，科学人士和我等无所谓（畏）人士会自然成为其消费者。最后会争取到其他中间用户。至于反转死硬分子，就让他们一辈子多花冤枉钱去消费“纯天然”食品也蛮好的。

最后来点 fun，转发老友的一个评论。

相关专题：转基因问题
转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-752623.html

上一篇：米拉围脖：“窝心”
下一篇：大数据持续升温，是忽悠还是黑马？转薛老师赞大数据的quote

既然大家感兴趣，圣诞没事在家，就继续做一点转基因的大数据挖掘。

这次挖掘仍然是最近一个月的英文社会媒体，区间为：

Query 增加了一些同义词，GM Food 定义如下（漏掉重要的没有？）：

• GM food
• genetically modified
• transgenic
• transgene
• genetically engineered food
• GMC
• GMO
• GMF
• Franken-food

从下述共现主题词发现，GMC （for GM crop）有严重歧义，它更多用来作为 GM 汽车品牌:

因此加了以下限制词：

{ car, chevy, truck, covercraft, Sierra, model, Yukon, display aspect, buick, driver }

(也许下次试验干脆扔掉 GMC 这个害群之马? 想来也不会损失多少 coverage)

Anyway，在上述定义的 query 下，搜索挖掘的结果如下。

共现主题：

总览：

值得注意的是，与上次初步的调查的褒贬指数零下40度不同，这次更加 refined 的调查显示其褒贬指标为 零下29 度，转基因食品形象仍然很不佳，老百姓仍然很多疑虑和抱怨，但是不像 -40% 那样恐怖。这次调查做得更加细致，query defined 更周全， 个人认为应该更加真实可靠。

喜欢和厌恶转基因的理由云图如下：

社交媒体的地理分布：

从数据分布看，确实是美国网民的帖子占压倒多数。这就回答了以前网友的疑问，究竟是美国人民（网民）还是西方英文世界网民的民意。（我从善如流，为保险起见把前一篇博客的题目从“美国人民”改为“西方”，现在看来，我有依据再把标题改回去了。无需地理过滤，最近一个月英文社会媒体谈论 GM food 的话题，几乎全部集中在美国。）

美国国内的分布呢？

从颜色的深浅可以看出，这些议论主要集中在加洲（15%）和纽约州（9%），其次是德克萨斯（5%）和佛罗里达（5%）等。

其他信息图示：

网友一定奇怪，为什么挺转人士把 poison （毒药）列为理由呢？我也很好奇，就 drill down 到数据里面看，原来是这样的样例：

我们英文分析器当然知道 poison 是强贬义词，但是议论中的 poison 有否定词 no，因此处理器就转贬为褒。但是，遗憾的是，还是错了，可以算是一个质量的 bug，我这就去修改系统。错误在于，这不是简单的否定式，而是祈使否定句（NO 也用了大写），意思是“坚决不要孟山都的转基因毒药”，显然应该归入反转人士的意见去，现在弄反了。自然语言蛮复杂，除了否定，否定之否定，还有祈使，以及它们的混杂，这就是一个活生生的例证。再举一例，请看下面的 minimal pair：

（1） GM food is safer

（2） Be safer，GM food

同样是 “be safer”，（1）是褒义描述，而（2）是祈使句，带有贬义（义为 “拜托，你能安全一点，成不？”）

对这些 tricky 复杂的自然语言现象，我们做了不少工作，但肯定有漏洞。不过也不要由此担心结果的可靠性。没有自然语言系统是完善的，社会媒体的表达又很不规范。好在我们有不间断的质量检测（QA）流程， benchmarks 利用第三方 crowd-source 人工监测，四个判官，至少三个判官一致才作为标准。统计下来，英文系统精确度一直保持在90%上下。这样的精确度比流行的关键词技术为基础的同类系统至少要高出30-40个百分点。由于大数据对于个体质量不完美有补偿作用（以前我有几篇科普专文谈论这个），因此有信心说，总体结论是靠谱的，反映了社会媒体真实面貌的。

最后给一些社会媒体的samples

【相关篇什】

小数据和个案分析：个人在美国对转基因的感觉 2013-12-26

既然大家感兴趣，圣诞没事在家，就继续做一点转基因的大数据挖掘 2013-12-26
关于转基因及其社会媒体大数据挖掘的种种问题 2013-12-25
【美国网民怎么看转基因：英文社交媒体大数据调查告诉你】 2013-12-24

【置顶：立委科学网博客NLP博文一览（定期更新版）】

相关专题：转基因问题
转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-752915.html

上一篇：米拉围脖：“窝心”
下一篇：大数据持续升温，是忽悠还是黑马？转薛老师赞大数据的quote

套用北韩最近流行的歌颂红太阳金正恩的红歌，数据，数据，《除了它我们谁也不认！》

当然，还有上帝：In God We Trust. In everyone else we need data.

大数据时代更是如此，只认数据不认人。道理很简单，在信息爆炸的时代，任何个人的精力、能力和阅历都是有限的，所看到听到的都是冰山一角。小崔如此，其他大V也如此，大家都在盲人摸象。唯有大数据挖掘才有资格为纵览全貌提供导引。

当然，这不是说，大数据挖掘就是完美的解决方案。但是，正如一人一票的民主选举也不是人类社会完美的体制，而只是最少犯错误的机制一样，大数据挖掘比任何其他个人或利益集团的分析，较少受到主观偏见的干扰。这是由大数据本性决定的。

不过，挖掘本身也有可能有 bug（但即便是 bug 或者其他不完善之处，它们对所有搜索的话题也是一视同仁的，是独立于话题的，因为系统的编制针对的是开放话题），挖掘的结果可以从不同角度验证或质疑。值得注意的是，即便被认为是真实反映的同一组数据结果也完全可能有不同的解读（interpretations），人们就是在这种解读的争辩中逼近真相。一个好的大数据系统，必须创造条件，便于用户 drill down 去验证或否定一种解读，便于用户通过不同的条件限制及其比较来探究真相。

上篇转载博文（[转载]ZT: 为啥立委的报告认为GMO造成gluten intolerance 2013-12-28）就是老友在质疑和解读这方面做出的有意义的努力。老友指出，其所以造成 gluton intolerance 成为反对转基因的主要理由，是由于美国反转极端组织 IRT 的鼓噪的效应。从时间上看，IRT 确实在上个月的大数据调查区间内制造了反转新闻，似乎影响颇大（drill down 显示 twitter 在很短时间里对 cause gluten related illness “新闻”有 700 多条大同小异的微博或转发，下面是“鼓噪”及其社媒传播样品）。

RT | @tree_details http://t.co/i8PV0y3Ev2 Future Epidemic? Monsanto GM foods cause gluten-related illnesses. econ/food/soci- gmo.
Monsanto GM foods cause gluten-related illnesses (silveristhenew.com) [...]
GM foods cause gluten-related illnesses --
I added a video to a @YouTube playlist http://t.co/rywMnDKtlU Future Epidemic? Monsanto GM foods cause gluten-related illnesses.
Future Epidemic? Monsanto GM foods cause gluten-related illnesses.
Future Epidemic Monsanto GM foods cause gluten related illnesses: Published on Dec 7, 2013 18 million of Ameri... http://t.co/86SnUlUmxv.
Monsanto GM foods cause gluten-related illnesses http://www.youtube.com/watch?v=VyV001qX2i4 7 December 2013 , RT.
Monsanto GM foods cause gluten-related illnesses http://www.youtube.com/watch?v=VyV001qX2i4 7 December 2013, RT.
Monsanto GM foods cause gluten-related illnesses • 'March of Millions': Ukraine braces for massive anti-govt rally • Spiritual Journey: Valaam monastery in Russia's far north (RT Documentary).
Future Epidemic? Monsanto GM foods cause gluten-related illnesses http://t.co/qceiGYiPWM. #RT
Future Epidemic? Monsanto GM foods cause gluten-related illnesses http://t.co/qceiGYiPWM. #RT
Future Epidemic? Monsanto GM foods cause gluten-related illnesses http://t.co/leNyyCI1G4. #RT
Future Epidemic? Monsanto GM foods cause gluten-related illnesses http://t.co/kZlxQso6T4. #RT

.........

RT @LuminatedSlave: Future Epidemic? Monsanto GM foods cause gluten-related illnesses https://t.co/purlWn3ztO.
RT @LuminatedSlave: Future Epidemic? Monsanto GM foods cause gluten-related illnesses https://t.co/purlWn3ztO.
Future Epidemic? Monsanto GM foods cause gluten-related illnesses https://t.co/purlWn3ztO.
RT @RT_com: Future Epidemic? Monsanto GM foods cause gluten-related illnesses http://t.co/FbJhDufXzn. @portnayanyc
Future Epidemic? Monsanto GM foods cause gluten-related illnesses http://t.co/lknWlC2CP2

..........

Future Epidemic? Monsanto GM foods cause gluten-related illnesses: http://t.co/XOJYHwyci4 via. @youtube
Future Epidemic? Monsanto GM foods cause gluten-related illnesses: http://t.co/EUYyOsnFyV via. @youtube
Future Epidemic? Monsanto GM foods cause gluten-related illnesses http://t.co/mAPr2RkyLL. #FutureEpidemic #GM #GMO #RT
Future Epidemic? Monsanto GM foods cause gluten-related illnesses http://t.co/MwzyJkqjLI. #FutureEpidemic #GM #GMO #RT

.........

有了上述解读，我们有两个问题需要解答：（1）一小撮 IRT 分子的 “鼓噪” 可以左右舆情么？影响度如何？（2）反对转基因的理由除去 gluten intolerance 后是怎样分布的？

于是我们继续做转基因的大数据自动挖掘来寻求答案，以便看清西方当今舆情和民情的真相。根据老友们的建议，我们可以设置条件，做一个对照调查。下面就是这次对照调查的条件和结果。

（1） Baseline：为做到 apple to apple 式的 minimal pair 对照比较，我们先把最近一个月的自动调查重复一次（除去了原 query 中的害群之马歧义词 GMC，因为发现它绝大多数是与 GM 品牌汽车相关，而不是指转基因谷物），结果拷贝如下：

 
Download
 
Download
 
Download

 
Download
 
Download
 
Download

（2）在上述自动挖掘中加入限制词 “cause gluten” 以屏蔽由于 IRT 鼓噪事件带来的反转中最大，据专家认证也最不靠谱的理由：

【相关博文】

[转载]ZT: 为啥立委的报告认为GMO造成gluten intolerance 2013-12-28

继续转基因的大数据挖掘：谁在说话？发自何处？能代表美国人民么 2013-12-26

【美国网民怎么看转基因：英文社交媒体大数据调查告诉你】 2013-12-24

【置顶：立委科学网博客NLP博文一览（定期更新版）】

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-754053.html

上一篇：与理发师的交谈
下一篇："科学里说法的‘短命性’不是好事情吗？"

前不久做过几个转基因在英文社交媒体的自动民调，引起广泛兴趣。不过，那几次民调都是用的最近一个月的社媒数据。很多朋友希望做一个较长时期的调查，看看西方（主要是美国）社交媒体中转基因的媒体形象及其口碑民意的演变趋势。超过一个月的数据会产生额外的数据费用，因此甚至有热心网友提出愿意筹款资助这项调查。

既然转基因是大众如此关心的热点话题，我们就拿它当小白鼠，继续做系列大数据自动调查，用海量数据粉碎少数匿名极端分子散布的大数据调查涉嫌“输入伪数据”的谣言。博主保证在话题定义和输入给系统以后，相关的原始数据搜索及其自动分析全过程没有任何人工干预。这一点是由我们的大数据产品的性质决定的。产品允许以不同的 filters 来做对比研究，博主保证对比调查中的任何 filter 都明确标示，默认为不使用。各位谨记的是，大数据是客观的存在，大数据不会说谎，但是对数据的下列解读（interpretation）不可避免有主观的成分。欢迎百家争鸣，对这些数据做出不同的解读，也欢迎对数据挖掘的条件和过程提出建议和质疑。（但不欢迎任何极端分子的胡搅蛮缠无理取闹，博主保留对任何极端或不雅留言杀无赦不解释的权利。）

转基因一年来英文社会媒体口碑的自动民调和分析如下。  

（1）话题的定义和输入：GM food | GMO | genetically modified | transgenic | transgene | genetically engineered food | GMF | Franken-food

与前同（删除了歧义严重的害群之马 GMC）。

（2）自动民调结果总览

尝试解读：一年的自动调查提及转基因485万，调查了383 万多社交媒体的帖子，涉及近 15 万网民。这是真正的大数据民调，比传统手工民调最多几千份问卷，数据量和调查对象要高两到三个量级。转基因的一年大数据的平均褒贬指数为零下13度，比前几次的一个月数据的调查要好（虽然仍然是负面评价为主）。转基因的话题在西方社会媒体中，的确很有争议。

尝试解读：一年的提及转基因话题的帖子，有 28% 的帖子（134万）含有褒贬评价或情绪，其中贬（57%）略大于褒（43%）。褒贬的幅度区间在 6 度最高点（见上图最高红点旁 tooltip 小框）到 零下 32 度（上图最低谷的红点处）之间。值得注意的是 2013 年六月是转基因网络热议的最高峰，而这场热议却使得转基因褒贬指数跌入最低点零下32度。

下面是最近半年的数据，褒贬度为零下10度，略好于一年的指标。

（3）共现话题：

尝试解读：多次挖掘都是如此，与转基因最密切的主题永远是 Monsanto （孟山都）。说转基因纯粹是科学问题，那是 too simple and naiive，只要背后有企业，就一定有利益因素。

（4）挺转反转的理由词云：

 
Download

尝试解读：正反理由旗鼓相当的样子，这比以前一个月数据的调查大为改善。反转的最大理由不再是 gluten 相关的疾病，而是死亡（Die）和癌症（Cause cancer）。挺转声音强调的是安全（safe），也是很自然的。

（5） 挺转反转的情绪词云：

 
Download

尝试解读：wow，情绪云图中挺转的分贝（那些大大字体的 love，good，great）似乎比反转的（bad，not want，concerned，fear，hate，fuck）更高（表现为更大的字体），不过后者的表达更加多样化。

（6）挺转反转的行为：

 
Download

尝试解读：挺反双方不仅仅是情绪发泄，还有行动，有吃的用的买的（eat，use，buy），就有拒吃拒买甚至要求禁止的（not eat，not buy，reject，ban）。

（7） 挺转反转的比例

（8）社媒样例：还是贬大于褒嘛。
 

【转基因大数据挖掘系列博文】

【大数据挖掘：转基因中文网络的自动民调，东风压倒西风？】 2014-01-03

【大数据挖掘：转基因网络口碑的自动民调和分析】 2014-01-03

只认数据不认人：IRT 的鼓噪左右美国民情了么？ 2013-12-30

[转载]ZT: 为啥立委的报告认为GMO造成gluten intolerance 2013-12-28

继续转基因的大数据挖掘：谁在说话？发自何处？能代表美国人民么 2013-12-26

【美国网民怎么看转基因：英文社交媒体大数据调查告诉你】 2013-12-24

相关专题：转基因问题
转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-755554.html

上一篇：翻旧照片，原来 baby 生日蛋糕是酱紫吃地
下一篇：【大数据挖掘：方崔大战一年回顾】

中文，中文社交媒体里的转基因。与英文民调迥然不同哎，挺转声音似乎很大，主要来源呢？

终于，我们来到据说为转与非转掐架掐到天昏地黑问候父母的中文世界。为了避免陷入泥潭，咱们这次只提供数据，不提供解读。爱挺爱反，请便，爱咋解读，听便。

这次自动民调是最近一个月的中文社交媒体数据，具体来源和比例后面交待。

 
Download
 
Download
 
Download

 
Download
 
Download
 
Download

 
Download
 
Download
 
Download

 
Download

【转基因大数据挖掘系列博文】

【大数据挖掘：转基因中文网络的自动民调，东风压倒西风？】 2014-01-03

【大数据挖掘：转基因网络口碑的自动民调和分析】 2014-01-03

只认数据不认人：IRT 的鼓噪左右美国民情了么？ 2013-12-30

[转载]ZT: 为啥立委的报告认为GMO造成gluten intolerance 2013-12-28

继续转基因的大数据挖掘：谁在说话？发自何处？能代表美国人民么 2013-12-26

【美国网民怎么看转基因：英文社交媒体大数据调查告诉你】 2013-12-24

相关专题：转基因问题
转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-755584.html

上一篇：翻旧照片，原来 baby 生日蛋糕是酱紫吃地
下一篇：【大数据挖掘：方崔大战一年回顾】

【置顶：立委科学网博客NLP博文一览（定期更新版）】

在当今的信息社会，一个机构的社会形象很大程度上决定于其网络形象。维持和增强网络形象需要对社会媒体的挖掘追踪，以便及时应对危机，调整其公关举措。我们以去年几度陷入公关麻烦的“中国红十字会”为例来展示社会媒体大数据挖掘的这种监测和警示作用。了解自我是改进自我提升形象的前提。面对混沌的大数据，人们往往见木不见林，难以把握总体趋势和全貌。而自然语言技术可以帮助我们自动阅读分析海量信息，从中挖掘任何话题的舆情以及机构或个人的媒体形象，从而从一个角度为决策提供依据。

一般而言，红十字会总是与各种慈善活动紧密相关，因此如果不出意外，红十字会的社会形象是非常正面的。但是，中国红十字会却不尽如此。用我们中文大数据挖掘系统（beta）对最近一年的社会媒体（完整的微博数据仍然在与内容商协商之中）的自动民调显示其形象起伏颇大，但一年平均指数 36 并不很低。

从上图看过去一年（2013元月13至2014元月14）的社会媒体趋势，社会媒体的相关议论的数量除了去年四月五月之间突然出现一个高峰以外（出了什么状况？），一直很平稳。随着这个热议的是其形象一跌千丈，直至五月12号到谷底零下56度。随后的发展表明，虽然议论量趋于平稳，但去年七月中与九月末还是出现两次形象受损，疑似公关失当？这里面的故事，一直追踪网络事件的记者和网友应该有所可言。

，

网友表达的情绪中最显眼的是“谴责”，远远超出正面的情绪（“信任”）。

上图展示了具体的褒贬理由。下面是其比例的饼图，如何解读这些数据还是留给了解事件发展过程的人士吧。总之是遇到了丑闻和麻烦。

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-755868.html

上一篇：翻旧照片，原来 baby 生日蛋糕是酱紫吃地
下一篇：【大数据挖掘：方崔大战一年回顾】

【置顶：立委科学网博客NLP博文一览（定期更新版）】

Re：你的软件有bug。5-7月，崔永元主要在忙公益基金的事情。

当然有。beta 版。没有 bug，就没有工作了。具体苗头请指出。

上篇挖掘崔方大战一年的形象变化曲线，其中一个困惑就是小崔为什么2003年5-7月跌入形象谷底？朋友说，那时候大战还未开始，是不是系统的 bug，或混沌的社会媒体数据 garbage-in garbage-out 造成的？

于是 narrow down 到那个区间做进一步调查，看来不是小方也不是月亮，而是“苦逼” 惹的祸。

MD 这么一条就左右主导了曲线两个月低谷？？

所有数据量需要一个阈值才靠谱。这个经验值还在探索中。

系统本身绝不是 garbage in n out，苦逼 平时确实更多贬义，但也有调侃同情的可能。

大数据的要点是 大。Lesson learned

RE：应该是5-7月曝光少，噪声起作用了。之前是两会，之后是公益等。

不过，数据量不足也有好处，可以更加容易暴露系统的bugs，而数据量一大，噪音和 bugs 就自然退居幕后，浮不上台面了。

1. 苦逼小崔。 - 豆瓣

   www.douban.com/people/55978871/

   •  

   •  

   Translate this page

    

   老孙谁都不是。 不是前任，不是现任，不是同学，不是同事，甚至称他为朋友都有点牵强，他是同学介绍给我的适合结婚的对象，这个定义听起来有点残忍，但事实就是 ...

2. 苦逼小崔。的豆瓣小组

   www.douban.com/group/people/55978871/

   •  

   •  

   Translate this page

    

   小组、话题. 苦逼小崔。的豆瓣小组. 小组主页 · 加入的小组(22) · 喜欢(0) · 推荐(1). 加入的小组(22). 太原一家人. (9297). 掀起你的内幕来┃青草公益活动月. (254349).

3. 苦逼小崔。的相册 - 豆瓣

   www.douban.com/people/55978871/photos

   •  

   •  

   Translate this page

    

   有了这个相册，我就知道明年什么时候该穿什么衣服了。 11张照片 2013-07-16更新. Wish you were here. I'm here. 11张照片 2013-07-15更新. 西安西安. 75张照片 ...

4. 我刚才看到了一个苦逼小崔的自爆…… - 豆瓣

   www.douban.com/group/topic/41545991/

   •  

   Translate this page

    

   Jul 19, 2013 - 成功勾引母猪 (Feel so close) 2013-07-19 23:42:27. 我操，我操，蛋大的事也值得你开个帖？ 我操，我操，蛋大的事也值得你开个帖？ 苦逼小崔。

5. 苦逼小崔。的相册-夏 - 豆瓣

   www.douban.com/photos/album/106664416/

   •  

   Translate this page

    

   Jul 15, 2013 - alay : 。。要我当面指给你看么 09-24 14:23; 苦逼小崔。 : 胸部在哪？ 09-24 14:23; alay : 胸部不错啊 09-24 13:38; 苦逼小崔。 : 蓬荜生辉有木有！

6. 北京，北京- 苦逼小崔- 面包旅行

   breadtrip.com/trips/2387782532/

   •  

   •  

   Translate this page

    

   Oct 2, 2013 - 坐缆车准备爬山了。 喜欢(0) 评论(0). 2013-10-02 11:43:00. 北京. 苦逼小崔-北京，北京-2400515001. 到顶。 喜欢(0) 评论(0). 2013-10-02 12:57:00.

7. 苦逼- 小崔seo_崔长河的个人博客

   seo-oo.com/?tag=苦逼

   •  

   •  

   Translate this page

    

   小崔seo，是一个致力于关注互联网技术、网络营销、搜索引擎优化（SEO）的博客。博客内容包括SEO，但不限于SEO。

相关专题：转基因问题
转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-756279.html

上一篇：【大数据挖掘：方崔大战一年回顾】
下一篇：社媒是个大染缸，大数据挖掘有啥价值？

我们的大数据自动民调做过英文社会媒体的转基 因一年调查（见【大数据挖掘：转基因英文网络的自动民调和分析】 2014-01-03），也做过中文社会媒体最近一个月的调查（见 【大数据挖掘：转基因中文网络的自动民调，东风压倒西风？】 2014-01-03），下面我们进一步做转基因最近一年的网络形象趋势的调查，看看到底转基因在网民中的形象是提升还是损害了？

转基因确实是去年的热门话题，在我们够得着处理（indexed）的中文社会媒体一年档案中，转基因被提及55万多次，其中两万九千多次为正面，两万七千多次为负面，挺转反转可谓旗鼓相当，平均褒贬指数为 4 度，挺转呼声略强。

 

下面看一年的褒贬热议趋势图。蓝色曲线表示热议度（mentions），紫色曲线为褒贬指数（net sentiment），下列第一张趋势图记录每日的热议和褒贬的跌宕起伏。

 

下图是每周的热议和褒贬的趋势图。

 

下图是每月的热议和褒贬的趋势图，展示显得更加粗线条，但展示发展趋势也更为明显。热议度一年的趋势是在慢慢增长 ，高点在去年十一月。褒贬度在去年九月前是缓慢上升。随着九月开始的方崔大战，挺转反转打得不可开交，使得过去三四个月，转基因褒贬呈现大起大伏态势。具体说来，九月中挺转呼声达到高峰，但很快从十月到十一月跌下来，11月初跌入谷底。此后挺转再占上风，到十二月中达到第二个高峰。从趋势上看，挺转反转的争辩仍呈胶着状态，难分胜负。不过全年看下来，转基因的网络形象实际上变得更加正面了。

 

补充不同区间的对比图

日期: 01/05/2014 15:30:03

半年趋势图：

 

 

三个月趋势图：

 

 
 
一个月的趋势图：

 

 

老友脑子好，帮助看看是提升了还是损害了形象

日期: 01/05/2014 15:32:15

隐约感觉是提升了，但是期间跌宕很大。

最近三个月的某个转基因热议期间（去年十 月底），转基因形象却走低，后来又逐渐恢复了。

是不是？

我自己已经糊涂了

下面是过去一年有关转基因的各类云图。

 
Download
 
比如上图 “转基因技术”，褒贬图中有红有绿（绿大红小），表示有人说好有人说坏，但褒大于贬。

 
Download
 
Download
 
Download

 
Download

【相关的大数据挖掘博文】

【大数据挖掘：方崔大战一年回顾】 2014-01-05
【大数据挖掘：转基因中文网络的自动民调，东风压倒西风？】 2014-01-03
【大数据挖掘：转基因英文网络的自动民调和分析】 2014-01-03
只认数据不认人：IRT 的鼓噪左右美国民情了么？ 2013-12-30

【置顶：立委科学网博客NLP博文一览（定期更新版）】

相关专题：转基因问题
转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-756294.html

上一篇：【大数据挖掘：方崔大战一年回顾】
下一篇：社媒是个大染缸，大数据挖掘有啥价值？

对博文【大数据挖掘：方崔大战一年回顾】 2014-01-05 的更正是：去了“苦逼小崔”（白马非马，苦瓜非瓜，原来苦逼小崔不是小崔呢，小崔没那么苦逼，不该受伊的牵累，予以剔除 exclude），加了中文繁体。（调查时间比前一次也后了一天。）

有道是，数据是把杀猪刀，红了樱桃，绿了芭蕉；且看名人掐架，褒绿贬红，鹿死谁家。

以前小方小韩掐架的时候，做过方韩大战的社会媒体挖掘，结果显示两败俱伤。

据说由转基因之争引起的崔方大战是去年中文社会媒体的大事件，因此以小崔和小方两个话题的自动挖掘对照，应该可以反映这场大战的一个概貌，至少是一个侧面。

挖掘的数据来源是目前在我们现有的 index 中的中文社会媒体（包括简体和繁体，因与内容商协商仍在进行中，数据并不完整，特别是微博数据。但是数据对于两位是一视同仁的。）另一个需要说明的是，挖掘系统仍处于 beta 阶段，bugs 在所难免，但是多次由第三方判别的质量检测（QA）显示，褒贬抽取的准确度均在 85% 以上。

挖掘区间是 2013 年元月五日 至 2014 年元月六号，整一年。

两位都是大名人，这次挖掘的相关数据量上相差不大，在八万到九万左右。但一年来总体褒贬指数（net sentiment）小崔（60度）远远高于小方（零度）。

看这些数据，主要是比较中鉴别，因为两人的曲线在同一个框架内，相对意义应该靠谱。自动系统即便不完善，社媒数据即便很混沌，但对二位是一视同仁的。

以上是两位的社会媒体形象在时间尺度上的曲线对比（按日、按周和按月来展示），其全貌和趋势比较清晰。

小方似乎习惯于单方面宣告胜利，说 （大意）：经过方崔大战，方还是那个方，崔已不是那个崔（形象完了）。

上面的形象曲线图说明，不是这样的。虽然各有起伏，一年来小崔一直在小方之上，二者的差距并未明显缩小，大体呈平行势态。半年来大战日趋激烈，但是整体趋势并没有大的改变。小方还是那个小方，小崔也还是那个小崔。

由于双方的粉丝都很激烈，为免过度解读引起新的口水战，下面只提供数据，不再做解读。

（1）共现主题词：(字体大小与热议成正比)

（2）对二位的社会媒体情绪云图：(褒绿贬红;字体大小与热议成正比)

（3）褒贬理由的分布：(褒绿贬红；字体大小与热议成正比)

（4） 喜欢自有喜欢的理由：

（5）厌恶亦有厌恶的理由：

（6）所调查的数据来源种类：
 

（7）所调查的数据分布：
 

社交媒体样本：

DIsclaimer: still in beta, use at your own risk.  bug report is welcome.

【相关的大数据挖掘博文】

【大数据挖掘：方崔大战一年回顾】（更正版） 2014-01-06

【大数据挖掘：转基因一年回顾】 2014-01-06
【大数据挖掘：方崔大战一年回顾】 2014-01-05
【大数据挖掘：转基因中文网络的自动民调，东风压倒西风？】 2014-01-03
【大数据挖掘：转基因英文网络的自动民调和分析】 2014-01-03
只认数据不认人：IRT 的鼓噪左右美国民情了么？ 2013-12-30

【置顶：立委科学网博客NLP博文一览（定期更新版）】

相关专题：转基因问题
转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-756334.html

上一篇：【大数据挖掘：方崔大战一年回顾】
下一篇：社媒是个大染缸，大数据挖掘有啥价值？

据说大战是去年九月开始，现在尚未结束。下面的分析是对挖掘结果的一种解读，旨在抛砖引玉。好的解读需要对 domain 熟悉，平时一直在追踪，相信这样的人大有人在，可以做出更合理的解读。

下图反映去年一年对转基因在中文社会媒体大数据的挖掘结果，按照每月的热议和褒贬结果展示其趋势图。热议度（mentions）一年的趋势是在慢慢增长 ，高点在去年十一月。褒贬度（net sentiment）在去年九月前是缓慢上升。随着九月开始的方崔大战，挺转反转打得不可开交，使得过去三四个月，转基因褒贬呈现大起大伏态势。具体说来，九月中挺转呼声达到高峰，但很快从十月到十一月跌下来，11月初跌入谷底。此后挺转再占上风，到十二月中达到第二个高峰。从趋势上看，挺转反转的争辩仍呈胶着状态，难分胜负。

不过全年看下来，转基因的网络形象实际上变得更加正面了因为褒贬指数平均值从全年的4%，上升为半年的8%（近三个月为6%， 最近一个月的指数陡升为 19%）。总的趋势应该是挺转占了上风，东风压倒西风。

半年趋势图：

 

三个月趋势图：

近三个月（从去年十月五号到今年元月五号）的趋势图是大战最酣的时期，值得仔细研究。从热议度和褒贬度两条曲线的对比看，十月下旬到十一月上旬是热议高峰期，估计也是挺反两派斗争最激烈的阶段，但这个阶段转基因的媒体形象反而略为走低，至 11月18号的谷底（-22%），说明反转呼声占了上风。

但是此后的发展是，热议度基本持平，直到12月底开始有些消停（斗累了？过年了？），但挺转的走势明显上升直到12月16日全年最高点（41%）。但此后又开始下滑。

这些拉锯还在继续，近一个月的跌宕图示是否预示着，这场斗争还远远没有结束？不过最近两周确实有些疲软了。

一个月的趋势图：

一鼓作气，二鼓衰而不竭。挺/反尚未成功，同志仍需努力。

【附：蔡老师精彩点评】

[2]蔡小宁  2014-1-7 23:13承蒙李老师的热情，我只能做点猜测。上半年支反双方没有特别大的行动，但是下半年就不同了，支转方开展了多次转基因大米品尝科普活动是有效果的，而且五家专业学会等单位联合开办了《基因农业网》，加强了转基因科普的力量，累积至9月中旬达支转方的支持度到高点。也就是9月初，崔永元突然杀出，以其实话实说建立的超高人气，使得支转方遭到重大打击，随后崔永元进一步宣布自费赴美、日调查转基因，使反转方赢得了大量的赞誉，崔永元再次建立起直言不讳的负责任的英雄形象，导致了支转方在10、11月落到低谷。然而，支转方不甘落后，不断组织反击，方舟子多次发文批驳崔永元，由于方舟子的文章往往有理有据，而崔永元没有实质内容、脏话连篇，导致少量崔粉放弃对其的支持，加上农业部发言人出面说话，俄罗斯又批准了转基因作物的种植，支转方逐步收复失地，于是12月中旬达到高点。年终，双方都忙于年终工作总结、过节等，热度都有所下降。博主回复(2014-1-8 03:18)：很好的分析，比我盲人说象强太多了。

更多数据在：

【大数据挖掘：转基因一年回顾】 2014-01-06

转载本文请联系原作者获取授权，同时请注明本文来自李维科学网博客。
链接地址：http://blog.sciencenet.cn/blog-362400-756627.html

上一篇：【大数据挖掘：方崔大战一年回顾】
下一篇：社媒是个大染缸，大数据挖掘有啥价值？

【立委按】为准备一个大数据的书面发言，今天把自己过去两年在科学网【立委科普】和【社媒挖掘】专栏里发的有关大数据及其挖掘的博文扫了一遍，计104篇，洋洋洒洒m万言，总量远远超过彭德怀元帅1958年“为人民鼓与呼”的万言上书。没有功劳有苦劳，严重建议科学网授予立委“大数据吹鼓手”荣誉奖章，表彰其对热门话题火上浇油的不懈努力。

“大数据与认识论”研讨会的书面发言（草稿） 2014-02-10

【立委论大数据挖掘（博文汇总）】

【5】社媒是个大染缸，大数据挖掘有啥价值？李维 2014-1-7 09:56社媒是个大染缸，顽主比烂，僵尸横行，水军泛滥，大数据挖掘又有什么意义？ 无论是怎样大的染缸，它实际上成为最具规模、最便捷、有时甚至是唯一的普罗网民的舆情宣泄口，尤其在东土。 水军僵尸总会有对付的办法。社媒的混沌和杂乱不是不作为的理由。从情报角度，它可能不是富矿，但肯定是金矿，就看你有没有本事 ...个人分类: 立委科普|190 次阅读|没有评论

分享【6】大数据挖掘问答2：会哭的孩子有奶吃热度 2 李维 2013-12-27 15:44RE： 有人在网上叫得最凶，所以这种大数据分析很容易受网上的vocal minority影响，不是么？ 叫得最响用处不大，要叫得多。叫得响可以影响情绪烈度指标（passion index），但不影响最关键的褒贬指数（net sentiment）。叫得多也不能靠水军和僵尸，因为容易当作噪音被剔除，所以必须要叫得多种多样。 作者: 立委 ...个人分类: 立委科普|556 次阅读|2 个评论

分享【7】大数据挖掘问答1：所谓数据完整性热度 3 李维 2013-12-27 11:12到了一定尺度以后，你也不用迷信什么数据完整性，好像少了一块数据，就怎样怎样了 作者: 立委 (*) 日期: 12/26/2013 18:54:07 关键是，不管何种原因数据不完整了，只要原则上保证这种数据损失不是针对特定话题即可（一视同仁）。而在大数据条件下，针对话题的损失 事故几乎就不出现，因为话题不是预定的，想有意 ...个人分类: 立委科普|395 次阅读|3 个评论

分享

【9】【立委科普：所谓大数据（BIG DATA）】热度 3 李维 2013-3-21 04:58Big data is not just data that are big. In the sense of data load, big data has been there for quite a while in Internet, on which the entire search industry was based and developed. The current buzz word big data is different, it is innately associated with users' background and social ...个人分类: 立委科普|1175 次阅读|3 个评论

【10】广而告之：科学网“双百”博主立委四月一日在北京演讲大数据挖掘热度 11 李维 2013-3-20 19:57UPDATE：立委愚人节北京讲演时间地点已经确认，感谢中文信息学会孙教授的邀请和安排，也感谢董振东前辈教授的建议和推举： The loacation is : Room 334, 3rd floor, building 5 Institute of Software, Chinese Academy of Sciences, No. Zhongguancun South 4th Street 10:00~12:00 It' ...个人分类: 立委科普|1283 次阅读|13 个评论

分享【11】Coarse-grained vs. fine-grained sentiment extraction李维 2013-3-12 06:51As for sentiment extraction itself, there are different layers: 1. sentiment classification: thumbs-up and down (or plus neutral) 2. sentiment association: to associate a sentiment with a topic or brand 3. fine-grained sentiment extraction: for example, who made the sentiment comment? about w ...个人分类: 立委科普|671 次阅读|没有评论

分享【12】【“剩女”的去向和出路（1）】热度 2 李维 2013-3-8 20:03在面目可憎的新词“剩女”流行之前，大龄单身女青年的问题就存在，只是问题到如今愈加严重。 前文 说过，尤其是高学历大龄女青年这个群组，在她们可以选择的年龄段，合适的结婚对象比大熊猫还珍稀，因此成为比哥德巴赫还要难解的社会问题。那么从历史上看，她们的去向究竟怎样？今后的出路应该如何？ 我是搞语言处理和 ...个人分类: 立委科普|1035 次阅读|2 个评论

分享【13】 【立委科普：基于关键词的舆情分类系统面临挑战】热度 1 李维 2013-2-15 22:47

Five challenges to keyword-based sentiment classification: (1) domain portability; (2) micro-blogs: sentence/twit classification is a lot tougher than document classification; (3) when big data become small: big data load when sliced and diced based ...个人分类: 立委科普|1372 次阅读|1 个评论

分享【14】曙光在眼前，轻松过个年热度 1 李维 2013-2-9 04:34

QA（Quality Assurance 质量检测）表明，在下领导开发的中文系统质量优良 日期: 02/08/2013 13:38:01 比起我们业已成熟的英文系统，QA 表明： precision （查准率）已经基本达到英文系统的查准率水平； recall （查全率）达到英文查全率的三分之二左右。 要知道，英文系统 ...个人分类: 立委科普|626 次阅读|3 个评论