【社煤挖掘：川普的葛底斯堡演讲使支持率飙升了吗？】
屏蔽 |||
反正日夜颠倒了，那就较真一下，看看大数据大知识，对于川普的葛底斯堡演说的所谓舆情飙升到底是怎么回事。先给几个links：
DONALD J. TRUMP DELIVERS GROUNDBREAKING CONTRACT FOR THE AMERICAN VOTER IN GETTYSBURG
报道的是本月22日川大叔的历史性演说，旨在振奋人心，做竞选的最后冲刺，大意：
寡人与美国人民有个约定，看我的，believe me
中文舆论中，这篇似乎流传最广：【川普重磅演讲致支持率飙升 全球股市将暴跌?】。
因为川普演说是22日，为了看舆情的飙升对比，可以以22日为中心取前后几天的社会媒体大数据做分析，看个究竟。至少比传统民调打五百、一千个电话来调查，自动民调的大数据（millions 的数据点）还是靠谱一些吧。
这张趋势图怎么看？
1 川普在这个时间区间总体的确是上升。飙升之说，不完全是无中生有（准确地说，其实是捕风捉影，见下）。
2 但是，仔细看舆情（net sentiment）图可以发现，川普这段时间基本上还是一直没有摆脱负面舆情多于正面舆情的局面，舆情曲线除了22号当天短暂超越冰点，总体一直是零下。
3. 飙升之说经不起推敲，因为凡飙升，必须是事件后比事件前的舆情，有明显的飞跃，其实不然。
4. 事实是，川大叔近期舆情的谷底是本月18号（零下20+），从18号到22号 他 deliver speech 前，他的舆情已经有比较明显的提升（从 -20 到 0），而从 22 号 到 25 号，舆情不升反略降，飙升从何谈起？
5. 虽然没有飙升，但川大叔这次表演还是及格的。至少 speech 后，舆情没有大跌，基本保持了接近零度的基本面。
6 由此可见，媒体造势是多么地捕风捉影。以后各位看到这种明显是宣传（propaganda）的帖子，可以多一个心眼了：通常的宣传造势的帖子都在夸大其词（如果不公然颠倒黑白或歪曲事实的话），从所谓“舆情飙升”到预计“股市暴跌”，都是要显示川普演说的重量级。基本是无稽之言，不能当真的。
下图是这个调查区间的数据小结：
这个区间的平均舆情指数是 -9%，2.7 million 的正面评价，3.2 million 的负面评价。
-9% 是一个什么概念，根据我们以往对政治人物的多次舆情调查来看，这不是一个好的舆情，但也不是特别糟糕，属于平均线下。但是，与川普自己的总体舆情比较，这个区间表现良好，有 13 点的提升，但这个提升并非所谓演说飙升带来的。
这是社煤数据源的统计：
从比例看，推特永远是最 dynamic，量也最大，总热议度 34.5 mentions，推特占了 23.9 million。不少社煤的分析 apps 干脆扔掉其他的数据源，只做推特，作为社会媒体的代表，也基本上可以了。但是，感觉上还是，只做推特，虽然大数据之量可以保证，但可能偏差会大一些，因为喜欢上推特跟踪政治人物和话题，吐槽或粉丝的人，只是社会阶层中的一部分，往往是比较狂热的一批。推特这个公共平台，本来就长于偶像和followers（粉丝或“黑”）互动。其他的社会媒体可能更平实一些，譬如 Facebook 上的发言基本是说给朋友圈的。Facebook 也有 1.7 million 的热议。
好，我们把区间放大，看 last 30 days 的趋势，作为这次演说前后趋势的一个背景。
这是 9/28-10/28 的川普与克林顿舆情趋势对比图，by days；仔细解读前，总体印象是够纠缠的。这两位老头老太也真是，剪不断理还乱，不是冤家不碰头，呵呵。两位都那么多丑闻缠身，性格都很tough倔强。看看一个月来 by weeks 的曲线也许更明朗：
不管我多么厌恶川普，也不管我为了厌恶川普而决定选举并不喜欢的克林顿，作为 data scientist，不得不说，希拉里最近的情势不是很乐观：川普居然开始有点儿领先克林顿的趋势了，NND。
上图是热议度（mentions）的对比。这个没的说，川普天生的话题大王，克林顿无论如何也赶不上。
这是舆情烈度的对比：喜欢或厌恶川普的还是更加狂热，虽然印象中希拉里克林顿比起其他政治人物所引起的情绪已经要更趋于激烈了。可是川普是个政治异数，还是更容易引起狂热或争议。
川普在演说中特别强调选举被操纵的危险，他显然在夸大这种危险，为将来的不承认选举结果做铺垫。挺恶心人的。现在的情况是，如果克林顿大幅度领先，川大叔再流氓也没辙。如果是拉锯接近，就麻烦了，老川和川粉几乎肯定要闹事。可现在的选情显得有些胶着拉锯，这也是为什么很多人包括保守派开始有倡议，说为了川普，请投票克林顿。本来我是要投第三党的，或者弃权不投，但是这次选举不同，危险太大，川老是个定时炸弹，而且不可预测。为了防止他撒泼，还是投给克林顿好。至少让他看看，马戏团的表演是上不了台面的，由不得他胡来。沐猴而冠变不成林肯。
对比我 一周前做的自动民调 Big data mining shows clear social rating decline of Trump last month，下面这个品牌对比图似乎更加拉锯，克林顿最近选情不是很佳。
最近30天，克林顿是 -17%，川普是 -19%，略领先于川普。所幸，川普的这次演讲并没有真正扭转两人的差距，从下面这张历史趋势品牌对比看，克林顿从开始的舆情落后，变为领先的趋势还在：
不过最近克林顿的选情是原地踏步，并没有明显进展。比较克林顿的三个圈可知，最淡的圈是过去30天的前10天，明显落后于川普，后两个圈是最近20天，基本原地，只是圈子变大了，说明竞选的投入和力度加大了，但效益并不明显。而从川普方面的三个圈圈看趋势，这老头儿实际的总体趋势是下跌，过去三十天，中间的十天舆情有改观，但最近的十天又倒回去了，虽然热议度有增长。（MD，这个分析没法细做，越做越惊心动魄，很难保持平和的心态，可咱是 data scientist 啊。朋友说，“就是要挖点惊心动魄的”，真心唯恐天下不乱啊。）看看川普的30天社煤的褒贬云图（Word Cloud for pros and cons）和情绪云图（Word Cloud for emotions）吧：
朋友一眼看中了那红红的 fuck 舆情，问：“fuck”的主语和宾语是谁？
主语一般不出现，默认是普罗网虫，fuck 的宾语当然是川普，否则上不来他的负面情绪云图：
天，fuck mentions 占据了数据的 5%，老川在一个月里被社煤普罗 fuck 了近40万次，可见这家伙如果上台会有多少与他不共戴天的子民。看上面怎么吐槽 fuck 的：
fucking moron
fucking idiot
asshole
shithead
you name it，甚至疑似共和党人也fuck他：
Trump is a fucking idiot. Thank you for ruining the Republican Party you shithead.
看 popular media，貌似流传最广的大多是视频：
Tumblr 超越 Facebook 成为社煤老二？
从来没用过 Tumblr 这名字也拗口 怎么这么 popular？
西方媒体吐槽的，男女比较均衡：male 52% female 48%，对比中文社媒，明显是女人少谈政治的：才占25%。这次调查的种族背景分布：
还是白大哥占压倒多数。族裔信息占社煤帖子中的近一半，所以这个社煤族裔分布的情报应该是靠谱的。黑大哥第二，占 13%，亚裔才 6%。墨大哥 8%， 与其人口比例不相称吧（？）：由于语言或文化障碍，under-represented here？？
这个有点意思，喜欢到社煤吐槽的人，集中在周三和周日的晚上，晚九点达到高峰, 譬如 关于川普话题的社煤，在周日晚上九点高达 1,357,766, 一个小时就有一百三十五万帖啊，够大数据吧。
这还才是 sampling 的 data, 推特sampling占总量大约十分之一吧，如果是 data hose （要额外付钱的）一网打尽的话，数据量又要增加一个量级。不过，对于大数据情报挖掘，再增加一个量级已经没有什么意义了，不会实质上改变调查的结果的。说明一下，那个周日的统计量应该是过去一个月的调查中的周日的总和，一个月有四个周日，那个数据应该除以4，然后乘以10，才是川普数据周日九点的那是时间区间的真实量。总之是地地道道的大数据。相比之下，传统民调，不管怎么抽样，感觉都是儿戏，有点胡闹：
500 个电话，说是代表了两亿人的民意舆情，不是儿戏是什么。不过，前大数据时代，那是没办法的办法。自动民调是大势所趋。
下图是影响最大 followers 最多的 authors：
Most mentioned authors below：
什么时代有过如此丰富的信息与如此强大的数据挖掘能力？
RW:
@wei 你实际上可以好好搞一个大选预测引擎，利用你现在的methodology, finetune 一下，可以吸引很多眼球。效果好，下次就可以收费了。一炮而红，还有什么是更有效的marketing?
我:
我要是有微信数据的话，不打炮也会红。什么都不用变，就是现在的引擎，现在的app，只要有微信，什么情报专家也难比拟。为什么现在发布中文舆情挖掘不如英文挖掘那么有底气？不是我中文不行，而是数据源太 crappy 了。闹来闹去也就是新浪微博、天涯论坛、中文推特或脸书。至少全球华人大陆背景的，这个压倒多数，都在用微信，而数据够不着，得不到反映。
李:
@wei 我公司有团队做着类似的事情
我:
你能染指微信数据？
李:
微信个人数据只有腾讯有。
看看流传最广的社煤帖子都是什么？
从 total engagement 指标看，无疑是川普自己的推特账号，以及 Fox ： 这大概是唯一的主流媒体中仅存的共和党的声音了。也不怪，老川在竞选造势中，不断指着鼻子骂主流媒体，甚至刻薄主持人的偏袒。历史上似乎还没有一个候选人与主流媒体如此对着干，也没有一个人被主流媒体如此地厌恶。
展示到这里，朋友转来一个最新的帖子，说是用人工智能预测美国大选，川普会赢：Trump will win the election and is more popular than Obama in 2008, AI system finds，quote：
"But the entrepreneur admitted that there were limitations to the data in that sentiment around social media posts is difficult for the system to analyze. Just because somebody engages with a Trump tweet, it doesn't mean that they support him. Also there are currently more people on social media than there were in the three previous presidential elections."
haha，同行是冤家，他的AI能比我自然语言deep parsing支持的 I 吗？从文中看，他着重 engagement，这玩意儿的本质就是话题性、热议度吧。早就说了，川普是话题大王，热议度绝对领先。（就跟冰冰一样，话题女王最后在舆情上还是败给了舆情青睐的圆圆，不是？）不是码农相轻，他这个很大程度上是博眼球，大家都说川普要输，我偏说他必赢。两周后即便错了，这个名已经传出去了。川普团队也会不遗余力帮助宣传转发这个。
Xi:
那个印度鬼子也有点瞎扯了。
知道ip地址跟知道ssl加密后的搜索的内容是两码事儿啊！
不知道是记者不懂呢，还是这小子就是在瞎胡弄了。
洪:
印度ai公司预测美国大选，有50%以上测准概率，中国ai公司也别放过这个机会
毛:
伟哥为什么认为川普必赢？不是说希拉莉的赢率是 95% 吗？
南山/邓保军: 不是wei说的
我:
这叫横插一杠子。川普要赢，我去跳河。。。
毛:
哦，伟哥是在转述。
我:
跳河是玩笑了，我移民回加拿大总是可以吧。
李:
韩国这个料就爆得好。希拉里在关键时刻，也有可能爆大料
我:
问题是谁爆谁的料。两人都到了最后的时刻，似乎能找到的爆料也都差不多用了。再不用就不赶趟了。很多地方的提早投票都已经开始了，有杀手锏最多再等两三天是极限了，要给媒体和普罗一个消化和咀嚼的时间。
毛:
@wei 但是老印的那个系统并非专为本届大选而开发，并且说是已经连续报准了三届呀？
我:
我的也不是专为大选开发的呀。而且上次奥巴马决定用我们，你看他就赢了，我们也助了一臂之力呢。
毛:
你们两家的配方不同？
我:
奥巴马团队拥抱新技术，用舆情挖掘帮助监测调整竞选策略，这个比预测牛一点点吧。预测是作为 outsider 来赌概率。我这个是 engage in the process、技术提供助力 呵呵。当时不允许说的。
李:
奥巴马有可能会去硅谷打工唉
毛:
是否在舆情之外还有什么因素？
李:
原来你那个奥巴马照片不是蜡像呀
我：
假做真时真亦假呀。
【相关】
Big data mining shows clear social rating decline of Trump last month
Clinton, 5 years ago. How time flies …
欧阳峰：论保守派该投票克林顿
http://blog.sciencenet.cn/blog-362400-1011526.html
上一篇：为了川普，我选克林顿。
下一篇：Did Trump's Gettysburg speech enable support rate to soar?
