大数据与网络舆情分析课件.pptx

1、abit.io大数据与网络舆情分析http:/abit.io微趣上海微趣 | abit.io2大数据上海微趣 | abit.io3所有真实用户都不独立存在，紧密的社交圈在帮助用户产生数据。社交大数据的内部爆炸可以为任意分析提供充足的数据支撑上海微趣 | abit.io4超过6亿互联网真实用户档案数据。每天新产生的数亿条的评论，及过去4年间数百亿的各类观点。现在可以在一个平台上掌握所有的这些声音。通过这些大数据可回答以下问题：谁/哪些人在讨论一个什么问题 他们的观点和期望到底是什么可自由组织的问题上海微趣 | abit.io5上海微趣 | abit.io6上海微趣 | abit.io7上海微趣

2、| abit.io8上海微趣 | abit.io9影响力评估上海微趣 | abit.io10用户作息时间上海微趣 | abit.io11群体/个体习惯对比分析（作息，上网）上海微趣 | abit.io12自然状态下的用户言论上海微趣 | abit.io13自然状态下的用户言论上海微趣 | abit.io14移动设备更替上海微趣 | abit.io15社交关系网结构上海微趣 | abit.io16社交关系结构上海微趣 | abit.io17群体/个体兴趣对比分析上海微趣 | abit.io18网络舆情分析上海微趣 | abit.io19微博新浪微博用户 6.5亿，日活跃 4600万，腾讯微博用户

3、 6.2亿，日活跃约 1亿。全国政务微博总数 17万，2012年增长 2.5倍（其中在新浪微博6万）。在新浪微博开通的企业微博总数 27万，2012年增长 1.2倍。微信微信用户 3亿，日活跃约 2亿，公众号约200万，认证公众号与服务号约20万。新一轮的信息爆炸传统门户，论坛有价值信息量大约在一年1亿条左右微博每天产生近2亿条各类内容社交媒体特点海量数据大量长尾和碎片和噪音互联网舆情现状上海微趣 | abit.io20互联网舆情现状上海微趣 | abit.io21在今天的中国，任意可能被在全社会范围内传播的舆情都无法绕开微博这一传播载体。只要内容具有传播价值，数亿微博用户中总有人会将其从门户

4、，论坛，朋友圈及其它各类媒介中放到微博中进行传播，因此微博可以说是大数据时代舆情监测最重要的阵地。微博是目前中国唯一能够满足普通用户将信息传递到全国皆知的需求的平台。当前互联网舆情监测的思路上海微趣 | abit.io22方案及时获取完整获取判别热度判别真假可扩展稳定性API关键词实时获取XXXX非常稳定页面爬虫重要优先较稳定主要的技术路线比较页面爬虫根据采集能力约束主要分为：“全采集”与“组织性采集”。上海微趣 | abit.io23案例 上海法官招嫖事件事件回放：2013.8.2网上开始大量传播以视频截图为依据的披露上海高院法官集体招嫖的事件，该事件在全国范围内造成大范围的传播与讨论，造成

5、恶劣影响，微趣舆情平台在这条暴露微博仅仅转发11次之前就捕获了该微博。案例特点：1. 爆料人在腾讯微博上注册用户并进行发布。2. 该用户爆料时，粉丝仅为9人，即初期整个互联网中仅有9人有较小机会看到并传播该信息。3. 该信息经过4小时左右传播后被删除，删除前仅转发了65次，但最终在全网范围内进行扩散。案例结论：1. 舆情监测必须全平台。2. 如仅监测大号，无法确保舆情监测业务的安全。3. 基于社交网络的舆情传播力非常大，一不注意就造成舆论灾难。上海微趣 | abit.io24大数据采集社交媒体数据量较传统门户论坛增长了数百倍，传统舆情平台技术无力实现全数据采集。微博数据源都是高技术能力的互联网

6、公司，反采集技术成熟，难以攻破。（短信验证，图片识别等）大数据处理利用传统的数据处理与存储方式，要实时处理数以亿计的数据需要投入庞大的硬件，一般公司无法承担。例如邓亚萍的即刻搜索，就投入了近700台高性能服务器提供微博内容的搜索服务，但仍然数据缺失严重。舆情的发现任意舆情系统最终都需要将数据呈现在用户面前，在大量相关数据面前，人一天满负荷浏览最多不会超过2000条微博，但在大数据的基础上，往往相关数据都会超过这个极限。因此如何实时将最重要的舆情信息优先放到用户面前成为重要问题。舆论噪音的辨别与去除社交平台中存在大量受控制的机器账号，总量惊人，这些机器账号可以被利用快速增长某些内容的转发量。需要

7、有技术识别舆情的真假，防止被错误引导。舆情监测的挑战上海微趣 | abit.io25内容传播分析上海微趣 | abit.io26真实传播评估上海微趣 | abit.io27大数据采集从09年开始研发搭建的高效分布式采集平台，将近百个采集点毫无规律地放置在全球各地，使采集能力大增并且不易被平台防抓取技术拦截，已稳定采集4年相关数据。大数据处理自主研发了国际上最先进的非关系型数据库并利用分布式文件系统（hadoop）实现了低成本的高速数据读写。经测试同等硬件环境下，读取速度比SQL Server或Oracle快20倍，写入快5倍。舆情的发现基于国际上一些权威的传播研究论文，设计出能够实时评价舆情重

8、要性的“热度指数”，获得国家相关奖项认可。舆论噪音的辨别与去除探查整个社交网络数亿用户情况，通过真实度算法识别网络机器人，确保去除虚假互联网声音。应对技术上海微趣 | abit.io28微博实时搜索上海微趣 | abit.io29微信实时搜索上海微趣 | abit.io30案例 平度事件最早影响力最大21-24号的数据统计日期微博数转发数评论数微信数3.21486442201294213.22608781142774513.23614362971341003.24262396414241上海微趣 | abit.io31实时意见领袖的监测上海微趣 | abit.io32传播地域评估上海微趣 |

9、abit.io33新媒体下的内容引导什么是传统媒体？电视、广播、报纸、杂志、布告栏、电线杆电视、广播、报纸、杂志、布告栏、电线杆什么是新媒体？网络视频，网络视频，IPTV，移动电视，数字报纸，数字杂志，博客，微，移动电视，数字报纸，数字杂志，博客，微博博新媒体的优势v传播速度更快，信息更及时v覆盖面更广，受众更多v互动性更强新媒体的特点v消解边界v信息多元化和自由选择v突破时空限制v小众化与长尾效应自媒体什么是自媒体？什么是自媒体？作业本v784万粉丝v独特的语言风格，契合时事热点的创作v每条微博都有上千乃至数万转发评论上海微趣 | abit.io40牛鬼蛇神屌丝聚会这是这是什么？什么？王左中

10、右每天一个汉字，读懂中国每天一个汉字，读懂中国小丑出品PS&吐吐槽槽新媒体平台上的内容包装与品牌塑造v独特的原创内容v有针对性的受众群体v紧抓热点v关键的传播点v良好的互动我买了这么多货不对版的植物我会告诉你吗？太长!too long!发布微博时其他考量v发布时间：中午十二点整v后续：由韩寒在十分钟后进行转发v后续：由亭林镇工作室的微博以及其他朋友微博账号进行转发并持续发酵最终结果v超过8.5万次转发，1.7万条评论v名列当日新浪微博热门榜第一位v各传统媒体记者纷纷要求采访事件经过v淘宝网专门发布道歉声明并宣称会处理此事v淘宝公关部负责人亲自致电向我道歉Thank You !abit.iohttp:/abit.io/