大数据培训课件.pptx

1、为什么我们要关注“大数据”？l 2015年3月，马云做为德国汉诺威IT博览会(CeBIT)全球唯一受邀演讲企业家代表 “中国创造”引领关注！l 马云认为，D！economy与其说数字经济，不如说是数据经济。未来三十年，因为数据经济，人类社会将会真正进入巨大的变革时代。“未来的世界，我们将不再由石油驱动，而是由数据驱动；生意将是C2B而不是B2C，用户改变企业，而不是企业向用户出售因为我们将有大量的数据!目录1 大数据时代来临2 什么是大数据4 大数据发展前景6 大数据主要技术介绍3 大数据应用领域及产品5 大数据就业前景华尔街日报将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术

2、变革。麦肯锡公司的报告指出数据是一种生产资料，大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定：大数据为新财富，价值堪比石油。大数据时代来临大数据就在我们身边！l 2013 年中国产生的数据总量超过0.8ZB（相当于8亿TB），2 倍于2012 年，相当于2009 年全球的数据总量。预计到2020 年，中国产生的数据总量将是2013年的10倍，超过8.5ZB。（来源:ZDNET数据中心2013：硬件重构与软件定义年度技术报告）l 最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB，它们按照进率1024

3、（2的十次方）来计算：-8 bit = 1 Byte-1 KB = 1,024 Bytes-1 MB = 1,024 KB = 1,048,576 Bytes-1 GB = 1,024 MB = 1,048,576 KB-1 TB = 1,024 GB = 1,048,576 MB- - 1 DB = 1,024 NB = 1,048,576 BBBAT之大数据百度根据公开的信息，作为全球最大的中文搜索引擎，百度每天响应来自138个国家和地区的数十亿次请求，百度每日新增数据10TB，要处理超过100PB的数据，从浩如烟海的信息中精确抓取约10亿网页，同时索引库还拥有千亿级在线索引能力，以帮助用

4、户完成搜索过程。面对海量的大数据，百度正在通过自建数据中心，开发了自己的大数据存储系统，并使用了多项新技术。计划投资47.08亿元的百度云计算（山西阳泉）中心已于2012年8月奠基，该项目预计2015年完工。建成后的百度云计算（山西阳泉）中心数据存储量将超过4000PB，可存储的信息量相当于20多万个中国国家图书馆的藏书总量。BAT之大数据腾讯2013年，腾讯QQ拥有亿用户，亿移动用户，在数据仓库存储的数据量单机群数量已达到4400台，总存储数据量经压缩处理以后在100PB左右，并且这一数据还在以日新增200TB到300TB，月增加10%的数据量不断增长，现在正在为1000个PB做准备。亚洲最

5、大的数据承载中心，腾讯天津研发与数据存储中心总建筑面积9.33万平方米，服务器托管能力超过10万台。什么是大数据？l 维克托迈尔-舍恩伯格、肯尼斯库克耶的大数据时代： 大数据的4V特点：Volume（大量）Velocity（高速）Variety（多样）Value（价值）大数据商务智能的应用和技术数据收集行业数据企业数据公共数据个人数据数据分析（BI）报表系统商务智能数据挖掘知识利用决策支持智慧城市工业4.0大数据商务智能的应用和技术大数据商务智能的应用和技术大数据商务智能的应用和技术大数据商务智能的应用和技术发展前景就业前景 当国家从国家战略的高度去推动大数据产业的前进，对于一个蓬勃兴起的新型

6、产业来说是一个巨大的机会，也是对于我们每一个能够赶上大数据时代的人的一个机会！ 中国有近14亿人口，960万平方公里，无数家IT企业。比如每一个人点击一下微信，微信后台就会产生超过14亿次的点击量及行为轨迹，不一而足所以我们一直生活在大数据的周围，前景非常广阔！就业要求学习？ 如何学习？l自学l 老师帮忙 学习那些内容？ Apache、Linux、DBApache HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。Apache Hadoop 生态圈Apache Hadoop 生态圈