数据与大数据-完整版课件.pptx

1、我们毕业啦其实是答辩的标题地方第一章 数据与信息1.5数据与大数据1.5.1大数据的概念1.5.2大数据的特征目录1.5.3大数据思维1.5.4大数据对社会的影响概念特征思考练习思维影响13我们需要具备什么我们需要具备什么样的思维样的思维2对社会有些什对社会有些什么影响么影响4大数据，你从哪来大数据，你从哪来你是谁你是谁概念特征思考练习思维影响中国网民数量：7.51亿半年增长率：2.7%中国注册网站数量：344.3万个手机网民：7.236亿 占网民总数：96.3%月均网络交易：16亿笔 每日新发微博数量：1亿+条 注册微博用户数：2.9071亿 发布的网页数量：866亿页年增速：40%网络直播

2、用户：3.43亿 占网民总数：47.1%概念特征思考练习思维影响很多人还没搞清楚什么是PC互联网，移动互联来了；我们还没搞清楚移动互联的时候，大数据时代又来了！马云概念特征思考练习思维影响 大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据就是“未来的新石油”。全球信息咨询机构国际数据公司（IDC）对大数据的技术定义是：通过高速捕捉、发现或分析，从大容量数据中获取价值的一种新的技术架构。所谓“大数据”(big data)指的是这样一种现象：一个公司日常运营所生成和积累用户行为数据“增长如此之快，以至于难以使用现有的数据库管理工具来驾驭

3、，困难存在于数据的获取、存储、搜索、共享、分析和可视化等方面。”这些数据量是如此之大，已经不是以我们所熟知的多少G和多少T为单位来衡量，而是以P(1000个T)，E(一百万个T)或Z(10亿个T)为计量单位，所以称之为大数据。大数据概念大数据概念概念特征思考练习思维影响n 数据类型多n越来越多非结构化数据；音频、食品，地理位置信息等多类型数 据对数据处理能力提出更高要求。n 数据价值高n海量数据带来了巨大的商业价值。数据之间关联性支持深层的数据挖掘。大数据的特点大数据的特点-4V-4V理论理论n 数据处理速度快 n 对数据实时处理有着极高的要求，通过传统数据库查询方式得到的“当前结果”很可能已

4、经没有价值。n 数据规模大n从TB跃升到PB甚至EB。一组公式：1024GB=1TB;1024TB=1PB;1024PB=1EB。概念特征思考练习思维影响IBM C&P Industry需求海量数据存储技术实时数据处理技术数据高速传输技术搜索技术描述分布式文件系统流计算引擎服务器/存储间高速通信文本检索、智能搜索、实时搜索技术Hadoop，x86/MPPMap ReduceStreaming DataInfini BandEnterpriseSearch数据分析技术大数据涉及的关键技术大数据涉及的关键技术Text Analytics Engine 自然语言处理、文本情感分析、Visual Da

5、ta Modeling 机器学习、聚类关联、数据模型概念特征思考练习思维影响顾客顾客一次购买商品一次购买商品 1面包、黄油、尿布、牛奶面包、黄油、尿布、牛奶 2咖啡、糖、小甜饼、鲑鱼咖啡、糖、小甜饼、鲑鱼 3面包、黄油、咖啡、尿布、牛奶、鸡蛋面包、黄油、咖啡、尿布、牛奶、鸡蛋 4面包、黄油、鲑鱼、鸡面包、黄油、鲑鱼、鸡 5鸡蛋、面包、黄油鸡蛋、面包、黄油 6鲑鱼、尿布、牛奶鲑鱼、尿布、牛奶 7面包、茶叶、糖、鸡蛋面包、茶叶、糖、鸡蛋 8咖啡、糖、鸡、鸡蛋咖啡、糖、鸡、鸡蛋 9面包、尿布、牛奶、盐面包、尿布、牛奶、盐10茶叶、鸡蛋、小甜饼、尿布、牛奶茶叶、鸡蛋、小甜饼、尿布、牛奶品种计数项:品种

6、面包6牛奶5尿布5鸡蛋5黄油4糖3咖啡3鲑鱼3小甜饼2鸡2茶叶2盐1总计41概念特征思考练习思维影响大数据时代这部书算是易懂的，因为它是从宏观的角度讲了大数据时代带来的思维变革，还有很多丰富详实的案例，但并不涉及数据处理细节那些琐碎的东西，所以对于非专业人士来讲读起来并不困难甚至可以说是有趣的。概念特征思考练习思维影响大数据时代的核心价值大数据时代的核心价值数据分析数据分析什么是数据分析什么是数据分析概念特征思考练习思维影响数据分析有哪些类型描述性描述性数据分析探索性探索性验证性验证性对比分析法对比分析法平均分析法平均分析法交叉分析法交叉分析法初级数据分析初级数据分析高级数据分析高级数据分析相

7、关分析相关分析因子分析因子分析回归分析回归分析概念特征思考练习思维影响明确区分大数据思维与传统的思维方式。例如：方式传统思维方式大数据思维方式上课方式黑板、粉笔多媒体、PPT出行方式人工取票APP购买、身份证一卡通销售方式传统商铺网上购物商城、淘宝概念特征思考练习思维影响大数据的价值体现在以下几个方面：1)对许多顾客供给产品或服务的企业可以运用大数据进行精准营销2)做小而美形式的中小微企业可以运用大数据做服务转型3)面对互联网压力之下有必要转型的传统企业需求与时俱进充沛运用大数据的价值概念特征思考练习思维影响数据给我们带来的好处1、大数据便利我们的生活：自助缴水、电、燃气、电视费，汽车摇号、手机充值、违章查询、公积金查询、手机代开发票、查询法院案子进展这是运用大数据促进保证和改善民生的典型事例。此外，大数据还运用到智能家居中，智能照明体系等。概念特征思考练习思维影响数据给我们带来的好处概念特征思考练习思维影响数据给我们带来的好处概念特征思考练习思维影响数据给我们带来的好处概念特征思考练习思维影响大数据的弊端概念特征思考练习思维影响大数据的弊端概念特征思考练习思维影响1.学生学籍系统中存放着大量的学生数据，这些数据是否属于大数据?为什么?2.在处理数据时，往往会选择“抽样数据”或“全样本数据”进行分析，请比较这两种分析方式的特点，并举例说明。