计算机与信息技术应用基础课件-第6章-大数据概论.pptx

1、计算机中计算机中心心概论导学导学一、学习目标一、学习目标1.理解大数据基本概念、发展概况、掌握数据结构类型、大数据特点。了解大数据的关键技术。2.了解大数据分析处理的典型工具。3.了解数据可视化相关知识。二、重点、难点二、重点、难点1.重点在于大数据基本概念的理解、大数据关键技术的掌握。2.难点在于大数据分析处理工具的理解。6.1大数据概述大数据概述 6.1.1 大数据的基本概念 大数据，或称巨量资料，指的是所涉及的数据规模巨大，数据种类繁多到无法通过目前主流软件和硬件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策的有力技术支撑。知识拓展概述关键技术典型工具可视化6.1大数

2、据概述大数据概述 6.1.2 大数据的发展趋势 60、70 年代的大型机浪潮 80年代的小型机 90 年代微处理器和个人计算机开始普及 现阶段大数据时代知识拓展概述关键技术典型工具可视化6.1大数据概述大数据概述 6.1.3 大数据时代的数据格式特征 结构化数据 半结构化数据 非结构化数据 知识拓展概述关键技术典型工具可视化6.1大数据概述大数据概述6.1.4 基本架构 1.数据层数据层：大数据来源非常广泛，包括结构化、半结构化和非结构化的人类日常生活中产生的海量数据。2.数据存储层数据存储层：数据源获取数据，并将其发送到数据整理组件或存储在指定的位置中，也可将数据转换为需要的格式。3.分析层

3、分析层：通常分析层从存储层里读取、分析、解释数据，也可以直接从数据源访问数据。4.使用层使用层：使用层运用分析层所提供的输出，用户可以是可视化应用程序、用户、业务流程或服务。知识拓展概述关键技术典型工具可视化知识拓展概述关键技术典型工具可视化6.1.5 大数据的特点 大数据具有“4V+1O”的特点 （1）Variety （2）Volume （3）Velocity （4）Vitality （5）On-line知识拓展概述关键技术典型工具可视化6.1大数据概述大数据概述 6.1.5 大数据的特点 传统数据与大数据的特点比较知识拓展概述关键技术典型工具可视化6.2 大数据的关键技术 1.大数据采集技

4、术 2.大数据预处理技术 3.大数据存储及管理技术 4.大数据分析技术 5.大数据展现与应用技术知识拓展概述关键技术典型工具可视化6.3大数据分析处理的典型工具 6.3.1 Hadoop概述 Hadoop是一个开源的通过Java语言实现的搜索引擎。能够对大量数据进行分布式处理的软件框架。由于其并行的方式工作，处理速度极高，同时具有可伸缩性，能够处理 PB 级数据。作为一个分布式计算平台，用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。知识拓展概述关键技术典型工具可视化6.3大数据分析处理的典型工具 6.3.2 Apache Spark概述 在大数据领域，Apache Spark

5、（以下简称Spark）通用并行分布式计算框架越来越受人瞩目。Spark在2009年启动，2010年开源，其内存计算框架适合各种迭代算法和交互式数据分析，能够提升大数据处理的实时性和准确性，能够更快速的进行数据分析。现已逐渐获得很多企业的支持，如阿里巴巴、百度、网易、英特尔等公司。知识拓展概述关键技术典型工具可视化Hadoop与与Spark的区别的区别知识拓展概述关键技术典型工具可视化6.4 数据可视化 6.4.1 数据可视化概述 数据可以拥有丰富的表现形式，如柱形图、饼图、表格等多种传统的数据表现形式已经被大多数用户所接受。但是，为了适应现代多种形式信息的表达需求，更有效地向用户传达信息，一些

6、具有现代感的表达方式应运而生。知识拓展概述关键技术典型工具可视化6.4.1 数据可视化概述 1.传统的表达方式（1）柱形图 （2）折线图知识拓展概述关键技术典型工具可视化6.4.1 数据可视化概述 1.传统的表达方式（3）饼图 （4）散点图知识拓展概述关键技术典型工具可视化6.4.2 数据可视化表达方式 1.传统的表达方式（5）气泡图 （6）雷达图知识拓展概述关键技术典型工具可视化6.4.2 数据可视化表达方式 2.现代的表达方式 （1）概念图 （2）新闻展示（3）数据展示 （4）显示关联知识拓展概述关键技术典型工具可视化6.4.3 数据可视化工具数据可视化工具 1.在线数据可视化工具（1）G

7、oogle Chart API （2）Flot知识拓展概述关键技术典型工具可视化6.4.3 数据可视化工具数据可视化工具 1.在线数据可视化工具（3）Raphal （4）D3（5）Visual.ly知识拓展概述关键技术典型工具可视化6.4.3 数据可视化工具数据可视化工具 2.互动图形用户界面控制（1）Crossfilter（2）Tangle知识拓展概述关键技术典型工具可视化6.4.3 数据可视化工具数据可视化工具 3.三维工具（1）Three.js（2）PhiloGL知识拓展概述关键技术典型工具可视化6.4.3 数据可视化工具数据可视化工具 4.地图工具（1）Google Maps（2）Mo

8、dest Maps（3）PolyMaps 5.高级工具（1）Processing知识拓展概述关键技术典型工具可视化6.4.3 数据可视化工具数据可视化工具（2）NodeBox（3）R（4）Weka知识拓展概述关键技术典型工具可视化知识拓展知识拓展 1.大大数据最新技术数据最新技术 2.大数据发展趋势大数据发展趋势知识拓展基本概念系统组成硬件组成信息编码 本章主要介绍了大数据的基本概念、特点、技术架构，针对大数据关键技术进行了较为详细的阐述，对大数据处理分析中常用工具作了详细介绍和对比，最后介绍了数据可视化的相关内容。通过本章的学习可以对大数据技术有初步的了解，有助于我们更好地应对未来信息技术的变革。