《大数据》配套之八：第7章-大数据可视化课件.pptx

1、全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用大数据B I G第七章大数据可视化7.1数据可视化基础7.2大数据可视化方法7.3大数据可视化软件与工具习题全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用of4127.1数据可视化基础第七章 大数据可视化of413u 大数据可视化核心问题 随着互联网技术的发展，尤其是移动互联技术的发展，网络空间的数据量呈现出爆炸式增长。如何从这些数据中快速获取自己想要的信息，并以一种直观、形象的方式展现出来？这就是大数据可视化要解决的核心问题。u 数据可视化解释 数据可视化，最早可追溯到20世纪50年代，它是一门关于数据视觉表现形式的科学技

2、术研究。数据可视化是一个处于不断演变之中的概念，其边界在不断地扩大，主要指的是技术上较为高级的技术方法，而这些技术方法允许利用图形图像处理、计算机视觉及用户界面，通过表达、建模，以及对立体、表面、属性及动画的显示，对数据加以可视化解释。u 本章重点讲解 与立体建模之类的特殊技术方法相比，数据可视化所涵盖的技术方法要广泛得多。本章将重点对大数据可视化的基础知识、基本概念及大数据可视化的常用工具进行详细讲解。7.1数据可视化基础第七章 大数据可视化可视化的基本特征易懂性必然性片面性专业性数据可视化的片面性特征要求可视化模式不能替代数据本身，只能作为数据表达的一种特定形式专业化特征是人们从可视化模型

3、中提取专业知识的环节，它是数据可视化应用的最后流程可视化可以使得碎片化的数据转换为具有特定结构的知识，从而为决策支持提供帮助大数据所产生的数据量必然要求人们对数据进行归纳总结，对数据的结构和形式进行转换处理of4147.1.1可视化的基本特征7.1数据可视化基础第七章 大数据可视化7.1.2可视化的目标和作用数据可视化的作用主要包括数据表达、数据操作和数据分析3个方面，它是以可视化技术支持计算机辅助数据认识的3个基本阶段。数据表达数据表达是通过计算机图形图像技术来更加友好地展示数据信息，方便人们阅读、理解和运用数据。常见的形式如文本、图表、图像、二维图形、三维模型、网络图、树结构、符号和电子地

4、图等。数据操作数据操作是以计算机提供的界面、接口、协议等条件为基础完成人与数据的交互需求，数据操作需要友好的人机交互技术、标准化的接口和协议支持来完成对多数据集合或者分布式的操作。数据分析数据可视化可以有效地表达数据的各类特征，帮助人们推理和分析数据背后的客观规律，进而获得相关知识，提高人们认识数据的能力和利用数据的水平。of4157.1数据可视化基础第七章 大数据可视化7.1.3数据可视化流程数据获取主动式是以明确的数据需求为目的，如卫星影像、测绘工程等；被动式是以数据平台为基础，由数据平台的活动者提供数据来源，如电子商务、网络论坛等。数据处理数据处理是指对原始的数据进行质量分析、预处理和计

5、算等步骤。数据处理的目标是保证数据的准确性、可用性。12可视化模式可视化模式是数据的一种特殊展现形式，常见的可视化模式有标签云、序列分析、网络结构、电子地图等。可视化模式的选取决定了可视化方案的雏形。可视化应用可视化应用主要根据用户的主观需求展开，最主要的应用方式是用来观察和展示，通过观察和人脑分析进行推理和认知，辅助人们发现新知识或者得到新结论。34of416第七章大数据概念与应用7.1数据可视化基础7.2大数据可视化方法7.3大数据可视化软件与工具习题全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用of4177.2大数据可视化方法第七章 大数据可视化7.2.1文本可视化 标签云o

6、f418如图所示是一种称为标签云（Word Clouds或Tag Clouds）的典型的文本可视化技术。它将关键词根据词频或其他规则进行排序，按照一定规律进行布局排列，用大小、颜色、字体等图形属性对关键词进行可视化。一般用字号大小代表该关键词的重要性，该技术多用于快速识别网络媒体的主题热度。7.2大数据可视化方法第七章 大数据可视化7.2.1动态文本时序信息可视化 有些文本的形成和变化过程与时间是紧密相关的，因此，如何将动态变化的文本中时间相关的模式与规律进行可视化展示，是文本可视化的重要内容。引入时间轴是一类主要方法，常见的技术以河流图居多。河流图按照其展示的内容可以划分为主题河流图、文本河

7、流图及事件河流图等。of4197.2大数据可视化方法第七章 大数据可视化7.2.2网络图可视化 （1）Nodal研究人员及其组织机构社会网络图 （2）基于节点连接的图和树可视化方法of41107.2大数据可视化方法第七章 大数据可视化7.2.2网络图可视化 of4111（3）基于空间填充的树可视化（4）基于边捆绑的大规模密集图可视化7.2大数据可视化方法第七章 大数据可视化7.2.3时空数据可视化 流式地图结合了捆绑技术的流式地图结合了密度图技术的流式地图of41127.2大数据可视化方法第七章 大数据可视化7.2.3时空数据可视化 时空立方体融合散点图与密度图技术的时空立方体融合堆积图技术的

8、时空立方体 of41137.2大数据可视化方法第七章 大数据可视化7.2.4多维数据可视化 of4114 1、散点图（Scatter Plot）散点图（Scatter Plot）是最为常用的多维可视化方法。二维散点图将多个维度中的两个维度属性值集合映射至两条轴，在二维轴确定的平面内通过图形标记的不同视觉元素来反映其他维度属性值。二维散点图能够展示的维度十分有限，研究者将其扩展到三维空间，通过可旋转的Scatter Plot方块（dice）扩展了可映射维度的数目，如图所示。散点图适合对有限数目的较为重要的维度进行可视化，通常不适于需要对所有维度同时进行展示的情况。7.2大数据可视化方法第七章 大

9、数据可视化7.2.4多维数据可视化 2、投影（Projection）投影是能够同时展示多维的可视化方法之一。VaR将各维度属性列集合通过投影函数映射到一个方块形图形标记中，并根据维度之间的关联度对各个小方块进行布局。基于投影的多维可视化方法一方面反映了维度属性值的分布规律，同时也直观地展示了多维度之间的语义关系。of41157.2大数据可视化方法第七章 大数据可视化7.2.4多维数据可视化 3、平行坐标（Parallel Coordinates）平行坐标是研究和应用最为广泛的一种多维可视化技术，将维度与坐标轴建立映射，在多个平行轴之间以直线或曲线映射表示多维信息。平行坐标多维可视化技术集成了散

10、点图和柱状图的平行坐标工具平行坐标图聚簇可视化of4116第七章大数据概念与应用7.1数据可视化基础7.2大数据可视化方法7.3大数据可视化软件与工具习题全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用of41177.3大数据可视化软件与工具第七章 大数据可视化7.3.1Excel利用Excel的可视化规则实现数据的可视化展示Excel图表样式利用Excel图表中的折线图制作的“工资”和“年龄”数据展示Excel是Microsoft Office的组件之一，是由Microsoft为Windows和Apple Macintosh操作系统的计算机编写和运行的一款表格计算软件。Excel

11、是微软办公套装软件的一个重要组成部分，它可以进行各种数据的处理、统计分析、数据可视化显示及辅助决策操作，广泛地应用于管理、统计、财经、金融等众多领域。of41187.3大数据可视化软件与工具第七章 大数据可视化7.3.2ProcessingProcessing在数据可视化领域有着广泛的应用，可制作信息图形、信息可视化、科学可视化和统计图形等。下面通过一个简单实例来认识一下如何利用Processing实现数据的可视化展示。State NameLocation-xLocation-yvalueAlabama(AL)4392700.1Alaska(AK)94325-5.3Arizona(AZ)148

12、2413Arkansas(AR)3682477California(CA)5617611Colorado(CO)2201831.5Washington(WA)92382.2West Virginia(WV)4961785.4Wisconsin(WI)3921033.1Wyoming(WY)207125-6 美国各州GDP增长率（数据随机生成）of41197.3大数据可视化软件与工具第七章 大数据可视化7.3.2Processing第一步，声明（初始化）变量，代码如下：PImage mapImage;Table locationTable;Table nameTable;int rowCount

13、;Table dataTable;float dataMin=MAX_FLOAT;float dataMax=MIN_FLOAT;of41207.3大数据可视化软件与工具第七章 大数据可视化7.3.2Processing 第二步，初始化画布，加载（生成）数据，代码如下：void setup()size(640,400);mapImage=loadImage(map.png);/加载地图 locationTable=new Table(locations.tsv);/加载位置信息 nameTable=new Table(names.tsv);/加载名称信息 rowCount=locationTa

14、ble.getRowCount();dataTable=new Table(random.tsv);/加载随机数据 for(int row=0;row dataMax)dataMax=value;if(value dataMin)dataMin=value;PFont font=loadFont(Univers-Bold-12.vlw);textFont(font);smooth();noStroke();of41217.3大数据可视化软件与工具第七章 大数据可视化7.3.2Processing第三步，调用绘制函数绘制图形，代码如下：void draw()background(255);ima

15、ge(mapImage,0,0);for(int row=0;row=0)radius=map(value,0,dataMax,1.5,15);fill(#333366);/blue else radius=map(value,0,dataMin,1.5,15);fill(#ec5166);/red ellipseMode(RADIUS);ellipse(x,y,radius,radius);if(dist(x,y,mouseX,mouseY)radius+2)fill(0);textAlign(CENTER);String name=nameTable.getString(abbrev,1)

16、;text(name+value,x,y-radius-4);7.3大数据可视化软件与工具第七章 大数据可视化7.3.3NodeXLNodeXL 不仅具备常见的分析功能，如计算中心性、Page Rank值、网络连通度、聚类系数等，还能对暂时性网络进行处理。在布局方面，NodeXL主要采用力导引布局方式。NodeXL 的一大特色是可视化交互能力强，具有图像移动、变焦和动态查询等交互功能。其另一特色是可直接与互联网相连，用户可通过插件或直接导入E-mail或微博网页中的数据。准备数据步骤生成顶点生成网络图of41237.3大数据可视化软件与工具第七章 大数据可视化of4124 1、准备数据从开始菜

17、单中打开一个NodeXL的模板，在“Edges”工作表中输入准备好的数据，如图所示。每条边包含两个Vertex及其相关的属性（Color、Width、Label等）。ResearchersResearch OrganizationNatasa Milic-FraylingMicrosoft Research CambridgeMarc SmithConnected Action Consulting GroupBen ShneidermanUniversity of MarylandDerek HansenBrigham Young UniversityCody DunneUniversity

18、 of MarylandEduarda Mendes RodriguesUniversity of PortoUdayan KhouranaUniversity of MarylandJure LeskovecStanford UniversityBernie HoganOxford Internet InstituteItai HimelboimUniversity of GeorgiaLibby HemphillIllinois Institute of TechnologyRobert AcklandAustralian National UniversityScott GolderCo

19、rnell UniversityVladimir BarashMorningside AnalyticsNodeXL主要研究人员及其所在研究组织在“Edge”工作表中输入边的信息7.3大数据可视化软件与工具第七章 大数据可视化of41252、生成顶点在“Edge”工作表中录入边的信息后，打开“Graph Metrics”对话框，勾选所有可选项，单击“Calculate Metri”按钮，此时系统会自动识别出所有的顶点信息，并将其记录在“Vertex”工作表中，同时还可以得到图形度量方面的有关数值，例如，图形类型、顶点个数、边数目、重复的边数目、总边数、图形密度等数据。然后，打开“Autofil

20、l Columns”对话框，设置自动填充的选项值（这些值来自计算出的图形度量数据）。用户也可以在“Vertex”工作表中对每个顶点的属性进行自定义设置，使得最终的网络图呈现出不同的样式。本例中设置每个顶点“Shape”属性值为“Image”，“Image File”输入顶点的图片地址（也可以是URL）。“Graph Metrics”对话框“Autofill Columns”对话框系统生成的“Vertex”工作表数据7.3大数据可视化软件与工具第七章 大数据可视化of41263、生成网络图上述两个步骤设置完毕后，单击“Refresh Graph”按钮即可看到最终的网络图。从网络图中可以清楚地看到

21、参与NodeXL研究的组织机构（内层节点）及研究人员（外层节点）。使用可以得到图形度量方面的有关数值，这些数值清晰明了，获得的基本数值有图形类型、顶点个数、边数目、重复的边数目、总边数、图形密度等数据。最终的网络图7.3大数据可视化软件与工具第七章 大数据可视化7.3.4EChartsECharts自2013年6月正式发布1.0版本以来，在短短两年多的时间，功能不断完善，截至目前，ECharts已经可以支持包括折线图（区域图）、柱状图（条状图）、散点图（气泡图）、K线图、饼图（环形图）、雷达图（填充雷达图）、和弦图、力导向布局图、地图、仪表盘、漏斗图、事件河流图12类图表，同时提供标题、详情气

22、泡、图例、值域、数据区域、时间轴、工具箱7个可交互组件，支持多图表、组件的联动和混搭展现。ECharts制作的图表of41277.3大数据可视化软件与工具第七章 大数据可视化of4128ECharts图表工具为用户提供了详细的帮助文档，这些文档不仅介绍了每类图表的使用方法，还详细介绍了各类组件的使用方法，每类图表都提供了丰富的实例。用户在使用时可以参考实例提供的代码，稍加修改就可以满足自己的图表展示需求。接下来结合ECharts提供的一个 2010年世界人口分布图的实例来详细介绍一下ECharts的使用方法。如图所示是2010年世界人口数据。国 家人口数量China1 359 821 465I

23、ndia1 205 624 648United States of America312 247 116United Kingdom62 066 3502010年世界人口数据7.3大数据可视化软件与工具第七章 大数据可视化of4129实现代码：option=title:text:World Population(2010),subtext:from United Nations,Total population,both sexes combined,as of 1 July(thousands),sublink:http:/esa.un.org/wpp/Excel-Data/populati

24、on.htm,left:center,top:top ,tooltip:trigger:item,formatter:function(params)var value=(params.value+).split(.);value=value0.replace(/(d1,3)(?=(?:d3)+(?!d)/g,$1,)+.+value1;return params.seriesName+params.name+:+value;,toolbox:show:true,orient:vertical,left:right,top:center,feature:mark:show:true,dataV

25、iew:show:true,readOnly:false,restore:show:true,saveAsImage:show:true ,visualMap:min:0,max:1000000,text:High,Low,realtime:false,calculable:true,color:orangered,yellow,lightskyblue ,series:name:World Population(2010),type:map,mapType:world,/world、china、europe等 roam:true,itemStyle:emphasis:label:show:t

26、rue ,data:/此处是我们要展示的数据（如果是网络动态数据，可以在程序中用json数据实时传递过来name:China,value:1359821.465,name:India,value:1205624.648,name:United States of America,value:312247.116,;7.3大数据可视化软件与工具第七章 大数据可视化of4130上方的图所示是利用ECharts展示的可交互的世界人口分布图。用户通过将鼠标移入不同的国家（地区）内部，即可查看到该国家（地区）的人口数量；左下角的垂直滚动条可以用于设置地图上可视数据的最大值和最小值，用户可以通过调整滑块来

27、展示某个区间的数据。例如，下方图所示为人口数量超过1亿的国家（地区）分布情况。利用ECharts展示的可交互的世界人口分布图人口数量超过1亿的国家（地区）分布情况7.3大数据可视化软件与工具第七章 大数据可视化of4131通过对ECharts案例代码的分析，当用户需要在地图上展示自己的数据时，只需要更改相关的几个属性值即可。如图所示是借助ECharts制作的许昌学院2015年新生生源分布图。在上面的实例代码基础上要实现这个实际问题的图表展示非常简单，只需要更改代码中的两处即可：一处是地图类型（mapType），将字符串“world”改为“china”；另一处是数据（Data），这个根据具体的需求，将数据传入ECharts工具中。借助ECharts 制作的2015年新生生源分布图（按省、直辖市、自治区统计）感谢聆听