大数据概述-大数据概念-大数据的特点课件.pptx

1、大数据概述大数据的特点大数据的特点大数据的特点从对象角度看，大数据是大小超出典型数据库软件采集、储存、管理和分析等能力的数据集合。大数据并非大量数据的简单无意义的堆积，数据量大并不意味着一定具有可观的利用前景。数据间是否具有结构性和关联性，是“大数据”与“大规模数据”的重要差别。大数据的特点从技术角度看，大数据技术是从各种各样类型的大数据中，快速获得有价值信息的技术及其集成。“大数据”与“大规模数据”、“海量数据”等类似概念间的最大区别，就在于“大数据”这一概念中包含着对数据对象的处理行为。为了能够完成这一行为，从大数据对象中快速挖掘更多有价值的信息，使大数据“活起来”，就需要综合运用灵活的、

2、多学科的方法，包括数据聚类、数据挖掘、分布式处理等，而这就需要拥有对各类技术、各类软硬件的集成应用能力。可见，大数据技术是使大数据中所蕴含的价值得以发掘和展现的重要工具。大数据的特点从应用角度看，大数据是对特定的大数据集合、集成应用大数据技术、获得有价值信息的行为。正由于与具体应用紧密联系，甚至是一对一的联系，才使得“应用”成为大数据不可或缺的内涵之一。1.数据量大1.数据量大n根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律）n人类在最近两年产生的数据量相当于之前产生的全部数据量n预计到2020年，全球将总共拥有35ZB的数据量，相较于201

3、0年，数据量将增长近30倍2.数据类型繁多n 大数据是由结构化和非结构化数据组成的 10%的结构化数据，存储在数据库中 90%的非结构化数据，它们与人类信息密切相关2.数据类型繁多pWeb 1.0数据文本图像视频pWeb 2.0数据查询日志/点击流Twitter/Blog/SNSWikiq 非结构化数据类型多样 邮件、视频、微博 位置信息、链接信息 手机呼叫、网页点击“长微博”2.数据类型繁多p科学研究基因组LHC 加速器地球与空间探测p企业应用Email、文档、文件应用日志交易记录3.处理速度快p 从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少p 1秒定律：这一点也是和传统的数据挖掘技术有着本质的不同3.处理速度快Google Dremel数据模型4.价值密度低价值密度低，商业价值高以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒，但是具有很高的商业价值4.价值密度低 科学研究 企业应用 社会网络