大数据的应用学习路线图课件.pptx

1、大数据的应用“大数据的应用”学习路线图深入深入认知认知初识初识大数据算法与理论大数据系统与实践NoSQLHadoop大数据带来的思维变化大数据带来的价值链大数据发展现状与未来大数据 vs 人类什么是大数据大数据的特性大数据与传统技术的关系大数据与其他新兴技术的关系什么是大数据 百度百科：大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯资讯。 维基百科：大数据是由数量巨大、结构复杂、类型众多数据构成的数据集合数据集合，是基于云计算的数据处理与应用模式，通过数据的整

2、合共享，交叉复用形成的智力资源智力资源和知识服务知识服务能力。 我的观点：大数据是由大量异构的数据组成的数据集合数据集合，它是可以应用合理的数学算法或工具从中找出有价值的信息，为人们带来利益的一门新兴学科新兴学科。什么是大数据2009年，甲型H1N1流感在全球爆发传播，为了发现和控制疫情，各国政府和卫生相关部门付出了巨大努力，但得到的数据仍然滞后一两周，而Google对人们的搜索的历史记录进行处理，建立合理的数学模型后，得到的预测结果与官方的数据相关性高达97%，能够立刻判断出流感是从哪里传播出来的，没有一两周的滞后。Google处理了5000万条历史记录、4.5亿个不同的数学模型。什么是大数

3、据Farecast是一个对机票价格进行预测的公司，帮助消费者抓住最佳购买机票的时机，使乘客节省很多钱。最初预测系统建立在41天之内的12000个价格样本基础上，数据是从旅游网站上抓取的，如今已经拥有超过2000亿条飞行记录。系统只推测机票的价格何时最便宜，不关心是什么原因导致的价格下降。FarecastBing大数据的特性大数据大数据的特性的特性大数据与传统数据库的区别 大数据是在传统数据库学科的分支数据仓库与数据挖掘的基础上进一步发展起来的。但有两点比较主要的不同： 结构化程度 传统数据库保存的是结构化或者半结构化的数据，以二维表或者标准XML文件的方式存储数据，由于结构清晰，处理相对容易；

4、 大数据面向的是一切计算机可以存储的数据格式，包括互联网上的各种网页、图片、音频、视频，包括办公文档、报表，包括人们在搜索引擎中输入的关键词、在社交网络中的留言、喜好，也包括各种传感器自动收集的监控结果等等，显然不同的格式处理起来更加困难。 异常数据的处理 传统数据库通常把异常数据先剔除，应用在需要高精确度的领域，如银行对每个账户的管理； 大数据则允许异常数据存在，更多应用在预测方面，找出大量数据中隐藏的关联关系，少量异常数据不会对总体结果产生影响。大数据与其他新兴技术的关系 大数据、物联网、云计算、移动通信等都是近年涌现出来的新兴概念，彼此之间不是孤立的，而是存在着内部联系。大数据带来的思维

5、方式的变化 处理的对象往往是全部数据，而不是部分数据的采样 采样的不合理会导致预测结果的偏差，在大数据时代，依靠强大的数据处理能力，应该去处理全部的数据。 不再执迷于精确性 精确的、规范化的、可以被传统数据库处理的数据只占全部数据的5%，必须接受不精确性才能处理另外95%的数据。 错误的数据是客观存在的，竭力避免它就失去了应有的客观性和公平性。 大数据的简单算法比小数据的复杂算法更有效。 更加关注相关性，而不是因果性 预测依靠的是相关性。 很多情况下知道“是什么”即可，不必知道“为什么”。大数据的价值链数据的掌控者，拥有或者可以收集大量数据的公司。海量的数据就是财富，可以考虑自己分析或者卖数据

6、给其他公司。技术供应商或者分析公司。掌握了从海量数据中分析出有用信息的技能或者工具，但本身不一定拥有数据。有创新思维的人或者公司。他们对大数据敏感，有怎样挖掘数据的新价值的独特想法。我们应如何学习大数据知识技术术人员员创业创业人员员其他决决策者大大数数据据人类应如何对待大数据 机遇 大数据能够为人类带来新的理念、新的价值，推动社会的快速进步，能够让人类发现一些以往未曾发现的潜在关联。 风险 个人隐私如何保护 数据垄断、独裁 数据主宰一切 掌控 法律法规的建立 人类的思考 vs 大数据的结论国内外现状 Google、IBM、Amazon、Oracle、Microsoft、EMC等IT行业巨头已经

7、在大数据产业链开始行动，从不同的角度挖掘大数据的价值。 腾讯、百度、新浪、淘宝等国内知名互联网和电商公司也快速加入到大数据队伍中，对已经持有的大数据进行挖掘，以便改善自身的服务。 国内外政府机构对大数据的重视更多在于报告和组织会议上，行动的步伐远远不及企业。如今，我们处在大数据时代拥抱大数据参考资料推荐参考文献 1 维克托迈尔-舍恩伯格,肯尼斯库克耶. 大数据时代. 浙江人民出版社. 2013.1 2陆嘉恒.大数据技术的学习指南.电子工业出版社. 2013.4 3 Anand Rajaraman, Jeffrey David Ullman.大数据：互联网大规模数据挖掘与分布式处理. 人民邮电出版社. 2012.9作业 1. 请查阅资料，探讨大数据可以应用在哪个领域，要求写出具体的方案。 2. 大数据除了探索数据的相关性之外，也可以探索因果性，请查阅资料，写出一个利用大数据探索因果性的案例。