大数据简介应用及技术简述PPT课件.pptx

1、大数据技术与应用什么是大数据什么是大数据Part 1 Part 1 什么是大数据什么是大数据何为大？数据度量1Byte = 8 Bit1KB = 1,024 Bytes1MB = 1,024 KB = 1,048,576 Bytes1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes1EB = 1,024 PB = 1,0

2、48,576 TB = 1,152,921,504,606,846,976 Bytes1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes数据没有办法在可容忍的时间下使用常规软件方法完成存数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务储、管理和处理任务Part 1 Part 1 什么是大数据什么是大数据大数据定义：大数据定义： 所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、

3、并整理成为帮助企业经营决策更积极目的的资讯。主要的特点主要的特点: : Volume 数据体量 Velocity 数据速度 Variety 数据多样 Veracity 数据真实 4V4V特征特征Part 1 Part 1 什么是大数据什么是大数据大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据就是“未来的新石油”。大数据的特征大数据的特征Part 2 Part 2 大数据的特征大数据的特征Big Data大数据Volume非结构化数据的超大规模和增长总数据量的8090%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍数

4、据量体Value大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能）数据价值Variety大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义数据多样 Velocity实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效数据速度Part 2 Part 2 大数据的大数据的4V4V特征特征VolumeVolume1Bity1KB1MB1GB1TB1PB1EB1ZB1YB1PB相当于50%的全美学术研究图书馆藏书信息内容5EB相当于至今全世界人类所讲过的话语1ZB如同全世界海滩上的沙子数量总和1YB

5、相当于7000位人类体内的微细胞总和一般情况下，大数据是以PB、EB、ZB为单位进行计量的Part 2 Part 2 大数据的大数据的4V4V特征特征VelocityVelocity大数据的处理速度快实时数据流处理的要求，是区别大数据引用和传统数据仓库技术，BI技术的关键差别之一；1s 是临界点，对于大数据应用而言,必须要在1秒钟内形成答案，否则处理结果就是过时和无效的；82254132215327现在及未来几年内美国的移动网络数据流量增长（PB/月）源自英国Coda研究咨询公司大数据的增长速度快Part 2 Part 2 大数据的大数据的4V4V特征特征VarietyVariety行业/企业

6、内数据互联网数据物联网数据大数据数据来源多企业内部多个应用系统的数据、互联网和物联网的兴起，带来了微博、社交网站、传感器等多种来源。数据类型多保存在关系数据库中的结构化数据只占少数，7080%的数据是如图片、音频、视频、模型、连接信息、文档等非结构化和半结构化数据。关联性强数据之间频繁交互，比如游客在旅行途中上传的图片和日志，就与游客的位置、行程等信息有了很强的关联性。Part 2 Part 2 大数据的大数据的4V4V特征特征ValueValue价值密度低(Value)价值密度的高低与数据总量的大小成反比。以视频为例，一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一二秒。如何通过强

7、大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。挖掘大数据的价值类似沙里挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀淘金，从海量数据中挖掘稀疏但珍贵的信息疏但珍贵的信息大数据技术简介及现况大数据技术简介及现况Part 3 Part 3 大数据技术简介大数据技术简介数据采集数据预处理数据存储数据分析挖掘数据可视化实时处理 Spark Storm机器语音R语言关联分析用户画像构建 推理预测知识图谱2D法时间可视化多维法 层次法分布式架构 Hadoop MapReduce数据库体系 NoSQLNewSQLMPP混合架构Lambda架构数据清理 遗漏值处理 噪音数据数

8、据集成 实体识别 数据冗余数据归约 维度归约 数值归约硬件采集 传感技术 RFID软件采集系统日志抓取企业特定API、网络众包Part 3 Part 3 大数据技术现况大数据技术现况将在三个环节分层突将在三个环节分层突破破采集端多源数据融合社交数据、IOT数据 等外部数据与企业内 部数据融合拉通运营化发展通过长期采集积累 海量数据资源的企 业实现数据联合运 营分析端处理实时化针对网络视频化潮流， 更加强化对实时流数 据的处理能力高效化数据量的不断增加， 云端处理API结合后 台支撑将使数据处理 更加高效应用端智能化以机器学习作为核心， 将实现对用户需求的自 我理解和智能迭代云端化云计算和移动互

9、联网 将促进大数据应用从2B市场迅速推广到2C市场THANK YOUSUCCESS2022-5-1215可编辑Part 3 Part 3 大数据及其关联技术大数据及其关联技术物联网云计算大数据物联网是大数据的重要来源大数据技术为物联网数据分析提供支撑云计算为物联网提供海量数据存储能力物联网为云计算技术提供了广阔的应用空间云计算为大数据提供了技术基础，大数据为云计算提供用武之地 云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者既有区别又有联系大数据应用大数据应用Part 4Part 4大数据主要用途21%16%24%21%18%精准经营降低成本智能服务风险管理创新经营24%的大数据企

10、业认为在为用户实施智能服务方面有较大帮助数据价值 体现在三个方面增加收入 减少支出 降低风险Part 4Part 4大数据主要应用行业能源行业随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，合理设计电力需求响应系统，确保电网运行安全。物流行业利用大数据优化物流网络，提高物流效率，降低物流成本。城市管理可以利用大数据实现智能交通、环保监测、城市规划和智能安防。生物医学大数据可以帮助我们实现流行病预测、智慧医疗、健康管理，同时还可以帮助我们解读DNA,了解更多的生命奥秘。体育娱乐大数据可以帮助我们训练球队，决定投拍哪种题财的影视作品，以及预

11、测比赛结果。安全领域政府可以利用大数据技术构建起强大的国家安全保障体系，企业可以利用大数据抵御网络攻击，警察可以借助大数据来预防犯罪。个人生活大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务。大数据主要应用行业大数据主要应用行业Part 4Part 4大数据主要应用行业制造业利用工业大数据提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应链分析与优化、生产计划与排程。金融行业大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。汽车行业利用大数据和物联网技术的无人驾

12、驶汽车，在不远的未来将走入我们的日常生活。互联网行业借助于大数据技术，可以分析客户行为，进行商品推荐和针对性广告投放。餐饮行业利用大数据实现餐饮O2O模式，彻底改变传统餐饮经营方式。电信行业利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施大数据主要应用行业大数据主要应用行业Part 4Part 4大数据应用领域不断丰富大数据应用领域不断丰富，从互联网、电信、金融开始向医疗、交通、政府领域深入2018年中国大数据市场行业结构预测基础电信金融交通政府医疗其他媒体社交娱乐38.1%17.1%14.1%13.6%8.1%7.6%1.4%大数据应用领域零售安防工业媒体社交 娱乐交通

13、电信金融政府Part 4Part 4大数据产业发展大数据产业发展数据资源创新活力（内部因素）市场需求（外部因素）2020年大数据基础 软硬件互联网 大数据行业大数据大数据平台大数据分析 产品与互联网和传统行业融合创新将成为大数据产业爆发点大数据现状及未来发展大数据现状及未来发展Part 5 Part 5 大数据现状及未来发展大数据现状及未来发展习近平政府管理不仅要讲究策略，还要讲究手段，比如大数据技术的应用，2014年3月8日 “大数据”首次写入政府工作报告奥巴马“将投入巨资拉动与大数据相关的产业”“数据为“未来的石油“，是美国综合国力的一部分，是与陆权、海权、空权同等重要的“国家核心资产”。

14、李克强：加快推进全国中小企业征信系统建设,通过大数据等技术优化中小企业征信资质。李克强经济数据和目标的进一步调整，中小企业将面临更大的压力，互联网金融除了解决便利性问题外，更重要的是如何围绕特有的大数据资源展开对实体经济的服务汪洋数据为王，财政工作离不开大数据中央政府对大数据的重视程度重大机遇和优势数据资源大量积累为 大数据发展提供了良 好条件信息技术的广泛深入应用，引发了数据量的爆发式增长， 我国在信息产业不断发展、信息化不断推进的过程中，积 累了大量的数据资源，为大数据发展提供了源泉。经济社会持续增长 的应用需求为大数 据发展提供了市场 空间大数据技术产品创新正逐渐从技术驱动转向应用驱动，

15、旺 盛的应用需求和巨大的市场空间是我国大数据产业创新的 强大内生动力。政府重视和服务体 系建设为大数据发 展创造了优良环境十八届三中、四中、五中全会指出要利用大数据推动政府治理能力的 提升，加快公共数据开放共享，推动大数据在科学决策、政府管理和 公共服务等领域的应用，助推简政放权和万众创新。良好的政策环境 为大数据发展创造了难得的政策机遇。2015年，我国规模以上电子信息产业总规模超过15.5万亿元，比“ 十一五” 期末翻了一番。大型数据中心向绿色化、集约化发展， 云计算服务逐渐成熟，国内龙头企业面向大数据新需求，积极推出 新产品和新服务，一批新兴的专业化大数据企业崛起。产业体系雏形初 具为大

16、数据发展 提供了产业基础成熟公司 新创公司10亿元以上1亿元-10亿元5000万元-1亿元1000万元-5000万元1000万元以下珠三角地区和京津 冀地区是大数据产 业最具创新活力的 区域。京津冀地区和珠三角地 区呈现大中小企业梯次 发展的健康结构，龙头 企业数量较多，带动能 力相对较高。京津冀和珠三角成为最具创新活力与带动能力的区域Part 5 Part 5 大数据现状及未来发展大数据现状及未来发展发展趋势 随着大数据技术的快速发展，随着大数据技术的快速发展， 企业和政府部门开始已经开始运用大数据来进行业务的分析、预测和决策。企业和政府部门开始已经开始运用大数据来进行业务的分析、预测和决策

17、。01机器学习成为智能分析机器学习成为智能分析核心技术核心技术近年来，机器学习已经开始渗透到生活各个领域：客服机器人、垃圾邮件过滤、人脸识别、语音识别、个性化推荐随着大数据分析能力的不断提高，2018年机器学习将继续在智能分析方面发挥重要作用。02多种科技和学科交叉融合多种科技和学科交叉融合大数据技术的发展不仅能够将网络计算中心、移动网络技术和物联网、云计算等新型尖端网络技术充分地融合成一体，促进不同科学技术的交叉融合，同时还能够促进多学科的交叉融合，充分发挥出交叉学科和边缘学科在新时代的新功能与效用。03政府大数据将迅速发展政府大数据将迅速发展近日，国家相关部门就实施国家大数据战略进行第二次

18、集体学习，指出将推动实施国家大数据战略，加快完善数字基础设施，推进数据资源整合和开放共享，保障数据安全，加快建设数字中国，更好服务我国经济社会发展和人民生活改善。因此，2018年政府将步入大数据建设快速发展的新阶段。04物联网、云技术、大数据和物联网、云技术、大数据和网络安全深度融合网络安全深度融合数据管理技术，如数据质量控制、数据准备、数据分析以及数据整合等方面的融合程度将在2018年达到新的高度。当我们对智能设备的依赖程度增加时，互通性以及机器学习将会成为保护资产免遭网络安全危害的重要手段。05基于知识图谱的大数据应用基于知识图谱的大数据应用将成为热门应用场景将成为热门应用场景知识图谱的应

19、用场景非常广泛，比如搜索、问答、推荐系统、反欺诈、不一致性验证、异常分析、客户管理等。2018年，基于知识图谱的大数据应用将衍生出更多热门应用场景。06隐私的保护与大数据的隐私的保护与大数据的安全备受关注安全备受关注大数据应用在带来便利的同时，也暴露了一系列问题，人们开始担心个人信息的安全，骚扰电话、账户盗用、地址泄露如何保护隐私大数据也将提上日程。Part 5 Part 5 大数据现状及未来发展大数据现状及未来发展大数据平台将成为成长性最高的领域03云计算技术发展为大 数据存储和挖掘提供 了重要的计算和存储 资源保障。02智能化、网络化、平台 化加速了数据的采集 和积累。01商贸、政务、金融、 医疗卫生、工业等各 行各业数据指导决策 的需求日益迫切。各类互联网平台从原有的信息服务平台向“ 数据+ ” 信息服务平台转变， 大数据平台成为了信息通信领域增长性最快领域。Part 5 Part 5 大数据现状及未来发展大数据现状及未来发展THANKSTHANKSTHANK YOUSUCCESS2022-5-1230可编辑