Spark大数据的实现及行业应用案例课件.ppt

1、目录 联合实验室 大数据分析平台 产品技术架构 典型行业应用案例中国科大-象形科技大数据商业智能联合实验室，由科大多位博导、教授领衔，集中了30位博士、硕士，20位大数据研发人员的联合研发队伍，在多个大数据技术领域进行技术研究和成果转化。联合实验室介绍技术基础研究方向研究方向关键任务制高点大数据可视化挖掘1）新型内存迭代数据挖掘算法2）数据挖掘可视化开发平台3）房地产、金融、电信等机器学习模型研究1）基于内存计算的机器学习算法2）行业大数据深度机器学习模型3）大数据可视化挖掘大数据内存计算1）基于内存的迭代算法研究2）内存大数据高速统计分析技术1）基于大数据内存的计算技术2）国内产品领先大数据

2、语义分析1）大数据自然语言识别2）非结构化数据的知识发现、集成技术大数据平台的可视化集成目前是空白领域大数据云计算技术1）大数据云计算平台技术2）商业智能云平台技术1）云BI技术及大数据平台的核心技术研究2）大数据云BI在国内应用是未来趋势，有望建成国内第一家云BI平台实验室介绍-技术基础研究方向技术基础研究方向产学研合作项目合作成果大数据环境下的无重叠视域跟踪技术研究项目1）智慧城市合作2）9项大数据视频专利3）多项国家自然科学基金4）大数据视频分析平台审计行业大数据知识推理系统 （国家863项目）课题大数据环境下基于案例的知识推理平台申请国家863计划审计数据中心平台，全国推广中。房地产大

3、数据分析建立房产数据开发服务平台，提供公众服务。房地产价值评估。建立房产评估模型，房地产指数等模型。制造业大数据信息挖掘云图制造业生产设备生命周期大数据分析。制造业信息云图。碳交易平台大数据碳金融算法与模型建立。1.碳交易与分析平台。实验室介绍-研究成果开创了基于人类视觉智能的动态目标捕捉、跟踪和行为分析的研究，在国内外杂志、会议发表了多篇高水平论文。获得视频识别，知识学习与推理相关发明专利2项，申请发明专利7项。大数据环境下的无重叠视域跟踪大数据技术，解决视频领域的知识识别，知识发现，知识集成与跟踪，推理等关键技术问题。多项国家自然科学基金大数据技术来实现国家经济免疫系统数据接口大数据知识推

4、理系统疑点数据审计数据中心审计跨12个行业，跨地区数据源传统审计大数据审计无法跨地区、跨行业审计跨行业、跨区域审计事后审计、周期性审计连续审计复杂性隐蔽问题难以发现智能化，具有预测功能依据小样本经验地毯式排查大数据分析，建立抵御和预防手段审计行业大数据知识推理系统 房地产大数据房地产大数据利用大数据建模技术，实现房地产价格指数、房地产评估模型碳交易利用大数据建模技术，建立全省碳排放计量监测体系的数据体系、技术体系、模型体系和评估体系，形成满足碳排放计量关系方程和参数目录 联合实验室 大数据分析平台 产品技术架构 典型行业应用案例数据挖掘越来越多的应用到了各个领域中，主要包括与客户关系管理相关的

5、模型、与风险控制相关的模型、与生产销售预测相关的模型等数据挖掘应用领域产品名产品ETHINK可视化挖掘概要通过在浏览器内，鼠标拖拽形式实现加载数据、转换、建模、评估、图形以及结果输出特点通过视觉工作方式轻松获得此界面可以保障操作的灵活性在最短的时间内形成最多样的模型大数据挖掘，速度快关系型数据库数据挖掘模型算法库/语义分析 Hbase/Hive/Hdfs 可视化数据挖掘平台 多维自助分析调度管理SQLSQL接口接口JDBC/ODBCJDBC/ODBC内存计算服务Scala/Java/PythonOLAP ServerOLAP Server手机平板电脑批处理实时流处理交互式查询统计分析平台ETH

6、INK产品架构特点一丰富建模方法特点可拖拽式建模 JDBC Web Services Restful api可扩展性强自定义模型，扩充组件特点传统的关系型数据(mysql、Oracle等)列式数据库(Hbase)非结构化数据(Hdfs、文件系统)大数据（Hbase、Hive）特点二大数据处理特点开放型平台 BS结构，一站式建模、评估、部署基于Spark平台内存计算运算速度快特点GBPB特点三大数据处理能力特点基于Spark平台内存计算执行数据挖掘时，方法论非常重要.因为准确的方法论能够提高作业速度,能系统地减少各种进展状况，所以选择正确的方法论是很重要的.CRISP-DM 方法论是全球认可的数

7、据挖掘的标准执行方法论.功能模块金融电信行业 1.信用卡用户流失预测 2.基于客户分群的精准智能营销 3.基于公司价值评价的证券策略投资 电力行业 1.电力负荷预测 2.自适应防窃漏电实时诊断互联网行业 1.电子商务网站用户行为分析 2.基于用户行为分析的定向广告投放 3.企业信息系统用户服务感知评估 制造业行业 1.制造设备生命周祺管理 2.制造业投入产出预测 公共服务业 1.空气质量预测 2.卷烟消费者购买行为分析 3.纳税人偷税漏税评估场景应用（实验室模拟实验课题）目录 联合实验室 大数据分析平台 产品技术架构 典型行业应用案例基于spark内存的计算模型，同时支持批处理、交互式处理、流

8、处理。技术架构解决方案-要解决的问题技术架构解决方案-分布式内存计算批处理应用（分钟级别小时级别）OLTP/在线事务处理应用（毫秒秒级别）OLAP/在线交互式分析应用（秒级别）实时流处理（持续不断）技术架构解决方案-交互式查询 通常的时间跨度在数十秒到数分钟之间按数据维度进行统计、聚合根据历史数据进行拟合和预测计算数据之间的相关性和模式等适合提供高速在线分析服 典型应用场景政府各部门数据证券交易银行保险企业ERP/CRM等 适用于数据量在GB到TB的高速数据分析技术架构解决方案-实时在线处理 通常的时间跨度在数百毫秒到数秒之间数据来源多、高并发、数据处理量达分析结果快速响应 典型应用场景 社交

9、网络分析、关联关系分析用户分类、用户行为预测 高并发查询按主键毫秒级检索按多维度秒级检索按照关键字秒级检索 事件驱动计算模型，系统处于持续不断计算之中，事件响应延迟在毫秒秒级。流式计算系统处理应用的处理逻辑是由源源不断的数据流驱动。典型应用场景有金融在线欺诈预警广告CTR推荐系统技术架构解决方案-实时流处理技术架构解决方案-批处理及离线挖掘 时间跨度在数十分钟到数小时之间。离线挖掘主要用于，多维统计预测，准实时分析以及对客户进行聚类、分类等数据挖掘应用。典型应用场景电子商务推荐引擎流失客户预测挽留日志清洗、ETL用户行为分析目录 联合实验室 大数据分析平台 产品技术架构 典型行业应用案例 项目

10、需求将总行下发的数据及核心业务数据，经过数据整理、加载到省级数据中心，并进行各项业务快速应用开发 数据源某省公积金中心，近五年的操作、交易记录，共10亿条左右。系统环境4台X86架构的PC服务器，共128G内存单台服务器，8核CPU,32G内存 解决方案Hbase导入海量数据，并支撑大数据查询可视化设计、可视化报表实现了数据的实时分析行业应用案例-金融 行业应用案例-金融系统由对公客户综合积分子系统、展业通客户综合收益分析子系统、授信客户资金结算子系统、对公柜面交易流水分析子系统等组成行业应用案例-金融 项目需求整合第三方支付数据资源，分析挖掘客户交易、反馈信息、交易行等数据，实现精准营销，最

11、大限度地提升产品价值 数据源某第三方支付平台交易、反馈数据，月交易记录量1亿条。系统环境台X86架构的PC服务器，共96G内存单台服务器，8核CPU,16G内存 解决方案Hbase导入海量数据，并支撑大数据查询Hive对历史交易数据进行分析可视化设计、可视化报表实现数据的实时分析基于ETHINK可视化挖掘平台，完成精准营销建模 持卡客户多维分析：持卡客户人口统计特征分析持卡客户交易行为模式分析持卡客户应用场景分析 特约商户多维分析：商户基本信息分析/商户业务收益分析商户价值贡献度评估商户收单风险分析 持卡客户和特约商户双向分析特定特征客户特定时间消费商户分布分析特定时间在特定商户消费的客户特征

12、分析行业应用案例-金融 项目需求烟草工业企业目前积累了大量的数据信息，管理方式由粗放式管理转为精细化管理，产生了利用大数据技术收集、管理和展示分析结构化和非结构化的数据和信息的诉求，于是如何利用这些数据创造更大的价值、为领导决策和企业精益管理提供有力支撑成为重要的课题。数据存储近1年数据，每秒钟10000个数据采集点 系统环境硬件环境：数据库服务器1台+4台分布式pc server单台4核，16G内存 解决方案流处理模块处理设备实时数据流事件预警开发平台，实现问题预警 基于ETHINK数据挖掘建模分析平台,实现疑点挖掘建模可视化报表设计，完成大数据精益管理行业应用案例-烟草设备健康指数模型：利

13、用数据聚类分析、特征分析、变化和偏差分析等数据挖掘方法分析工厂生产、质量、设备健康状况，实现指标关联分析及问题挖掘目的。行业应用案例-烟草烟草谢 谢！、书籍是全世界的营养品。生活里没有书籍，就好像没有阳光；智慧里没有书籍，就好像鸟儿没有翅膀莎士比亚2、书籍使人变得思想奔放。革拉特珂夫3、书籍是造就灵魂的工具雨果4、经验丰富的人读书用两只眼睛，一只眼睛看到纸面上的话，另一只眼睛看到纸的背面。歌德5、我扑在书籍上，就好像饥饿的人扑在面包上。高尔基6、书籍是巨大的力量。列宁7、书人类发出的最美妙的声音。莱文8、生活在我们这个世界里，不读书就完全不可能了解人。高尔基9、黑发不知勤学早，白首方悔读书迟。

14、颜真卿10、书是良药，善读之可以医愚。刘向11、读书破万卷，下笔如有神。杜甫12、在你渴望时，它前来给予详细指教，但是从不纠缠不休。比切13、书籍是少年的食物，它使老年人快乐，也是繁荣的装饰和危难的避难所，慰人心灵。在家庭成为快乐的种子，在外也不致成为障碍物，但在旅行之际，却是夜间的伴侣西塞罗14、过去一切时代的精华尽在书中。卡莱尔15、书籍并不是没有生命的东西，它包藏着一种生命的潜力，与作者同样地活跃。不仅如此，它还像一个宝瓶，把作者生机勃勃的智慧中最纯净的精华保存起来弥尔顿16、每一本书都是一个用黑字印在白纸上的灵魂，只要我的眼睛、我的理智接触了它，它就活起来了。高尔基17、读一本好书，就

15、是和许多高尚的人谈话。笛卡尔18、读书之于头脑，好比运动之于身体。爱迪生19、书籍乃世人积累智慧之长明灯寇第斯20、光阴给我们经验，读书给我们知识。奥斯特洛夫斯基21、读书有三到，谓心到，眼到，口到。朱熹22、书籍是青年人不可分离的生命伴侣和导师。高尔基23、和书籍生活在一起，永远不会叹气。罗曼罗兰24、书籍是最好的朋友。当生活中遇到任何困难的时候，你都可以向它求助，它永远不会背弃你都德25、书籍通过心灵观察世界的窗口。住宅里没有书，犹如房间没有窗户。威尔逊26、读一本好书，象交了一个益友。臧克家27、读万卷书，行万里路。刘彝15)时间一天天过去，有时觉得它漫长难熬，有时却又感到那么短促;有时

16、愉快幸福，有时又悲伤惆怅。一天与一天不同，一日和一日有别，仿佛一昼夜之间也有春夏秋冬之分。;阿;巴巴耶娃16)世界上最快而又最慢，最长而又最短，最平凡而又最珍贵，最容易被人忽视，而又最令人后悔的就是时间。;高尔基17)在人类生活中，时间刹那而过，它的本体是处于一个流动状态中，知觉是昏钝的，整个肉体的构成是易腐朽的，灵魂是一个疾转之物，运气是很难预料的，名望是缺乏见识的东西。;马尔库;奥勒留18)时间就是金钱，而且对用它来计算利益的人来说，是一笔巨大的金额。;狄更斯19)时间会刺破青春表面的彩饰，会在美人的额上掘深沟浅槽;会吃掉稀世之珍!天生丽质，什么都逃不过他那横扫的镰刀。;莎士比亚20)浪费

17、别人的时间等于是谋财害命，浪费自己的时间等于是慢性自杀。;列宁关于描写时间的名人名言1)时间是衡量事业的标准。;培根2)生命是短促的，然而尽管如此，人们还是有时间讲究礼仪。;爱献生3)历史孕育了真理，它能和时间抗衡，把遗闻旧事保藏下来。它是往昔的迹象，当代的鉴戒，后世的教训。;塞万提斯4)时间是由分秒积成的，善于利用零星时间的人，才会做出更大的成绩来。;华罗庚5)时间是人类发展的空间。;马克思6)在无限的时间的河流里，人生仅仅是微小又微小的波浪。;郭小川7)重复言说多半是一种时间上的损失。;培根8)开诚布公与否和友情的深浅，不应该用时间的长短来衡量。;巴尔扎克9)真正的敏捷是一件很有价值的事。

18、因为时间是衡量事业的标准，如金钱是衡量货物的标准。;弗;培根10)正当利用时间!你要理解什么，不要舍近求远。;歌德11)人的全部本领无非是耐心和时间的混合物。;巴尔扎克12)生命的长短以时间来计算，生命的价值以贡献来计算。;裴多菲13)敢于浪费哪怕一个钟头时间的人，说明他还不懂得珍惜生命的全部价值。;达尔文14)有了朋友，生命才显出它全部的价值;一个人活着是为了朋友;保持自己生命的完整，不受时间侵蚀，也是为了朋友。友谊要像爱情一样才温暖人心，爱情要像友谊一样才牢不可破。;穆尔;约翰15)从不浪费时间的人，没有工夫抱怨时间不够。;杰弗逊16)不善于利用时间的人，总是首先抱怨没有时间，因为他把时间

19、都耗费在穿吃睡和聊天上，去考虑该做什么，而只是什么也不去做。;拉布吕耶尔17)时间给勤劳者留下串串的果实，而给懒汉只留下一头白发和空空的双手。;高尔基18)在时间的大钟上，只有两个字;现在。;莎士比亚19)好事总是需要时间，不付出大量的心血和劳动是做不成大事的。想吃核桃，就是得首先咬开坚硬的果壳。;格里美尔斯豪森20)合理安排时间，就等于节约时间。培根描写时间的名人名言推荐1)不管饕餮的时间怎样吞噬着一切，我们要在这一息尚存的时候，努力博取我们的声誉，使时间的镰刀不能伤害我们。;莎士比亚2)少壮不努力，老大徒伤悲。;长歌行3)实际上，没有一种社会形态能够阻止社会所支配的劳动时间以这处或那种方式

20、调整生产。;马克思4)我们若要生活，就该为自己建造一种充满感受思索和行动的时钟，用它来代替这个枯燥单调以愁闷来扼杀心灵，带有责备意味和冷冷地滴答着的时间。;高尔基5)在老年时，会有许多闲暇的时间，去计算那过去的日子，把我们手里永久丢失了的东西，在心里爱抚着。;泰戈尔6)在历史急剧转变的关头，往往连先进的政党也会在相当的一段时间内不能理解新的局势而复旧的口号，这些口号在昨天是正确要在已成的事业中逗留着！要在已成的事业中逗留着！-巴斯德（法国）巴斯德（法国）我从不想未来，它来得太快。我从不想未来，它来得太快。-爱因斯坦（美国）爱因斯坦（美国）等你们六十岁的时候，你们就会珍惜由你们支配的每一个钟头了

21、。等你们六十岁的时候，你们就会珍惜由你们支配的每一个钟头了。-爱因斯坦（美国）爱因斯坦（美国）世界上，宇宙中，有多少难解的谜啊世界上，宇宙中，有多少难解的谜啊还是抓紧时间工作吧！还是抓紧时间工作吧！-爱因斯坦（美国）爱因斯坦（美国）即使上帝也无法改变过去。即使上帝也无法改变过去。-亚里士多德（希腊）亚里士多德（希腊）最有希望的成功者，并不是才干出众的人而是那些最善于利用每一时机去发掘开拓的人。最有希望的成功者，并不是才干出众的人而是那些最善于利用每一时机去发掘开拓的人。-苏格拉底（希腊）苏格拉底（希腊）当许多人在一条路上徘徊不前时，他们不得不让开一条大路，让那珍惜时间的人赶到他们的前面当许多人

22、在一条路上徘徊不前时，他们不得不让开一条大路，让那珍惜时间的人赶到他们的前面去。去。-苏格拉底（希腊）苏格拉底（希腊）一生没有虚过，可以愉快地死，如同一天没有虚过，可以安眠！一生没有虚过，可以愉快地死，如同一天没有虚过，可以安眠！-达达芬奇（意大利）芬奇（意大利）希望是永远达不到的，因此，人才希望，追求希望。希望是永远达不到的，因此，人才希望，追求希望。-富兰克林（美国）富兰克林（美国）从事一项事情，先要决定志向，志向决定之后就要全力以赴毫不犹豫地去实行。从事一项事情，先要决定志向，志向决定之后就要全力以赴毫不犹豫地去实行。-富兰克林（美国）富兰克林（美国）希望是生命的源泉，失去它生命就会枯萎

23、。希望是生命的源泉，失去它生命就会枯萎。-富兰克林（美国）富兰克林（美国）以希望为生的人，将绝食而死。以希望为生的人，将绝食而死。-富兰克林（美国）富兰克林（美国）每个人都有一不的理想，这种理想决定着他的努力判断的方向。就在这个意义上，我从来不把安逸和享乐看做是生活目的的本身每个人都有一不的理想，这种理想决定着他的努力判断的方向。就在这个意义上，我从来不把安逸和享乐看做是生活目的的本身-这种基础，我叫它猪栏的理想。照亮我的道路，并且不断地给我新的勇气去愉快地正视生活的理想，是善、美、真。这种基础，我叫它猪栏的理想。照亮我的道路，并且不断地给我新的勇气去愉快地正视生活的理想，是善、美、真。-爱因

24、斯坦（美国）无论何时，不管怎样，我也绝不允许自己有一点灰心丧气。爱因斯坦（美国）无论何时，不管怎样，我也绝不允许自己有一点灰心丧气。-爱迪生（美国）爱迪生（美国）对我来说，信念意味着不担心。对我来说，信念意味着不担心。-杜威（美国）杜威（美国）希望贯穿一切，临死也不会抛弃我们。希望贯穿一切，临死也不会抛弃我们。-波普（美国）波普（美国）希望永远在人的胸膛汹涌。人要经常感觉不是现在幸福，而是就要幸福了。希望永远在人的胸膛汹涌。人要经常感觉不是现在幸福，而是就要幸福了。-波普（美国）波普（美国）毫无理想而又优柔寡断是一种可悲的心理。毫无理想而又优柔寡断是一种可悲的心理。-培根（英国）培根（英国）只有知道了通往今天的路，我们才能清楚而明智地规划未来。只有知道了通往今天的路，我们才能清楚而明智地规划未来。-斯蒂文生（英国）斯蒂文生（英国）