大数据与大数据技术ppt课件.ppt

1、专注于分析预测与行业应用的的大数据公司AdvancedAnalytic Services 音智达虞强 2016.101议程u公司简介u大数据与大数据技术u大数据技术应用 u大数据案例分享u问题讨论 22022-5-243AdvancedAnalytic Services 音智达公司简介公司概况&发展历史主要客户&大数据产品3新加坡上海北京公司概况青岛雅加达专注于分析预测与行业应用的的大数据公司深圳业务1业务2业务3提供基于大数据技术的预测性分析及商务智能解决方案大数据平台、数据集成与准备工具、开源开发技术自助式分析工具、数据可视化工具提供全球顶尖的大数据软件产品300+ 技术服务人员端到端的大

2、数据平台数据集成、数据挖掘与预测性分析、高级分析企业级大数据仓库、企业绩效管理、商务智能大数据SaaS应用和DaaS服务基于云平台的软件即服务大数据应用为企业提供全面的数据服务 4发展历史数据仓库绩效管理高级分析数据可视化看板管理商务智能2.0至今2005200720112002大数据技术大数据应用分析预测数据挖掘数据即服务数据集市 14年来，我们与数俱进5汽车制造 电子产品及家电 快消零售 医药与生命科学 航空与物流 高科技制造业 金融及其他主要客户6云以 H a d o o p 为核心的大数据产品系列数据集成与准备SQL on HadoopText here流计算机器学习开源开发技术数据挖

3、掘以 H a d o o p为核心的大数据产品大数据软件产品Statistica 数据可视化Vortex7数据创新经验融合拥有多元化的数据科学家团队和十余年的数据分析经验。经十余年自主开发的IP打造数据行业领先的技术优势。 追踪吸收和引进行业内最先进的技术，产品和应用经验。世界顶尖数据技术公司在中国地区的首选合作伙伴。在一大批竞争行业（汽车、制药、快消、家电、物流等）内拥有深厚的客户基础和众多行业成功案例。追求行业业务能力和技术能力的融合以及企业系统架构与解决业务问题间的平衡，具有扎实的项目实施能力。HEADLINE 竞争优势82022-5-249AdvancedAnalytic Servic

4、es 音智达大数据与大数据技术9Hadoop技术的发展物联网应用需要将物联网应用需要将Hadoop变为一个高性能的分析平台变为一个高性能的分析平台需要Hadoop不光能存储数据，更要能够处理计算数据10SQL 分析挖掘预测图形化数据分析智能搜索时间、用户、地理位置、时间、用户、地理位置、事件事件 等标签等标签辅助技术：Kafka, HBase, Cassandra, Accumulo基于大数据技术的数据分析处理Hadoop 核心层核心层11u技术更迭过快u开源产品成熟度u开发效率u与现有架构的关系u运维与安全大数据技术的顾虑大数据平台计算框架SQLYARN传统数仓功能非结构化流式挖掘分析软件架

5、构 （举例）DATA PLATFORM(HDFS)灵活数据准备灵活数据准备SQL in Hadoop数据挖掘与预测数据挖掘与预测S Q L（ODBC、JDBC、。NET）API：Java, C/+, Python前端应用报表报表外部应用外部应用下游系统下游系统管理控制台管理控制台 （CloudEra、Talend、KNIME）数据安全以及认证（数据安全以及认证（Portal集成）集成）用工具取代代码作坊MapReducePerformance(runs on disk)OneClickSparkPerformance(runs in-memory &on disk)20XFaster同时处理实

6、时与批次流式处理批次处理转换清洗治理转换清洗治理推荐引擎Spark Streaming/KafkaSpark数据库，文件，批次数据实时，流数据HDFS文件数据流输出基于用户数据理解地模型预测u图形化数据准备挖掘u运用Spark Mlib 等进行计算 u结果回写入Impala或者HIVE非结构化数据为存储的新型SQLu 基于落地HDFS的文件或HBASE进行SQL建表解析u 提供工业MPP级别查询性能u 线性可扩展 u 标准JDBC SQL界面，直连BO，Tableau ，Qlikview, MSTR等报表工具技术方案：特点小结u 基于开源系统的成熟商用插件方案u部署简便u提高开发效率u降低实施

7、风险u基于内存的计算 性能优异u 全部基于唯一Hadoop集群内，统一存储统一计算u减少数据传输迁移的同步问题u维护便捷：一套集群,维护简单u扩展性：无限扩展 线性提升u 便捷的开发及报表展现工具u 图形化 ETL，数据挖掘开发u 便捷报表展现分析工具u 建模过程100% 用户参与u IT基础架构与用户数据准备、探查、分析、预测分离19大数据团队组织建设数据与业务的结合大数据开发团队技术平台支持业务人员咨询团队大数据管理员内部团队与专业伙伴紧密合作Evan数据科学家202022-5-2421AdvancedAnalytic Services 音智达大数据技术应用21Internet of Cu

8、stomers and Internet of ThingsInvisible devices and Wearable devicesTrillions of networked nodesLow bandwidth last-mile connectionMostly addressed by local schemesMachine-centricSensing-focusGlobal addressingUser-centricCommunication-focusLaptops / tablets / smartphones Billions of networked devices

9、High-bandwidth access22Predictive Maintenancethat enable you to change your businessHadoopMachine LearningQuery and reportingIoT 解决方案Command and ControlYou have devices on the network edgePlant FloorThingsSupply ChainThingsBack OfficeThingsBasic SensorsIntelligent Devicesthat provide you dataSQL Dat

10、abasesBlob StorageTable StorageExternal StorageDocumentDBthat you understand, apply rules, models and moreCommand andControlEvent Hub (Service Bus) 本质是基于“信息物理系统”实现“智能化”二、工业4.0时代的智能制造IoT 的本质 25二、工业4.0时代的智能制造IoT-智能工厂26p 360 Customer Profilep Micro-Segmentationpp Next Best Actionp Customer Sentiment pp

11、p关联分析行动创建客户档案创建客户档案识别共同关键词CRM账户信息及客户特征EDW交易历史社交媒体关键字整合数据并载入hadoop连接至文本挖掘应用将数据库连接至EDW连接至flat file购买周期趋势购买家庭信息购买人口特征通过API与CRM相连连接至flat file连接至flat file删除重复客户载入Hadoop在用户ID间连接数据第一阶段识别人口微簇客户画像 删除重复客户在用户ID间连接数据识别共同关键字创建客户档案创建客户档案数据流引擎数据流引擎人口分布客户倾向HADOOP 集群集群/YARN关联分析行动数据库分析数据库分析查询可视化报表查询可视化报表分析工具及应用分析工具及应

12、用HDFS/NFS低延迟查询集成服务器集成服务器BI服务器服务器数据库集群数据库集群/服务器服务器社交媒体链接数据库链接文本分割链接API链接固定文本链接文本分割链接消费心理第一阶段HDFS API数据混合与浓缩数据混合与浓缩集成引擎集成引擎ACTIAN分析平台CRM账户信息及客户特征EDW交易历史社交媒体关键字购买周期趋势购买家庭信息购买人口特征客户画像参考架构360度客户视图302022-5-2431AdvancedAnalytic Services 音智达案例分享车联网大数据应用31项目背景围绕车辆全生命周期，数据驱动的车联网与跨行业融合，可衍生出多样的商业模式与创新服务；基于丰富的车联

13、数据、多样的服务平台，可对行业、社会热点展开洞见分析，同时挖掘更多的商业价值，拓展新的业务车辆全生命周期Car Full Life Cycle车辆防盗，财产保护Property Protection保险车联网Telematics Insurance车内LBS服务In-Car LBS车载4G热点Onboard 4G WIFI预测性保养提醒Proactive Reminder汽车延保Extended Warranty预测性维修提醒Proactive Reminder远程在线升级OTA Upgrade车队管理Fleet Mgmt.汽车共享Car Sharing车况分析报告Assess Report二

14、手车联合鉴定United Assessment消费者画像User Portrait新车销售线索Sales Leeds客制化服务Customization产品规划Planning设计研发R&D生产制造Production市场营销Marketing售后保障After Sales持续改进Keep Improve新车销售Car Sales试驾Test Drive金融Finance维修Repair车生活In-Car Life保险Insurance保养Maintain租赁Leasing二手车Used Car安吉星大数据项目目标与当前的问题目标：主数据(数据质量)的升级主题模型落地,保持数据一致性提高运维的

15、灵活性应用数据缓存的改造用空间换时间的方法保护后台核心应用的正常运行企业经营分析的改造提高运营速度和质量,降低数据开发成本新业务的支持驾驶行为分析燃油分析二手车评估车况鉴定报告问题：缺少数据主题重复开发和浪费成本数据质量不可控数据缺少管控BI 开发成本高,周期长缺少业务分析平台车辆数据采集能力有限业务数据无法有效支持大数据平台逻辑架构报表/可视化数据集成区批量数据处理实时消息队列数据湖泊区机器学习区NoSQL区流计算区系统管理数据管理搜索引擎区数据交换区数据源车辆行驶日志车辆行驶日志急加速、加速日志车载系统日志实时数据计算36驾驶行为评分37第1步：建模变量的选择从所有变量中，选取建模选定的变

16、量 第2步：衍生建模变量计算基于TP类别的变量，进行用户驾驶风险的初步计算第3步：用户出险概率计算基于第2步计算结果，结合HAHB类别变量，进行用户出险概率的计算第4步：驾驶风险评分计算将出险概率，转化为对应的驾驶风险评分第5步：驾驶行为评分计算将驾驶风险评分，转化为对应的驾驶行为评分驾驶行为评分阈值计算u通过机器学习算法，实时的将所有用户数据代入驾驶风险概率模型，动态计算相关阈值uSet response variable = uncomfortable maneuveruSet predictor variable = acceleration, speed, turnsuCalculat

17、e the score38驾驶行为评分用车轨迹-用户画像 When 何时 Where 何地 Who 是谁 What 做什么上班族Commuter商务人士Biz Man家庭主妇Housewife夜晚活动族Night Owls40用车轨迹 交叉销售售后维修保养机会点Opportunities for A/S Maintenance 新车销售机会点Opportunities for New Car SalesMaintenance Opportunities 41车况报告车况报告2022-5-2444AdvancedAnalytic Services 音智达案例分享智能生产预测44项目背景项目背景随

18、着业务的不断发展，生产线不断扩张，不同生产线、不同机台、不同工序所产生的玻璃面板坏点数量参差不起，良品率总体呈现下降趋势。为了提高玻璃面板的良品率，不断优化工艺流程，提升产品质量，决定建立数据分析平台，来预测坏点产生跟生产流程上的哪些因素有关，来做有正对性的改进。项目实施收集生产Glass过程当中所有相关的因子信息，通过Dataflow工具对品质异常的玻璃数据进行regression、correlation挖掘算法分析，计算各因子与产品异常之间的影响关系。同时针对正常品质玻璃也做因子分析，计算得出正常品质下各因子的正常范围值，从而可以快速判定超出范围的为异常值。品质异常因子分析抽取源系统数据并

19、通过数据的业务逻辑进行数据关联进行数据准备，然后通过数据挖掘算法进行correlation、regression两类数据挖掘，并将挖掘结果写到HDFS文件系统中。46通过针对defect_count、recipe、TC_C1_EV因子，经过regression算法，从测试数据中挖掘出defect_count预测数据数据分析过程通过针对不同Product_ID下，defect_count因子和TC_PRESSS、TC_IP1_PRESS、TC_IP2_PRESS，车台温度等因子，经过correlation算法，从测试数据中挖掘出相关性数据注：挖掘数据位于测试中转机I:To_Andycorrela

20、tion.txt 、I:To_Andyregression.txt47关联预测准确度（越靠近中线，预测偏差越小）48线性回归分析异常点部分需要进一步分析49分析结果基于目前的数据，从correlation挖掘结果数据中可以看到如下结果例如TA546A5ABC00这款产品，较其他产品，defect_count和TC_PRESS等压力参数因子的相关性更低，跟车台温度相关性较高例如TB546A6ABC00这款产品，较其他产品，defect_count和TC_PRESS等压力参数因子的相关性更高，说明压力参数对这款产品的defect数量有较大影响；其中TC_IP2_PRESS因子的较其他因子的影响更大

21、基于目前的数据，由regression模型通过参数因子预测defect数量，比对原来的数量，可以看到如下结果当原defect_count较大时，预测的defect_count也较大。可以看出模型预测趋势与实际情况吻合随着数据和因子数量的增加，模型会更加稳定和成熟。那时将新的参数因子数据传递给模型，作出更加准确的预测502022-5-2451AdvancedAnalytic Services 音智达案例分享传统数仓转大数据51项目背景u使用传统的标准数仓建模，分ODS、DW、DM及DMAuETL主要通过存储过程实现u存储过程数据加工较多的使用临时表、中间表u使用传统交易型DBMS ORACLE作

22、为数据仓库平台u前端通过刷CUBE提升报表查询速度u支撑报表数量：目前150左右u每日增量更新时长：1：0012：5052存在的问题数据冗余比较严重临时表、中间表使用过多，对内存及磁盘IO压力较大层与层之间调度依赖严格数据加工性能不足数据查询性能不足高并发查询性能下降严重53并发的计算架构54SQL(JDBC/ODBC/.Net)JAVA/C/ API 加载入加载入分布式存储分布式存储SQL on Hadoop加载入加载入SQL in HadoopSourceCDH Cluster + Hadoop ETL分布式内分布式内存存数据整合数据整合数据数据抽取抽取CDH Nodes (Clouder

23、as distributiong including Apache Hadoop) Hadoop ETL runs natively on every nodeSQL on HadoopSQL on Hadoop基于标准基于标准SQL或者或者API界面界面输出输出54新架构解决的问题数据冗余比较严重临时表、中间表使用过多，对内存及磁盘IO压力较大层与层之间调度依赖严格数据加工性能不足数据查询性能不足高并发查询性能下降严重Dataflow流式加工数据，只将结果集回写数据库，大大避免减少数据冗余Dataflow中流式加工数据，可以不用临时表，节约大量磁盘IODataflow作业中直接实现业务逻辑，

24、各报表相对独立无依赖Dataflow流式并行加工数据，且可通过扩展节点线性提升性能Impala特有向量计算技术及采用分布式并行计算架构Impala向量计算、列存储、并行计算等技术完美支持高并发查询55结果比较现状增量更新 每日更新1万左右保单号增量数据 数据加工耗时近12小时 出报表需耗时近16小时现状全量更新 现在已经不能完整执行 一年多前数据加工耗时近20天还未结束（失去业务意义，且数据量不停增长）Dataflow 增量数据刷新1小以内完成 全量数据刷新8小时完成 报表直连大数据平台数据库，Cognos 5秒内出结果56专注于分析预测与行业应用的的大数据公司AdvancedAnalytic Services 音智达大数据创新实验室Better Data, Better Decision大数据之路有我们，不再迷茫57总结58