云创大数据实验一体机云创大数据实验平台课件.pptx

1、云创大数据实验一体机云创大数据实验平台南京云创大数据科技股份有限公司提 要现状分析痛点问题分析技术背景基于容器的集群平台产品介绍大数据实验平台2.0在线演示云创大数据实验平台1234 第一部分大数据教学与实验现状PART 基础设施 实验内容 教材体系 师资培训 实训项目 考试系统01大数据教学与实验现状基础设施学生实验需要大量的集群环境。一次性基础设施投入较高实验内容生态体系庞大复杂，技术发展迅速。实验设计花费时间教材体系高速发展的新领域，市场上高质量成体系的教材缺失师资培训教师中精通大数据技术的人才较少实训项目缺乏切合业界大数据实际应用的实训项目考试系统实验考核，试题设计，考试组织管理，试卷

2、批阅占用大量教师时间，考核成绩存在一定主观性高校高职大数据教学实验面临问题大数据实验平台提供什么+较低的平台建设和使用成本+高效的运行环境+完整的教材体系（本科/高职）+丰富开放的实验资源+师资入门培训+提高教学效率 +学生管理+实验进度管理+学生考核评测+灵活组织内容+教师开发环境+独享集群实验环境+本地/远程接入+全面深入打好基础+丰富的实战项目+增强就业实力+学生探索环境 第二部分技术背景介绍 容器技术 编排管理 虚拟网络 业务平台 挖掘算法 数据展示PART02技术特色集群管理基于LXC的轻量级虚拟化Docker软件定义网络，虚拟专用网络SDN VPN聚类，分类，回归分析，关联规则，决

3、策树.常用数据挖掘算法大规模容器编排管理框架Kubernetes统一了客户端，将系统功能实现的核心部分集中到服务器上B/S架构采用各种手段生动展示抽象数据，帮助理解数据之间的关联和意涵数据可视化虚拟网络容器技术应用平台挖掘算法数据展示编排管理虚拟网络容器技术虚拟机技术（Virtual Machine）资源占用少，启动快，性能开销小隔离好Kubernetes(K8s)容器编排工具平台 基于容器技术的分布式架构领先方案 开放的开发平台 完备的分布式系统支撑平台 第三部分大数据实验平台 实验环境 教材体系 实验内容 进度管理考试系统 数据展示PART03大数据实验一体机发布版本2.1版2.0版1.0

4、版2016年12月2017年12月2018年5月Hadoop生态圈实验Hadoop实战实验开放式实验环境+Python数据挖掘实验+R语言数据挖掘实验+考试系统+实验流程管理+数据挖掘可视化工具+Spark实战实验+Python数据爬取实验+第三方实验开发工具+自定义实验教学板块+实验报告管理金融版2018年7月+R语言金融实验+Python语言金融实验电商版统计版2018年12月+R语言电商实验+Python语言电商实验+R语言数理统计实验+Python语言数理统计实验双平台多版本本科版基础平台+金融版34个金融实验高职版基础平台+电商版+统计版Hadoop生态集群实验，基础数据清洗，数据标

5、注实验等32个电商实验55个统计实验核心实验106个Hadoop生态实验，数据挖掘实验成功案例教务流程学校教务系统课程管理（管理员）创建课程指定老师选课管理接口大数据实验平台教师信息学生信息选课信息.课程教学（教师）实验教学实验报告考试管理成绩管理教务管理2016年12月 大数据实验一体机1.0丰富的实验内容+实 验 指 导 视 频丰富了数据挖掘的实验内容集成了在线数据挖掘及可视化平台新增自定义实验开发工具36个Hadoop生态圈大数据实验16个真实大数据实战项目24个基于Python的数据爬取挖掘实验16个基于R语言的数据挖掘实验15个Linux系统基本训练实验集成在线数据挖掘及可视化实验自

6、定义实验设计开发工具面向实战面向应用110个金融，电商，统计大数据实验Hadoop生态系统核心及相关产品的集群实验环境Python数据爬取分析挖掘生态和R语言数据分析挖掘生态Python语言基础Python MapRuduce实例Python常用挖掘算法实现Python实战：挖掘算法应用Python实战：数据爬虫应用R语言基础R语言常用挖掘算法实现R语言实战：环保领域挖掘算法应用R语言实战：金融行业挖掘算法应用实战项目实验车牌识别搜索引擎精确营销环境大数据物联网大数据贷款风险评估时间序列预测温度随机森林分类空气质量回归预测空气质量区域经纬度聚类股票数据抓取与分析新浪股票数据分析多元线性回归研究

7、我国经济增长房价数据分析时间序列分析-ARIMA模型时间序列分析-指数平滑模型 全国城市分布统计上海历史天气数据分析北京上海天气对比北京上海空气质量对比随机森林分类空气质量回归分析预测空气质量区域经纬度预测电影数据爬取豆瓣图书数据爬取网络小说数据爬取双色球开奖信息爬取环境数据读写算子学习词频统计环境数据分类统计词组分类统计日志分析分类算法学习聚类算法学习GM11预测环境数据中文分词统计金融版大数据实验项目夏普比率与最大回撤和最大回撤时间最优风险资产组合(一)(二)预测股票走势基于CAPM模型的预期收益率与实际收益率航空公司客户价值分析漏电窃电用户判断数据挖掘电商产品评论数据情感分析实时中美货币

8、转换共享单车数据可视化(一)(二)(三)(四)金融数据可视化基础金融数据可视化实战分析新浪股票数据股票数据抓取与分析（一）（二）时间序列分析-ARIMA模型时间序列分析-指数平滑模型对英国房屋价格建模并预测航空燃油的交叉对冲多元线性回归研究我国经济增长金融风险管理：VaR 和 ES金融风险管理：Delta-normal方法计算 VaR 和 ES金融风险管理：历史模拟法、蒙特卡罗模拟法计算 VaR 和 ES金融风险管理：分位数回归法计算 VaR分析股票指数的GARCH效应建立VAR模型分析联合内生变量的动态关系（一）（二）R语言Python 语言统计版大数据实验项目Python数学统计实验-财政

9、收入影响因素分析及预测模型Python数学统计实验-二氧化碳含量预测Python数学统计实验-分析美国对数据科学家专业技能需求（一）（二）Python数学统计实验-利用 Python 进行员工流失分析（一）（二）（三）（四）Python数学统计实验-研究统计学基础（一）（二）（三）Python数学统计实验-统计分析集成开发软件受欢迎程度（上）（下）Python数学统计实验-新加坡空气污染原因分析（上）（下）Python数学统计实验-统计计算Python数学统计实验-估计Python统计学实战实验-回归分析预测房价(上)(下)R语言数学统计实验-数据的筛选与汇总R语言数学统计实验-概率与分布R语

10、言数学统计实验-建模实战R语言数学统计实验-数据重构R语言数学统计实验-数据平滑R语言数学统计实验-分类和聚类(一）(二）R语言数学统计实验-时序数据分析R语言数学统计实验-高级数据管理R语言数学统计实验-基本图形R语言数学统计实验-基本统计分析（一）（二）（三）R语言数学统计实验-回归（一）（二）（三）（四）R语言数学统计实验-方差分析（一）（二）R语言数学统计实验-功效分析R语言数学统计实验-中级图形（一）（二）R语言数学统计实验-重抽样与自助法（一）（二）R语言数学统计实验-广义线性模型（一）（二）R语言数学统计实验-主成分分析和因子分析（一）（二）R语言数学统计实验-时间序列（一）（二

11、）（三）R语言数学统计实验-聚类分析R语言数学统计实验-分类R语言Python 语言电商版大数据项目实验Python电子商务实验-水产养殖企业水质分析Python电子商务实验-销售收入预测Python电子商务实验-用户投诉分析Python电子商务实验-分析eBay汽车销售数据Python电子商务实验-利用Python做淘宝商品的数据挖掘分析Python电子商务实验-利用Python进行市场购物篮分析Python电子商务实验-用户欺诈预测Python电子商务实验-航空公司客户价值分析Python电子商务实验-电商产品评论数据情感分析Python电子商务实验-利用层次聚类算法进行基于基站定位数据的

12、商圈分析Python电子商务实验-分析客户流失Python电子商务实验-爬虫爬取拉勾网职业信息分析R语言 电子商务实验-航空公司客户价值分析R语言 电子商务实验-基于基站定位数据的商圈分析R语言 电子商务实验-数据分析实战1：用R做柱状图分析销售额减少R语言 电子商务实验-数据分析实战2：交叉列表统计何种顾客会离开R语言 电子商务实验-数据分析实战3：AB测试分析哪种广告的效果更好R语言 电子商务实验-数据分析实战4：逻辑回归分析根据过去的行为能否预测当下R语言 电子商务实验-数据分析实战5：多元回归分析如何通过各种广告的组合获得更多的用户R语言 电子商务实验-数据分析实战6：利用k-mean

13、s聚类选择目标用户群R语言 电子商务实验-数据分析实战7：利用决策树分析哪些用户是长期用户R语言 电子商务实验-员工离职预测实战(一)(二)R语言Python 语言真实数据支持万物云 物联网大数据平台 环境云 环境大数据开放平台 对接在线大数据业务平台金融类大部分实验从自定义数据源实时爬取支持实时数据爬取海量真实大数据项目数据随平台交付真实项目数据完整的本科课程教材体系大数据云计算2017年首印，x全国各大高校大数据专业广泛选用2010年第一版发行，现版为第三版。2016年全国高校教材被引用数最高的教材大数据实验手册2017年首印，配套大数据一体机平台实验内容，新版更新包括新增实验系统地介绍了

14、大数据库的理论知识和实战应用。大数据库在分析视觉特性基础上，清晰有效地传达与沟通数据内涵信息。大数据可视化涵盖经典数据挖掘理论、方法、工具与应用数据挖掘深度学习为没有任何机器学习基础的人提供一个深度学习教材，使用浅显易懂的语言和深入浅出的方式将原理和实践讲清楚高职课程教材体系针对大数据初学者，采用理论与实践相结合的方式，简化了大数据学习的难度，使学习更加容易上手。本教材凝聚了全国同类高等院校的技术大牛，以企业实际开发案例为主，贴近实战，内容充实，使学习者能够在进入企业后快速融入到大数据技术的相关工作岗位中。在应对大数据挑战的过程中，云计算技术日趋成熟，拥有大量的成功商业应用。本教材介绍了云计算

15、的概念与特征、云服务、云计算体系结构、平台搭建部署、可用的公有云平台和云计算应用等内容。通过本书可掌握云计算的概念和原理，学习主要的云计算平台和技术。数据清洗是数据挖掘与分析过程中一个非常重要的环节，由于其数据类型异常复杂，传统的清洗数据工作单调乏味且非常辛苦。本教材讲授了怎样利用正确的工具和方法，让数据清洗工作事半功倍。着重介绍如何更好地维护大数据系统，重点突出大数据系统的运维特点及运维技能，在数据量爆炸式增长的同时，确保大数据系统的稳定可靠运行，更好地支撑大数据的商业应用。本教材讲授了数据的基本概念和常用算法，并通过实际应用例子进一步阐述数据挖掘技术的运用方法。版教材讲述了目前广泛使用的几

16、种大数据库产品：Hadoop数据库HBase、数据仓库工具Hive、内存大数据计算框架Spark的工作原理以及它们的部署、配置、命令、SQL语句等常用操作，以浅显易懂的语言风格和图文并茂的操作示例引领读者迈入大数据库之门。R语言是专门为统计和数据分析开发的语言，各种功能和函数琳琅满目。本教材从实际应用出发，结合实际例子及应用场景，深入浅出地介绍R语言在大数据分析应用的相关知识：包括数据准备、数据探索、数据变换、数据可视化、数据建模等。自由探索模式集群环境单机环境图形环境教师环境：集群规模可选教师环境：集群规模可选 学生环境：学生环境：3 3节点集群节点集群实验流程模式系统按照学生实验内容自动创

17、建所需实验环境学生参照实验手册完成实验，并记录实验流程，生成实验报告学生提交报告，教师可根据实验报告提交情况，管理掌控实验进度教师根据学生实验报告内容的正确性，完整性和及时性打分创建环境提交报告实验操作教师评分考试评测系统海量题库辅助评分试卷生成在线考试考试系统提供分类标准题库，题库可自定义分类，可扩展试题可按照设计难度目标自动生成试卷，包括单选题，简答题提供在线考试功能部分题型试题（单选题）自动评分1234第三方实验开发工具集自定义实验内容设计模板：在线实验内容设计文档内容导入：通过word文档导入实验内容生成实验手册镜像定制工具：可从基于平台镜像库中的标准镜像，也可根据实验内容构建自定义容

18、器镜像并存入本地镜像库实验内容开发工具实验资源库：自定义实验+平台自带实验=实验资源库自定义实验板块内容Hadoop基础Python语言数据挖掘算法 电商项目实战第三方设计实验R语言编程Python编程Hadoop生态大数据平台实验资源库电商专业大数据实验集成数据挖掘及可视化工具用户上传数据集文件至平台（csv格式文件）点选指定待挖掘数据表列（多选）点选适用的数据挖掘算法（分类，聚类，决策树.）选择合适的数据展示方式（饼图，柱状图，散点图等）数据展示上传数据指定表列选择算法 第四部分在线演示 实验集群 实验流程 考试系统 教师管理 挖掘算法 数据展示PART04:/云创大数据实验平台 2.0 在线体验版One more thing 谢 谢 云创企业文化：与聪明人一起做精彩的事