三盟高校大数据交流胶片(一线使用-完整版)V3课件.pptx

1、三盟高校大数据交流胶片（完整版）汇报人：*日期：2016.4.24P1.现状分析P2.大数据业务 P3.技术实现P4.公司实力P5.案例分析P6.竞争分析高校大数据建设国家政策背景2015年12月21日，中国基础教育大数据发展白皮书首次研讨会在京召开，对全国教育大数据的建设给予探索和指导参考意义。9月5日电 经李克强总理签批，国务院日前印发促进大数据发展行动纲要，系统部署大数据发展工作。其中，也提到了教育大数据系统的建设。目前政策对大数据的支持力度正不断提升，大数据已上升至国家战略。自去年3月“大数据”首次出现在政府工作报告中以来，国务院常务会议一年内6次提及大数据运用。在6月17日的国务院常

2、务会议上，总理李克强再次强调大数据运用的重要性。7月1日，国务院办公厅印发了关于运用大数据加强对市场主体服务和监管的若干意见。2015年总结：大数据产业政策频出 步入快速发展期高校大数据建设遇到的问题主要是数字化校园系统产生数据数据的维度少，业务来源不足数据量百GB到几TB，数据量少以结构化数据为主，达不到大数据要求部份数据源有错误，数据不一致业务接口与数据结构不规范数据涉及面窄有效数据量少数据接口不完善数据源的问题分析数据中心教务系统学工系统一卡通系统设备管理系统科研管理系统医疗管理系统研究生管理系统上网行为管理系统网络计费系统无线WiFi系统宿舍管理系统图书管理系统房产管理系统财务系统人事

3、系统基本信息基本信息、成绩等贫困生、奖学金等流水账岗位、职称等专业、研究方向等高校常见业务系统高校常见业务系统详细数据分析校领导决策更加科学教师教学更加便捷教学水平提升学生随时随地个性化学习家长及时掌握子女在校情况教学管理与服务管理更加简单高效服务水平不断提升校园环境更加绿色、环保、安全信息化覆盖范围和服务水平有效提升社会更多优质教育资源和科研成果开放共享高校大数据建设遇到的问题高校大数据服务用户分析高校大数据常见服务用户类型用户类型校领导具体需求1、师生整体情况2、学校舆情3、科研水平4、资产情况用户类型院领导具体需求1、学院各专业各班级的集体/个人行为画像2、学院教师的课程和科研情况用户类

4、型校工会具体需求1、评判贫困生、奖助学金结果的合理性，识别冒领人员2、教职工的劳资情况用户类型设备处具体需求1、现有资产现状2、资产发展趋势3、各品牌资产的故障率4、各单位资产采购规划用户类型企业具体需求根据学生行为画像情况和企业岗位要求匹配度，推荐学生到企业实习或就业用户类型图书馆具体需求1、图书馆藏现状2、图书借阅现状3、趋势分析4、图书采购规划用户类型老师具体需求1、班级成绩2、班级/个人行为画像3、图书借阅，推送书籍4、科研情况用户类型校医院 具体需求1、药品收支率2、学校健康档案 3、传染病预防和治疗4、分析药品副作用用户类型本科生/研究生具体需求1、成绩和能力情况2、就业市场和招聘

5、指导3、图书借阅4、消费、网络高校大数据建设的其它行业问题关联分析统一规划运维服务P1.现状分析P2.大数据业务 P3.技术实现P4.公司实力P5.案例分析P6.竞争分析三盟大数据方案规划架构图教务系统图书管理系统一卡通系统认证计费系统就业指导系统上课考勤系统校园论坛网站校外招聘网站校外论坛网站数据源大数据管理平台网络设备行为审计数据库安全设备服务器云管理平台虚拟桌面智慧课室数据采集Socket采集DB采集Ftp采集Webservie网络爬虫建模清洗数据清洗数据质量任务调度加载入库Spark coreSpark StreamingMLlibSpark SQL数据仓库统一api/Jdbc接口Hi

6、veHbaseHdfsMongoDBMysql主流数据库结构化数据半结构化数据应用服务我的大学就业指导行为预警学生行为画像学校舆情数据安全分析三盟科数据ETL工作箱支持高校大数据建设的整体与应用的真正落地，实现“一体化”交付舆情分析舆情分析数据安全数据安全行为画像行为画像招生就业招生就业 我的大学我的大学综合预警综合预警三盟大数据业务模块（已完成）学校概况学校概况学校概况全校成绩统计图全校学历分布情况各学院学历分布图全校一卡通消费情况学生生源分布地图教师职称统计图学校概况全校上网信息学校舆情情况综合预警平台各省成绩分布图全校/各院学生综合分析各院逃课率占比我的大学-我的成绩学生成绩详情分析 学

7、生图书借阅分析学生课程表学生详细当前借阅信息我的大学-我的消费我的大学-我的网络行为画像-逻辑示意图基础知识学习方式学习需求消费信息上网信息考勤信息上课内容上课成绩选课内容每个学生的行为画像大学综合信息我的推荐学生关联信息数据仓库生活信息课程信息其它信息行为画像行为画像成绩消费生活读书上网纪律画像边缘优秀学生画像个人学生画像综合预警学生沉迷预警图书借阅预警学生失联预警贫困生预警上网预警一卡通消费预警综合预警常见内容通过对学校内部的论坛、社会上的常用互联网平台的监控，实时了解学校舆论的关注热点词，以及社会上对学校的舆论动态，并实时反馈给学校管理者和校领导，使学校做出及时的舆论导向工作。舆情分析爬

8、虫引擎清洗引擎邮件告警采集集群互联网数据采集平台实时检索引擎数据挖掘分析平台分布式存储预警模块日报、周报监控仪表板通知管理微信告警预警平台学校舆情招生就业招生就业常见内容年纪分步学历分步薪资分步地域流向职业分析工作轨迹数据安全校园网U N I V E R S I T YU N I V E R S I T Y教师研究生本科生网络日志数据上网身份认证数据学籍、人事数据大数据存储与交换平台大数据分析平台三盟信息收集通过校园信息化平台的各软硬件的日志和其它信息的收集分析，动态评估学校安全的整体情况。SiSi网络设备安全设备服务器业务系统安全状态监控图三盟大数据业务模块（正在开发）企业辅助招生学生行为预

9、警学生辅助就业我的大学学习考试平台学校舆情分析战略决策分析数据安全分析资产管理分析学生行为预警学生辅助就业企业辅助招生教学质量评估学生行为画像教学质量评估家长信息同步学生行为预警家长信息同步定制搜索引擎学生行为预警定制接索引擎战略决策分析电子资源统计就业指导电子资源统计失联预警报警学生行为预警综合预警报警校园地图管理学生行为预警Wifi地图分析大数据辅助科研学生行为预警辅助科研系统资产管理分析学习考试平台高校应用大数据产品收益与价值 对学生进行一体化、全过程跟踪，了解每一个学生的真实情况 对专业历史就业情况、社会当前就业需求详细分析，指导专业和课程动态调整改革 及时预判学校在社会上的负面舆论，

10、提前进行把控，保障学校声誉 建设优秀学生的行为画像，为学生发展提供指导标准 提供学生管理的实时预警，问题隐患提前疏导，防止出现意外事件 为学校的高层领导战略决策的大数据指导，进行管理模式创新 关注学生的个性化需求，从关注学生群体转向关注学生个人 通过大数据建设，有效提高承建部门的绩效 P1.现状分析P2.大数据业务 P3.技术实现P4.公司实力P5.案例分析P6.竞争分析三盟大数据“端到端”交付具体内容需求调研产品开发技术服务应用扩展咨询设计调研客户信息系统的现状调研客户数据源现状与质量调研学校大数据关注内容调研学校背景与发展需求评估技术实现可行性与规模数据样例分析确定使用的大数据的关键技术确

11、定使用的数据呈现模式制作完整的咨询规划落地方案协助客户进行项目规划与申报调研学校背景与发展需求提供三盟科技大数据产品与功能采集客户源数据针对性进行建模与数据库设计针对客户需求进行对应的数据关系与挖掘分析提供大数据应用分析报表与结果分析源数据的合理性与正确性学校源数据变化的整合新增业务的整合数据监控与管理技术培训教学合作.开放接口，学校可自行开发大数据应用为学校增加新的大数据应用功能增加新的数据关联内容数据深度挖掘三盟科技大数据产品：架构01-ETL业务数据采集：三盟公司自我研发的采集模块。外部数据采集：Apache开源爬虫工具、三盟二次开发02-存储静态数据：采用当前最流行的开源数据库Mysq

12、l动态数据：存储在HDFS上，使用Spark进行数据分析；热数据：存储在HBase上，进行快速检索03-呈现后台：使用SpringMvc+Hibernate+Druid+Shiro框架前端：使用Jquery+BootStrap+Echarts组件数据采集ETL行政待办行政待阅审批申请身份信息消费信息余额信息学生信息考核信息奖惩信息资助宿舍资源分配信息日常评比学生信息老师信息考勤信息学生系统教务系统宿舍系统行政管理图书馆管理一卡通其他系统上网行为课程信息班级信息排课排考成绩身份信息访问告警流量信息身份信息消费信息余额信息各类数据输出ININ成绩信息宿舍评比一卡通信息班级信息专业信息学生信息老师信

13、息学生信息老师信息学生信息卡身份老师信息审批信息事务提醒各类跨系统数据输入数据 仓库服务提供数据清洗数据清洗原则清洗前的原始数据清洗后的数据数据清洗示例清洗规则：门禁系统，把没有卡id的数据过滤，并把每个卡ID和用户ID做关联，记录到门禁记录中一卡通系统：管理学生ID，增加学生姓名教务系统：过滤成绩为0的记录，过滤重复的课程、通过门禁系统、增加宿舍位置等学生信息：过滤无效的地址信息，通过身份证号码，适配学生省份、地市信息等实际项目举例数据建模数据存储MysqlHiveHbaseHdfsMongoDBOracle其它三盟集群二次开发和接口封装（DBBOX）统一访问接口统一对外接口我的大学我的大学

14、学生行为画像学生行为画像学校舆情分析学校舆情分析就业指导就业指导数据安全分析数据安全分析学生行为预警学生行为预警其它业务其它业务使用统一的大数据接口数据入库数据预处理数据预处理技术主要包括：清理源数据集中的噪声数据和无关数据。处理遗漏数据和清洗脏数据、空缺值。识别删除孤立点。对数据按时间进行汇集。存储和管理数据存储采取关系数据库存储和大数据系统存储并行的策略：关系数据库存储。采用MySql数据库集群。大数据数据库存储。采用HBase数据库。大数据文件系统HDFS存储系统管理采用Hadoop系统和ZooKeeper等管理工具。教务系统学工系统一卡通系统上网计费系统医疗管理系统数据库同步程序关系数

15、据库存储NoSql数据库存储数据分析程序数据展示程序关系型数据流式数据流式数据ETL程序Hadoop大数据系统图书馆管理系统人事系统研究生管理设备管理系统科研管理系统宿舍管理系统财务系统New Sql数据库存储大数据文件系统社会招聘就业网站论坛网站科研网站爬虫工具DBBOX大数据管理平台建设Manage管理软件三盟科技为学校提供图形化、中文的大数据管理工具，用于学校老师日常的运维，主要功能包括如下：安装部署数据查询权限设置元数据管理节点修改故障检测集群监控大数据标准规范高校大数据规模体系基础数据规范业务数据规范架构及实施规范基础数据标准规范基础数据业务交互规范基础数据维护规范业务数据标准规范业

16、务数据维护标准平台构架设计规范实施指导规范数据接口结构规范大数据平台数据字典建立高校大数据标准，对各个业务系统的数据进行规范梳理业务前端展示所使用的技术折线图柱状图仪表盘饼图预警信号地图成绩消费生活读书上网纪律热点图雷达图三盟科技大数据系统物理架构图（参考）Data Node数据节点集群Name NodeName NodeJob Tracker二层交换机分步式文件域域节点集群Hmaster二层交换机分步式数据库域关系性数据库My SQL二层交换机关系数据库域域节点集群门户系统集群模式统一代理系统MR系统Pig分析Hive数据仓库系统Chukma采集系统应用系统域安全运维域大数据管理系统ETL数

17、据采集域数据采集清冼、建模系统数据挖掘分析域数据关联与挖掘系统交换机用户域数据存储系统三盟大数据产品硬件配备情况（参考）三盟科技高校大数据解决方案配套的服务器资源可根据实际的项目需求与数据量大小进行灵活的调整。三盟大数据硬件网络爬虫接口服务器应用服务器数据仓库/检索/分析服务器集群Mysql集群4台，参考配置：Hadoo集群6台，参考配置：应用服务器1台接口服务器1台爬虫服务器2台 2路6核 96G 内存 10*300G SAS盘 2路6核 96G 内存 10*300G SAS盘 4个1000M网口 2路6核 96G 内存 10*300G SAS盘参考配置：三盟科技能够提供云计算与大数据融合，

18、在云平台上实现大数据节点的自动部署。大数据环境自动部署大数据后期服务与保障技术服务：大型故障7x24小时上门解决驻场服务：1人驻场，3年更新服务：3年免费功能更新远程支持：普通问题远程支持与协助服务内容：新加数据，数据有错误，更新，硬件异常，扩容运维保障服务三盟科技为学校原厂的大数据运维保障服务，协助学校日常大数据项目的管理，主要内容包括如下：阶段任务分解 需求调研 需求文档编写 需求评审 需求确认阶段里程碑1.完成需求文档编写2.完成需求确认阶段验收条件1.需求文档符合规范2.需求邮件确认需求阶段准备阶段阶段任务分解获取接口信息：资费系统获取接口信息：上网行为审计系统获取接口信息：考勤门禁系

19、统获取接口信息：教务系统获取接口信息：一卡通系统获取接口信息：图书管理系统获取接口信息：其它接口阶段工期开始时间：2016-xx-xx结束时间：2016-xx-xx投入人员：x人阶段里程碑每个接口信息获取都是里程碑验收标准接口信息文档收集完整阶段任务分解数据建模资费系统、上网行为审计系统、考勤门禁系统、教务系统、一卡通系统、图书管理系统 数据采集处理外部数据爬取场景开发：例如我的大学、行为预警、就业指导，学生行为画像阶段里程碑 模型建立 每项数据采集完成 每个业务场景完成开发验收标准 数据能正常采集 例如：我的大学、行为预警、就业指导、学生行为画像能正常使用开发阶段测试和试运行阶段阶段任务分解

20、模块整合集成测试bug修复回归测试试运行阶段里程碑 学校大数据版本发布验收标准 学校大数据版本正常发布 确认试运行使用情况大数据项目建设实施项目实施与建设安排需求阶段准备阶段开发阶段 2015-12-12015-12-31 2015-12-282016-2-2测试阶段 2016-6-12016-8-31 2016-1-42016-5-31项目建设参考周期三盟大数据方案优势小结大数据研发实力强中国、美国硅谷两个研究院数十名国内外教育专家顾问过百名专业的研究人员“一体化”交付支持高校大数据建设的整体与应用的真正落地，实现“一体化”交付。业务模块丰富已完成6大业务模块，后续规划超过10种高校大数据业

21、务模块专注教育行业专注中国教育行业超过10年，教育行业投入资源大，了解教育真实需求与云计算融合提供云计算与大数据融合，在云平台上实现大数据节点的自动部署技术标准无制约为不同的数据产品提供一致接口，消除软硬件限制，实现弹性部署，保障应用体验P1.现状分析P2.大数据业务 P3.技术实现P4.公司实力P5.案例分析P6.竞争分析总人数：100人，核心骨干来自于运营商行业的大数据公司，本科、研究生及以上学历占100%，三盟大数据研发团队（中国）外部顾问团队三盟研发团队24位来自全国985、211高校信息化专家，为三盟大数据产品的实际需求和应用落地把关平均年龄大数据研发团队的平均年龄为28岁本科以上学

22、历人员占比超过100%100%本科学历研发人员三盟中国大数据研发团队成员100人10028岁三盟研发人员：外部顾问团队：蒋志予 博士蒋志予博士三盟硅谷大数据研究院院长纽约州立大学石溪分校物理博士，斯坦福大学博士后研究成果：参与1994年顶夸克(top quark)的发现/X光自由电子激光技术历 任：IBM 信息架构设计师 Dell Global Services的数据中心团队负责人 洛克希德马丁信息科技国土安全部总技术官(CTO）华盛顿州政府管理和技术资讯顾问 毕博(BearingPoint)大数据团队负责人三盟大数据研发团队（美国硅谷）李 欣 ：教育领域专家，工商管理硕士，哈佛大学汪浩瀚 ：

23、数据科学家和系统工程师，机器学习专家，卡内基梅隆大学博士Brandy李：法律顾问,法律博士，纽约大学李 璟 ：大数据系统工程师,电子工程硕士，明尼苏达大学Ryan马 ：数据科学家，应用数学学士，罗切斯特大学田 川 ：数据科学家，物理学士，纽约州立大学石溪分校赵 燕 ：教育系统专家，博士，亚利桑那州里大学王泽懿 ：市场部经理，工业信息管理硕士，纽约州立大学石溪分校杨 谊 ：业务开发副总裁，文学硕士，纽约市立大学杨 萤 ：数据科学家，机器学习专家，卡尼基梅隆大学博士后团队成员三盟大数据研发团队成员（美国硅谷）P1.现状分析P2.大数据业务 P3.技术实现P4.公司实力P5.案例分析P6.竞争分析

24、三盟科技与海南师范大学合作，为学校构建了大数据一期项目，采集了学校校内业务系统（教务系统、一卡通、图书管理系统、上网认证计费、上网行为审计、考勤门禁）和互联网（各个坛论、招聘网站、就业网站）的数据，并进行了定制化的数据清洗与建模，构建了统一的数据仓库，还为学校开发了“学校概况”、“我的大学”、“就业指导”、“行为预警”、“舆情分析”、“优秀学生画像”等多个大数据业务模块。目前该项目还在实施中，一期的功能模块预计在6月份可以实现开发完成与验收。在二期规划建设中新增了辅助科研系统、战略决策平台、wifi地图分析、辅助就业平台、综合预警分析、资产管理等功能模块 海南师范大学案例分享海南师范大学案例分

25、享P1.现状分析P2.大数据业务 P3.技术实现P4.公司实力P5.案例分析P6.竞争分析市场上现阶段总体竞争情况传统数字化校园厂商代表公司：江苏金智、河南精华、广州联奕基于自已的数字化校园产品的数据，做二次开发，提供深度报表与智能分析内容。产品数据主要来源于自己的数据，主要偏向管理类的数据；数据来源少、维度不足，对其它系统不了解。平台主要以传统的数据库为主，对分步式如hadoop沉淀不足。同时客户容易受绑定，后期扩展性不足。大数据平台公司代表公司：华为、浪潮、曙光、星环主要进行大数据平台产品的开发，使用开源产品进行深度定制，处理能力强、可管理性较好。主要领域在于电商、金融、公安、政府等数据量

26、很大的领域，对高校只是试探性进入。无法提供原厂的数据集据服务，开发的高校大数据业务模块很少，运维服务有很大的困难。第三方大数据公司代表公司：西嘉创智、从第三方的角度，进行全校大数据项目的制作，产品开发以及技术服务，与我司的定位类似我司在高教行业投入、大数据业务模块、云计算融合等方面具有一定优势北京希嘉创智公司简介北京希嘉创智科技有限公司是一家专注于大数据技术和服务、云计算技术与研究的高科技公司，旗下拥有3家全资或控股子公司，分别在商业大数据领域、教育大数据领域、知识产权大数据领域及云计算与IT运维领域深耕。公司现有员工117人，其中技术人员占80%。北京希嘉创智教育科技有限公司2015年正式成

27、为中国高等教育协会教育信息化分会企业会员单位，目前分别与北京大学、武汉大学、中南民族大学、武汉科技大学、大连理工大学展开了深度合作。阶段性成果包括基于高校业务共建的多个平台：多维数据交换平台、学生大数据预警管理平台、学校声誉大数据监控平台、大数据辅助科研平台等武汉希嘉万维科技有限公司成立仅二年，依托于华迪集团公司在咨询、集成、运维等方面的人才和经验积累，高速发展。我们关注教育、电力、政府三大行业的信息化前期咨询、中期建设和后期运维工作。武汉希嘉以基础平台建设、信息安全建设、IT运维服务、大数据分析为四个主要业务发展方向，沉淀出自己的高密度绿色数据中心建设、高校宿舍无线基础网络建设、数据中心自动

28、化运维、企业私有云信息安全、高校学生失联预警系统五大方案北京希嘉创智公司竞争分析分析一：北京希嘉创智研发实力分散在金融、高教、知识产权等多个领域，投入到高校层面的总体资源较少，从市场端反馈的情况看，希嘉对客户的需求响应比较缓慢。三盟主要的研究精力都投入在高教领域，响应速度快，对海师客户大数据需求到完成的时间仅4个月左右分析二：北京希嘉在高教大数据现推出的模块只有学生预警管理、学校声誉监控、辅助科研三部份，具体建设效果还并不清楚，其它的正在研究中。三盟现阶段除学生预警管理、学校声誉监控外，还开发出了如行为画像、我的大学、就业指导、大数据安全4个模块，而且都实现了项目落地，辅助科研正在进行开发中。

29、在业务类型上优于北京希嘉创智。分析三：北京希嘉在高校云计算领域技术沉淀和案例校少，武汉希嘉成立的时间也很短，正在人员扩招中。三盟科技能够提供云计算与大数据融合，在云平台上实现大数据节点的自动部署，有效的降低大数据环境的部署难度和时间。上海星环大数据产品价值点分析曙光大数据产品价值点分析曙光大数据平台高校应用举例曙光宣传的高速大数据的应用内容，主要针对于重点学科（电信、化学、物理、医学等）的大数据研究分析，据了解是曙光和某大学正在谈的合作内容，现在还没有见到任何成型的内容。华为大数据产品价值点分析大数据平台公司竞争总结分析：从星环、华为、曙光、浪潮（平台OEM星环）主打的都是电商、公安、金融、运

30、营商等领域，他们相互之间的竞争也非常厉害。比如从华为和星环，主要做100PB以上数据量的项目，高教基本处于了解阶段。星环计划从高教的科研入手，但目前只是在行业研究，还没有任何进展。从星环、华为、曙光、浪潮的对外宣传资料可以了解，主要价值点是高性能、超强稳定性、复杂处理等的能力，这些都是数据量大、实时性高的行业的关注需求。高教现阶段能够进行大数据处理的校内数据量仅几十G（如监控视频产生的数据不算，现阶段还暂不能进行大数据处理），校外的数据量会比较大。高教大数据现阶段的最核心需求是针对性采集数据与建模、大数据业务、可管理性、长期服务等。这些都是三盟科技大数据方案的核心优势。三盟大数据团队来自之前做

31、运营商大数据的团队，提供的分步式大数据平台不仅标准，而且性能非常出众，可满足每天对全省几千万用户产生的数据分析处理，并及时产生结果，完全可以满足高校大数据，包括科研、校外的大数据量的处理。数字化校园公司的竞争分析分析一：数字化校园厂商：对非自己的数据不够了解，需要重新打客户协调资源、数据获取，重新建模等，这些都不是这类公司的强项。现阶段数字化校园公司投入的重点以及宣传的内容基本上都还是自己的数据做出的效果。三盟科技：高校重视的是大量数据关联产生价值，三盟科技为第三方公司，不受制约，现已实现近十类高校数据的分析处理。分析二：数字化校园厂商：数字化校园系统基本上使用的是传统的单机或集群数据库，比如

32、SQL、oralce，基本上不涉及分步式处理，比如hadoop。因此数字化校园厂商在分步式处理上能力和人才储备不足，基础平台满足不了大数据的要求。三盟科技：大数据团队来自之前做运营商大数据的团队，以及美国硅谷团队，对分步式处理尤其是hadoop有近十年的项目经历，对传统数据库也非常了解。因此三盟为客户提供的标准、分步式的底层平台优于数字化校园厂商。数字化校园公司的大数据实质就是将自己数字化校园产品的数据提出来，做一些深度的分析与报表。优势是对自己的数据比较了解，而且数字化校园软件确实有一些重要的数据，但维度不足，而且主要偏向于管理类的数据。分析三：数字化校园厂商：受绑定比较严重，后期学校只能一直采用相关厂商的产品与服务，与现阶段高校希望解绑的大形势相背。三盟科技：第三方公司，产品与技术标准，接口可向学校开放，不存在技术绑定或者限制的问题。高校大数据三盟科技公司整体优势三盟科技高校大数据解决方案汇报人：伍剑部门：技术支持部感谢您的观看！