神策系统技术简介-PPT课件.ppt

1、大家好1神策系统技术简介2016-12-6大家好2 系统简介1 Web研发的新玩法2 大数据研发的新玩法3大家好3神策（数据分析管理平台）总体介绍n作业管理：统一平台化管理离线数据分析脚本，支持任务调度，频繁变更小需求运营自助完成，提高工作效率；n入侵检测：作为帐号异地登录提醒和设备锁等被动安全手段外的有效补充，主动防御撞库、弱密扫描和暴力破解；n实时监控：对任一个nginx集群服务的无侵入式监控，零接入成本，实时全服务、单接口及单机关键服务指标。 认证数据入侵检测实时监控作业管理数据分析管理平台（神策）数据采集数据分析任务调度可视化管理数据分析平台化、自动化和智慧化通用日志分散脚本p 平台优

2、势（部分功能对标腾讯蓝鲸）： 通用化平台，几乎零成本应用于其它部门； flume无侵入式采集日志通过spark实时分析； 支持服务质量三级下钻（集群、接口、单机）； 作业管理支撑分布式任务调度，运行可视化；p 平台现状： 作业管理已上线，管理100多个分析推送任务； 实时业务监控已经在云机测试环境运行； 帐号入侵检测完成功能测试，准备生产计算集群。大家好42个Web子系统（现场演示）大家好52个Spark实时分析子系统-云机环境AccountAnalyzerWebAnalyzer大家好6作业管理（数据分析、消息推送的平台化、可视化）大家好7实时入侵检测（异常登录IP、帐号识别和拦截，可视化管理

3、）大家好8实时入侵检测（异常登录IP、帐号识别和拦截，可视化管理）大家好9实时业务监控（并发量、成功率、服务质量P99P999P9999）大家好10丰富的系统监控功能大家好11主要需求1l通过GUI管理、简化、自动化脚本的执行l提高业务支撑效果，业务人员能简单执行l找出异常IP，实时推送l监控系统-子系统-机器性能l每日数据量：帐号ng日志+acc登录日志+mailLogin日志，平均超过3.8亿条/天 条件组合后，有几十种情况要计算 有攻击的情况下，数据量增长会超过10倍整个系统有数据分析管理+实时服务质量监控两个系统构成大家好12主要需求2l通过GUI实现分散的脚本平台化管理、简化、自动化

4、脚本的执行l提高业务支撑效果，业务人员能简单执行l实现远程拉取，分发管理分析脚本作业文件l帐号面临机器撞库、弱密扫描的安全威胁l攻击者的IP资源较多，可变换l实时分析多个异常攻击特征组合，准确找出异常IP，异常帐号，进行实时拦截l现有监控实时性不高，数据维度不支持，不支持多级下钻l监控系统-子系统-机器性能l每日数据量：帐号ng日志+acc登录日志+mailLogin日志，平均超过3.8亿条/天大家好13主要功能l脚本管理l集群环境下自动调度执行l脚本执行过程监控l脚本执行结果监控l生成脚本l执行脚本l脚本执行情况、历史管理对标腾讯蓝鲸作业平台l业务实时监控l用户登录行为分析l业务配置管理l异

5、常登录IPl异常帐号l系统配置l用户管理l丰富的系统监控功能l实时性可以5秒内l稳定可靠、轻量级大数据服务大家好14 系统简介1 Web研发的新玩法2 大数据研发的新玩法3大家好15整体技术架构大家好16项目经验总结l 注重技术创新l 首次实现脱离hadoop生态圈的大数据系统l 首次支持把云机作为大数据生产环境大家好17主要技术亮点l 采用spring boot + Cassandra设计、开发；l 提供bash脚本操作Cassandra，实现java与脚本之间的互操作；l 通过nginx + 多个Web应用实现动静分离；l 轻量级大数据方案l 基于集群，可靠地动态调度运行任务，支持大量任务

6、的运行， 消除了任务调度的单点，保障了任务调度的可靠性、唯一性；l Spring boot与shiro、天翼帐号开放平台成功集成， 实现基于天翼账号的对用户认证、授权的支持大家好18重要技术细节l 没有JSP，前端全部是静态文件；l 全面支持HTTPS；l 全部异步操作；l 支持移动端；l 不需要开发，系统质量反而更好： 读配置、JSON双向处理、HTTP处理、访问持久层库等；l 针对生产需要设计，标准监控接口，丰富、深入的监控功能l 有状态操作；l 实时、主动通知；l 整合spark、Cassandra、Kairos、zk；l 基于rdd的算法优化。l 消除单点，真正的、简单而强大的集群。公

7、司内首创大家好19其它应用大幅减少代码量，系统性能反而更高！大家好20 系统简介1 Web研发的新玩法2 大数据研发的新玩法3大家好21大数据计算集群架构、部署架构Spark 1.6.0 On Yarn（CDH5.7.2）大家好22主要技术亮点范围：大家好23主要难点l数据量变化大，有攻击时可飙升超过10倍l计算量大，调优措施依赖环境l需求复杂、不断变化l模板定制，业界独一无二lScala、rdd与Java做法差异较大lSpark编程模型与Java等传统做法差异较大l技术范围很广，需改造、定制部分开源项目大家好24成本控制、主要困难l 全职员工仅2人，1人10月底投入；l 计算集群支持云机环境

8、，不一定需要物理集群；l 减少了研发、运维工作量；l 没有产品、UED、测试人员，没有大数据运维；l 资源匮乏：直到11月底，计算集群资源才满足要求；9月低前，拿2核云机做大数据计算资源l 有人提出：换编程语言（scala-java）；l 有人提出：应该采用基于Window的计算；l 有人提出：应该采用Hadoop MapReduce，而不是spark；l 其它没信心大家好25成本、风险控制良好，4个月完成2个项目l全职仅2人，7实习生；l计算集群支持云机环境，不一定需要物理集群；l减少了研发、运维工作量；l没有产品、UED、测试人员，没有大数据运维。l提出换编程语言（scala-java）；

9、l应该基于Window计算；l应该采用Hadoop MapReduce，而不是spark；l其它没信心l需求不断增加、变、随意（例如，删除异常帐号-增强）；l4个月换3拨人，其它项目优先；l无线办公网络慢、不稳定；l为节约成本，直到11月底才有足够的机器大家好26总结l 人员应基本稳定、满足l 不能不断新增需求，今天（2016-12-06）又加有1个l 资源控制应先满足基本需求l 机器资源、环境 到今天，物理集群资源都不充裕 别人很简单就有100多g用，这里申请很久2个应用才100g Spark 1.3、1.5、1.6l 大坑，牺牲健康为工作，别人还以为很简单l 感谢帐号研发部提供业务需求l 感谢大数据运维的友情支撑l 数据分析 感谢黄煌、杨方维、姜健、蔡俊华、唐莉萍的大力支持（5人，兼职） 感谢实习生高新、江露（2人）l 实时服务质量监控 感谢（3人）何成（唯一全职，10月下旬开始）、唐宇、张宏山 感谢5名实习生，特别是张涛大家好27问题讨论感谢何成友情提供电脑!大家好28Bye Bye