《航空电商大规模实时日志分析》课件.pptx

1、航空电商大规模实时日志分析目录1、介绍恶意行为防控系统的背景2、介绍恶意行为防控系统的演进介绍恶意行为防控系统的背景 行为定义业务安全运维安全恶意爬数据恶意注册/刷验证码刷单占位恶意秒杀恶意扫描SQL注入业务漏洞攻击DDOS/CC攻击介绍恶意行为防控系统的背景 恶意行为盈利模式目录1、介绍恶意行为防控系统的背景2、介绍恶意行为防控系统的演进恶意行为防控系统的演进 第一阶段 面临的问题日峰值航班查询量 30,000,000月峰值非正常停机 30分钟日志 未利用日峰值注册用户 1,000,000 月峰值支出费用(元)1,200,000 日峰值航班占座(个)10,000恶意行为防控系统的演进 第一阶

2、段 如何解决问题防火墙(iptables)/perl脚本采集web应用日志web应用内部埋点布防 排除注册漏洞系统级流量控制(tc)恶意行为防控系统的演进 第一阶段 系统架构web1日志kakfakakfakakfajava jarmysqlhadoop 集群监控仪表盘白名单webn日志.规则引擎恶意行为防控系统的演进 第一阶段 效果恶意行为防控系统的演进 遗留问题，占座再次出现恶意行为防控系统的演进 第一阶段 遗留问题入侵式架构监控不完整事后处理模型恶意行为防控系统的演进 第二阶段 如何解决问题入口级监控多级时间窗口监控恶意行为防控系统的演进 第二阶段 如何解决问题应用级流量控制(ip,co

3、okie,user_agent)机器学习(逻辑回归，神经网络等)恶意行为防控系统的演进 第二阶段 系统架构nginxkakfakakfakakfasamza job流处理数据缓存mysqlAerospikeHadoopMahout 模型训练算法模型算法模型Python自学习模型训练算法模型防控Lua模块白名单查询服务ip风险库外拨恶意行为防控系统的演进 第二阶段 系统架构特点1 nginx_lua 防控模块模型模型自学习自学习服务降级服务降级用户唯一标识用户唯一标识1515防控1级防控0级核心核心URLURL限速限速防控2级防控3级验证码验证码规则引擎规则引擎核心行为规范化核心行为规范化异常异

4、常IPIP库库系统级入侵检测系统级入侵检测系统级攻击检测系统级攻击检测用户体验升级用户体验升级恶意行为防控系统的演进 第二阶段 系统架构特点2 算法模型用户行为模型恶意行为防控系统的演进 第二阶段 系统架构特点2 算法模型机器学习算法：机器学习算法：Logistic Logistic SVM(支持向量机)Kmean预测订单取消概率的数据模型：预测订单取消概率的数据模型：X1 是否访问首页 X2 首页停留时间X3 是否查询过航班X4 查询航班停留时间X5 是否访问过填写乘客信息页面X6 填写乘客信息停留时间X7 订单的乘客人数X8 访问提交订单的页面次数X9 是否加载过关键图片X10 加载关键图

5、片的次数X11 是否访问过辅营页面X12 是否访问最终提交订单的页面X13 是否加载过CSS样式表X14 是否为异常IPY Y 订单状态订单状态The classify accuracy is:90.284%更新频率：15mins恶意行为防控系统的演进 第二阶段 系统架构特点2 大数据挖掘HadoopMahout 模型训练算法模型查询服务异常IP库：56,000,000A4纸 700公里IP分布国外国内时间跨度：2014.2至今恶意行为防控系统的演进 第二阶段 存在的问题需要更全面的实时行为预测需要复杂机器学习算法的支持恶意行为防控系统的演进 未来产品规划航空WAF+产品航空类“乌云”互联网+航空