异常流量检测课件.ppt

1、系统功能结构综合分析数据采集能力方案特点方案特点:(1)全网流量数据采集全网流量数据采集,无需探针无需探针,数据传输量微小数据传输量微小 保守计算公式保守计算公式:实际物理流量每实际物理流量每 10 Gbps,产生流的带宽小于产生流的带宽小于 4 Mbps 10 Gbps 对应于对应于:2500 flow/second(1:500采样比采样比)size=2500*200*8=4 Mbps(2)全网性能数据采集，无需探针，性能数据传输量微小全网性能数据采集，无需探针，性能数据传输量微小 保守计算公式保守计算公式:500个拨测性能测量，数据传输量小于个拨测性能测量，数据传输量小于 50 Kbps(

2、3)采用采用DFI(深度流检测深度流检测)技术实现全网异常行为技术实现全网异常行为(包括攻击行为，如包括攻击行为，如 DoS/DDoS,蠕虫等蠕虫等)监测及控制监测及控制DFI技术监测网络异常行为技术实现原理DoS/DDoS行为如:TCP Flodd等及未知DoS/DDoS行为异常行为监测流程异常行为监测流程DFI包头特征检测(Pattern Signature)特征扫描DFI Session行为检测(基于统计分析)异常(否)异常(否)模板特征库特征DoS/DDoS 如:Smurf等特征蠕虫如:SQL Slammer等DarkIP,私有IP，协议异常等自定义异常行为检测未知WORM行为，包括模

3、板库中未定义的蠕虫行为恶意扫描行为，包括网络扫描及主机扫描异常(是)异常(是)流量、数据包、session基准线检测异常(是)基准线异常异常行为特征汇聚及异常行为控制异常明细数据记录(细化到会话数据),可以联动xSensor协议分析仪异常(否)正常流流数据DFI技术监测网络异常行为-流包头扫描特征此类检测的特点是逐流检测，计算量小，检测响应时间快，缺点是必须是已知异常行为:如已知异常DoS/DDoS,已知蠕虫病毒，其检测逻辑如下:流数据流数据解析得到数据包头信息，快速匹配异常特征库动态加载已知及用户定义异常特征库动态并行Bloom匹配算法匹配到异常特征DoS/DDoS 如:Smurf等特征蠕虫

4、如:SQL Slammer等DarkIP,私有IP，协议异常等自定义异常行为检测未匹配到异常其他类型检测DFI技术监测网络异常-网络行为统计分析基于目标IP的session缓存统计(5秒Buffer)基于源IP的session缓存统计(5秒Buffer)基于源IP+目标端口的session缓存统计(5秒Buffer)网络边界定义(内网范围),基于内网边界过滤流数据流数据基于TCP Flag过滤可疑流数据可疑流基于缓存数据检测session速率是否达到探测器阈值阈值验证达到阈值DoS/DDoS行为如:TCP Flodd等及未知DoS/DDoS行为未知WORM行为，包括模板库中未定义的蠕虫行为恶意

5、扫描行为，包括网络扫描及主机扫描其他检测从属边界边界范围外异常特征学习此类检测的特点是可以在全网范围内检测异常行为，主要是session异常，网络中发生的异常大多属于session级异常这类session级异常是基于三类特征，即固定目标IP如DoS/DDoS,固定源IP如恶意扫描，固定源IP+固定目标端口如蠕虫病毒，它是基准线session异常的补充，因为基准线session异常在运营商及大型网络中很难发现，比如，用户骨干网上的一条40 Gbps链路中产生session的速率为:10,000 sessions/second,发生一个异常行为DoS/DDoS,session速率增加:1000 s

6、essions/second,这样的情况，基准线一般检测不到(session速率的变化率为:1%),基于三类行为特征的检测可以检测这类异常，它是弥补基准线粗粒度检测的不足,同时这种检测可以检测网络中的未知DoS/DDoS,未知蠕虫等。其检测逻辑如下:DFI技术监测网络异常-异常行为跟踪异常行为特征汇聚了:源IP集合，目标IP集合、源端口集合、目标端口集合、应用协议、TCP Flag基于异常行为特征过于异常明细会话信息从异常行为特征中得到异常开始时间(检测时间与异常开始实际时间误差特征扫描:毫秒级统计分析session行为:5-10秒基准线检测:5-10分钟基于行为特征,行为明细数据记录粗粒度:

7、直接记录异常流会话数据细粒度:结合xSensor协议分析仪或第三方DPI设备详细记录异常流过程数据包内容根据实时异常行为的结束时间判断是否结束异常明细数据记录否记录结束是DFI技术监测网络异常-异常行为控制异常行为特征汇聚了:源IP集合，目标IP集合、源端口集合、目标端口集合、应用协议、TCP Flag产生控制策略基于ACL、QoS等技术实现结合异常行为攻击拓扑，在最有效点部署控制策略及规则,实现正常流与异常流的分离及控制与发流源网络设备互动整合第三方清洗设备接口思科Guard华为清洗设备Eudmemon其他防火墙、IDS/IPS等目标IP固定类异常，如DoS/DDoS通过限速、阻断等手段控制

8、源IP固定类异常，如蠕虫、恶意扫描等通过限速、阻断等手段控制基准线类异常通过限速方式控制基于DFI技术、DPI技术的安全及异常监测对比这两类技术在技术层面上是互相补充和互动的关系，他们之间的互补能更好地解决用户网络安全检测问题。但是由于技术实现手段及原理的不同，现在针对DFI和DPI技术实现异常行为检测的不同点，概述如下:(1)DFI由于采用流数据技术的行为检测，很容易实现全网范围，尤其是内网范围的网络异常行为检测，DPI技术 主要基于数据包捕获技术进行解析数据包分析，这样在全网内部部署代价非常昂贵，且容易造成网络单点故障 的可能性。(2)DPI技术采用基于会话的保存状态信息的异常检测方法由于

9、现有网络流量的不断变大将逐步受到限制,并且网络 结构的调整对其检测和部署影响非常大，而DFI技术基于流数据并且基于流量特征向量的检测，网络结构及环 境的调整对其影响不大与传统的基于数据包检测技术的异常检测(如:IDS/IPS)等对比而言，基于流的DFI检测异常行为技术，可以实现全网范围内的异常检测，比较适合于运营商、大型网络的内网安全检测。基于DFI技术、DPI技术的安全及异常监测对比传统的入侵检测方法分为两种：基于误用检测（misused-based）方法和基于异常检测。(1)基于误用检测方法需要攻击样本，通过描述每一种攻击的特殊模式来检测。该方法的查准率很高，并且可提供 详细的攻击类型和说

10、明，是目前入侵检测商业产品中使用的主要方法。然而经过长时间的研究和应用，该方法 也暴露出一定的弱点，由于基于特征的入侵检测系统是依靠人为的预先设定报警规则来实现，所以在面对不断 变化的网络攻击时有其本身固有的缺陷，比如，利用这种方法时需要维护一个昂贵的攻击模式库、只能检测 已知的攻击等。另一方面，攻击者可以通过修改自己的攻击特征模式来隐藏自己的行为，而且有些攻击方法 根本没有特定的攻击模式。(2)基于异常检测方法主要针对解决误用检测方法所面临的问题。这两类方法都存在如下问题:可扩展性较差(1)由于现有的异常检测系统大多采用一种或几种单一的网络特征向量作为学习和判断的依据，对网络流量的异常描 述

11、较为单薄；(2)在入侵检测系统协同运行中网络特征向量选取得较少就可能会影响检测系统的可扩展性，基于会话的保存状态 信息的异常检测方法由于现有网络流量的不断变大将逐步受到限制。因而在DARPA1998年总结出的判断每一 个正常与异常TCP/IP连接的41个特征向量的实时使用就变得越来越难以实现。DFI异常检测是基于将网络流量特征向量分层划分的思想实现的。将流量特征分为两个层次：基本特征集合和组合特征集合。其中基本特征集合是实时从网络流量中提取的一些网络流量的基本特征数据，比如流量的大小、包长的信息、协议的信息、端口流量的信息、TCP标志位的信息等。这些基本特征比较详细地描述了网络流量的运行状态组

12、合特征集合是可以根据实际需要实时改变设置的。针对某种特定的攻击行为，将涉及该攻击行为的基本特征的子集作为描述该种攻击行为的特征。比如对于SYN FLOOD攻击，组合特征就可以选取sessions/s、平均包长、SYN包的个数等信息。利用以往基本特征集合的数据对该种攻击行为的特征进行学习和训练，就可以实时得到该攻击行为组合特征的正常和异常模型。用此模型就可以实时地对网络上该种攻击行为进行检测。提纲n系统总体方案n系统功能及特色n系统软硬件部署n项目实施及售后服务n实际案例介绍n技术澄清&应答方案 特 点-系统总体特点 告警监视告警监视/故障定位故障定位全网性能全网性能/KPI监控监控全网异常行为

13、监控全网异常行为监控全网流量监控全网流量监控WEB PORTALWeb浏览器移动客户机纯纯B/S架构架构客户端无须安装任何插件，只需有浏览器即可访问系统，真正做到了随时、随地访问业务系统。人性化设计人性化设计系统主动适应用户操作习惯，如：数据的组织呈现方式等功能，完全仿造windows操作。方案 特 点 数据探测特点 全网范围采集，无需附加探测硬件探针全网范围采集，无需附加探测硬件探针方案采用的技术确保数据探测无需附加硬件探针，对于未来网络结构调整及增加设备、扩容等无需附件额外的硬件探针成本部署灵活部署灵活方案采用数据(流量数据、性能数据)探测技术，与用户网络特性无关，这与采用探针技术的数据探

14、测方式(需要紧密结合用户网络特性)不同，不需要用户考虑增加硬件探针的部署点等，更有甚者，比如:用户网络内部被外来系统基于技术渗透方式感染蠕虫，如果内网任何角度没有部署探针或者由于用户网络结构调整、设备更新等造成探针没有探测整个内网，就会导致安全监测漏洞，采用本方案的探测技术，无论网络如何变化，没有任何硬件成本附件即可进行全网任何位置进行安全监测，这样渗透进来的蠕虫病毒将无处可藏。系统自维护成本低系统自维护成本低基于被监控设备及网络的技术特点进行的数据探测技术与基于硬件探针技术进行的数据探测技术相比，在系统自维护方面，成本几何数量降低是显而易见的。方案 特 点异常行为监测(NBA)DFI深粒度异

15、常流行为检测异常行为监测异常行为跟踪全局策略管理异常行为清洗管控xFlowTraffic一体化安全防御异监测及管控方法论u大型网络、全网、运营级、高性能、分布式动态监测异常流量行为u旁路部署系统，不影响现存用户网络运行u集中式策略管理,易于策略部署、实施异常流量引流、清洗及管控策略方案 特 点异常行为监测(NBA)(1)系统能够在全网中发生异常事件或行为时，实时记录异常明细数据,包括异常行为过程中的各个会话数据,包括 源IP,源端口,源掩码,目标IP,目标端口,目标掩码,协议类型,TCP/Flag,源设备接口,目标设备接口,流量大小，数据包数，数据包大小等详细信息(2)基于监测的异常行为，系统

16、能够自动汇聚异常行为的特征及关联受影响的资源(如设备接口，相关联的 MPLS/VRF,BGP/AS等信息,并进一步可以形成异常行为拓扑，以便有效的部署策略进行异常防御及清洗方案 特 点异常行为监测(NBA)(1)系统内置异常行为控制模块，能够跟行为特征中受影响设备最重要的设备联动，部署策略进行控制，目前 支持恶意扫描、网络蠕虫及病毒的控制及异常基准线行为的限速控制，对于DoS/DDoS类的攻击基于受影响 设备的异常行为拓扑关系，最大限度控制DoS/DDoS行为，保护用户自身网络，如果想彻底消除DoS/DDoS行 为的影响建议采用流量引流方案,因为引流对于DoS/DDoS效果最好(2)流量引流及

17、清洗，系统支持与第三方设备整合，如思科Guard或华为SIG设备方案 特 点异常行为监测(NBA)一、全网流量基准线自学习(1)流量基准线支持流量、数据包、Session及关键性能指标(KPI),如设备及关键路由的动态学习及监测(2)基准线采用entropy动态算法，相比较传统的统计均方差的算法而言，该算法更精确及灵敏(3)系统能够根据网络异常情况，自动学习基准线及切换学习和监测模式方案 特 点异常行为监测(NBA)(1)系统内置18种DoS/DDoS攻击行为特征库(2)允许用户根据实际情况动态添加DoS/DDoS行为(3)支持未知类型的DoS/DDoS攻击监测异常行为特征异常行为特征(DoS

18、/DDoS类行为类行为)方案 特 点异常行为监测(NBA)(1)系统内置7种Worm攻击行为特征库(2)允许用户根据实际情况动态添加Worm行为(3)支持未知类型的网络病毒及蠕虫攻击监测异常行为特征异常行为特征(网络病毒及蠕虫类行为网络病毒及蠕虫类行为)方案 特 点异常行为监测(NBA)异常行为特征异常行为特征(自定义异常行为自定义异常行为)方案 特 点流量监控(Traffic Engineering)整网流量快照主要反映整网异常事件趋势及明细、整网设备及接口流量排名，关键链路流量排名、关键子网流量排名、关键业务应用流量排名 方案 特 点流量监控(Traffic Engineering)系统提

19、供关联链路流量统计分析及多个链路组成链路组的流量分析及统计,链路/电路流量细分明细及分布趋势,系统能够识别P2P流量及自定义应用流量并能基于特征识别Skype,SIP,L2TP,FTP,Telnet等应用流量，对于不能识别的应用能够显示协议及端口 方案 特 点流量监控(Traffic Engineering)系统提供关联链路流量统计分析及多个链路组成链路组的流量分析及统计,链路/电路流量细分明细及分布趋势,系统能够识别P2P流量及自定义应用流量并能基于特征识别Skype,SIP,L2TP,FTP,Telnet等应用流量，对于不能识别的应用能够显示协议及端口 方案 特 点流量监控(Traffic

20、 Engineering)BGP/MPLS流量部分支持设备VRF,整网VPN等各种流量分析 方案 特 点性能监控(Performance)网络应用性能综合视图主要分析网络中关键应用的响应时间(毫秒)、交易量(Transactons),最慢运行应用的服务器(IP地址)排名，最慢运行应用的用户或Site排名,应用交易量趋势及应用性能告警分析等 最慢业务应用响应时间大客户综合业务性能监控大客户综合业务性能监控最慢网络往返(Round Trip)响应时间站点最慢业务服务器应用响应时间业务交易响应时间方案 特 点性能监控(Performance)VOIP,视频等业务应用性能综合监控：业务响应时间、业务流

21、量、业务数据包大小分布、业务抖动测量、数据丢包 等RTP/RTCPH.323,H.225,H.245等FRF.11,FRF.12等方案 特 点故障定位(TroubleShooting)异常行为定位异常行为定位方案 特 点故障定位(TroubleShooting)异常性能辅助定位异常性能辅助定位基于客户应用反映的性能问题快速识别故障域通过响应时间细分确认故障引起类别(应用、服务器、网络)通过使用一下各种灵活的过滤器，在”返回时间点”缩小排查范围，从而进一步定位方案 特 点异常告警(Alerting)告警系统发现重要的网络/应用性能改变或下降。告警系统会在事故发生时通知您，和继续记录事故严重性的演

22、变。你可以通过告警系统提取出发告警的应用报告来找出事故的原因。系统可学习性能基线，如 SCT,NRT和EURT.用户可以以学习基线加上其标准偏差的倍数来定义门限或容忍度。也可以手动设定门限值方案 特 点异常告警(Alerting)产生告警的条件产生告警的条件链路层流量状态链路层流量状态利用率利用率广播包数量广播包数量错误包数量错误包数量组播包数量组播包数量包数包数应用响应时间应用响应时间可用性可用性响应量响应量应用流量应用流量特定应用利用率特定应用利用率特定应用数据包数量特定应用数据包数量基线基线虚链路流量利用率虚链路流量利用率方案 特 点异常告警(Alerting)告警通知手段告警通知手段屏

23、幕显示屏幕显示电子邮件电子邮件SyslogSNMPTRAP等等方案 特 点报表中心(Reporting)根据监控采集数据生成短期、中期、长期报告（日报、周报、月报）自动基准分析报告 自定义报告 按计划定期自动生成报告 方案 特 点报表中心(Reporting)根据监控采集数据生成短期、中期、长期报告（日报、周报、月报）自动基准分析报告 自定义报告 按计划定期自动生成报告 方案 特 点系统管理(System Admin)系统的访问授权采用标准的3A认证、权限管理机制 方案 特 点系统管理(System Admin)与用户现有4A系统整合，整合开发量很小 系统需要与现有用户的4A系统进行整合，本系统提供开放的API，可以很容易与现有4A系统(Java结构)进行二次开发及整合，从技术整合角度，该整合不存在技术难度