日志审计与分析系统课件QAX-第5章-关联分析.pptx

1、第5章 关联分析w w w.q i a n x i n.c o m目录5.1 概述5.2 实时关联分析5.3 事件关联方式5.4 告警响应5.5 实时统计分析本章学习目标本章学习目标本章学习目标1.了解关联性分析的含义以及在网络安全中的作用；2.了解实时关联性分析在网络安全中产生的背景；3.了解实时关联性的优缺点；4.了解告警查询中需要注意的安全事项；5.理解告警关联性分析可视化分析方式；6.理解告警响应中的告警方式和响应方式及其其优缺点；7.掌握事件关联的方式；概述5.1（1）网络用户快速增长和网络规模的增大导致针对网络进行的恶意活动越来越多。（2）为了防止网络恶意入侵造成的资源丢失，网络管

2、理人员需要能够准确、及时地了解整个网络的当前状态及未来安全趋势，及时发现攻击和危害行为，并进行应急响应，以便对网络的安全设置和资源配置做出合理的应急策略。（3）网络安全态势评估和预测受到人们的关注，成为网络安全管理领域研究中的热点问题，而关联分析则是快速定位故障和入侵的一种有效手段。关联分析在安全事件中产生的背景（1）关联的含义：关联是指将所有系统中的事件以统一格式综合到一起进行观察。（2）关联分析的定义：关联分析是在关系数据或其他信息载体中，查找存在于对象集合之间的关联、相关性或因果结构，是一种在大型数据库中发现变量之间关系的方法。（3）关联分析在网络安全中的作用：提高安全操作的可靠性、分析

3、的实时性，减少漏报警、误报警现象，为安全管理和应急响应提供技术手段。关联分析基本知识（1）聚合分析：采用相似度关联算法以及聚类、分类算法对原始告警进行处理，减少告警数量，去除冗余信息。（2）交叉关联：分析安全事件和其它背景知识、漏洞信息之间的关联关系；结合网络拓扑信息、漏洞信息和主机配置等背景信息来提高告警的质量。（3）多步攻击关联：多步攻击关联又可称之为攻击场景构建，主要研究攻击步骤之间的关联关系。（4）其它：安全事件关联分析的研究中存在的其他问题，例如体系结构、总体构架。时间一致性等问题。安全事件的关联分析研究工作分类实时关联分析5.2（1）网络应用和设备产生安全事件数量巨大，漏报警、误报

4、警现象严重。（2）安全事件之间存在的横向和纵向方面（如不同空间来源、时间序列等）的关系未能得到综合分析，因此漏报严重。（3）安全管理者缺乏对整个网络安全态势的全局实时感知能力。（4）传统的日志的安全防护策略已无法实时解决新兴的实时威胁，如何准确而又快速的找到系统所遭受的安全问题显得格外的重要。（5）对于有危害性的网络行为，需及时主动采取相应的措施，以减少进一步的网络安全事件，避免网络系统遭受到进一步的威胁。实时关联分析产生的背景9（1）优点：相比于传统的关联性分析，实时关联性分析可以在存储已处理日志的同时进行关联性分析。关联分析的实时性确保了日志被及时审计，同时能够快速发现并定位安全隐患。（2

5、）缺点：从实时性上看，关联分析的整个过程不能间断，这对系统的实时性要求较高。关联引擎实时将报警存入数据库中则比较复杂。实时关联性分析优缺点事件关联方式5.3（1）递归关联：递归关联是同一类实体之间的一种关联。（2）统计关联：统计关联是基于统计学的关联规则。（3）时序关联：时序关联是按照时间先后进行关联分析的规则。（4）跨设备事件关联：跨设备事件关联是指不同设备间的告警信息做关联。事件关联方式（1）递归的定义：递归较常用于描述以自相似方法重复事物的过程。另有定义为是指在函数定义中使用函数自身的方法。（2）在网络安全中的应用：深度挖掘不同时间段自身告警之间的关联度，从而快速、准确定位设备或者网络中

6、的故障所在。递归关联相关知识（1）一对一递归关联：递归对象是一对一的关系。（2）一对多递归关联：递归对象是一对多的关系。（3）多对多递归关联：递归对象是多对多的关系。递归关联的形式14概念：是指对象之间是一对一的关系。举例：两个人是一对一赞助的关联关系，但是对象都出自于人类这一个大的集合当中，相同对象之间产生了递归的关联，这个案例就是最简单的一对一关联关系。一对一关联一对一递归关联定义和实例概念：同一个类对象中存在着一个实体对应关联多个实体。举例：一个消费者购买某件商品，如果该商品给消费者带来良好的用户体验，此消费者会将该商品推荐给身边同为消费者的其他人，这就是一个典型的一对多的递归关联案例。

7、一对多关联一对多递归关联定义和实例概念：是实体中关联的关系是多对多。举例：在医院中，同一科室的医生面对不同的病人是多对多的关联关系，有时医生本人也因为自身身体的不适去就医，这就产生医生这一类中的递归关联关系。多对多关联多对多递归关联定义和实例（1）产生大的项目集:项目集是数据挖掘的基础。（2）产生强关联规则：关联规则是关联性分析的必要过程。（3）统计关联实质：两个事件在统计学概念上的相互关联，是一种基于某种分布可以通过统计的方法显示不同数据子集之间关系的规则，它为其他关联规则的生成提供统计来确认其有效性。统计关联规则挖掘的过程（1）数据关联挖掘不同于统计分析，但大部分挖掘技术又来源于统计分析。

8、（2）数据关联挖掘不是为了替代传统的统计分析技术，而是统计分析方法的扩展和延伸。（3）数据关联挖掘的出现为统计学提供了一个崭新的应用领域，也对统计学的理论研究提出了挑战。（4）统计学与数据关联挖掘的结合日益紧密统计学与数据的关联挖掘的联系（1）统计关联最常用于一些统计数值上存在关联的案例中，例如在自然语言处理领域中。（2）在网络安全方面，统计关联性分析是指将出现的安全事件先归类，然后根据各大类在一段时间内出现的事件安全级别和数量用权值来评估攻击和关联性。统计关联的应用（1）时间序列定义：时间序列按时间顺序排列的随时间变化的数据集合。（2）时间序列应用领域：时间序列主要应用于股票波动、科学实验、

9、医疗等领域。时间序列定义及应用 （1）挖掘算法最初的应用是商品关联性分析，输入数据是一系列的数据序列。（2）每个数据序列都由一系列交易记录构成，每个交易记录由一系列的商品构成，并且每个交易记录都会有一个交易时间。（3）时序规则由一系列商品构成，时序关联规则挖掘的目的就是去发现满足最小支持度的时序规则。时间序列时序关联规则挖掘时间序列时序关联规则挖掘（1）先将某一长度固定的序列进行分段处理。（2）随后将每个分段内各个序列项对应的顺序时间未知作为不同的属性集合，并给出每个属性划分的阈值区间。（3）最后将每个分段的时序进行关联性分析。时序关联步骤（1）跨设备事件关联将不同设备间的告警信息做关联。（2

10、）跨设备事件关联利用告警在设备之间具有传递的功能，从而发现不同设备之间的关联规则，便于快速定位故障所在。跨设备事件关联特点告警响应5.4（1）网络告警：该方式通过网络进行告警。（2）电话告警：电话告警的方式主要通过电话拨打给网络管理人员。（3）SNMP Trap：该方式通过协议进行告警。（4）文本日志告警：日志告警方式以文本方式导出。告警方式综述 （1）定义：网络告警是通信设备运行异常时所出发的消息（例如：设备板件故障、设备壳体通风散热不畅导致温度过高、网络被入侵产生告警等等），每条告警消息均表征其唯一的运行状态。（2）特点：告警的实时性受限于网络的状态。较为常用的告警方式。网络告警定义及特点

11、（1）定义：在系统发生告警信息时，通过网络IP电话拨号拨打给工作管理人员手机号码。（2）特点：适合远距离告警播报。会产生拨号失败的状态，影响告警通知的实时性。电话告警定义及特点（1）简单网络管理协议（Simple Network Management Protocol）是一种应用层协议，是TCP/IP协议族的一部分。（2）该协议使网络设备之间能够方便地交换管理信息，能够让网络管理员管理网络的性能，发现和解决网络问题及进行网络的扩充。简单网络管理协议介绍（1）事件驱动，第一时间收到设备告警故障。（2）提供SNMP Trap的接收，并通过对Trap信息翻译，展现事件，帮助管理员第一时间得到告警信息

12、。（3）定制SNMP Trap告警规则触发告警，提供多种方式发送告警信息。（4）支持事件导出，便于管理人员对故障信息进行统计和分析。SNMP Trap功能特点（1）日志的方式存储在设备内部。（2）网络安全管理人员通过设备导出或者网络传输方式传输网络安全日志进行分析从而定位故障和进行公斤的分析。文本日志告警方式（1）简单告警：该告警由一个七元组构成并唯一确定。（2）复杂告警：该告警由一个九元组构成并唯一确定。日志告警的种类（1）执行命令脚本：利用shell脚本语言的灵活性，使得网络响应告警的发生。（2）系统联动：安全产品之间信息的互通机制使得多个安全产品同时响应告警的出现。（3）发送syslog

13、运维日志消息：管理者通过查看syslog运维日志响应告警信息的出现。响应方式（1）首先对全网告警进行核对，确保网管上显示内容与设备上产生的告警相一致，保证告警的全面性，防止遗漏某些重要的告警信息。（2）随后查询紧急告警，一旦发现，需要其他维护人员配合处理的，立即调动人员前去处理，直至消除当前出现的紧急告警。（3）接着查询网管系统中的重要告警，通过系统中已有的关于该类告警的信息来处理这些告警，消除所有的重要告警。（4）最后不能忽略次要告警。次要告警虽然不影响业务，该告警往往预示着网络已经产生故障，并可能随时中断业务的故障，需要定时巡视、及时处理这些告警。告警查询步骤（1）告警时间要保证准确。（2

14、）告警确认、删除需慎重。（3）查询告警后，对网管数据进行数据备份。告警查询注意事项实时统计分析5.5（1）GPS 即全球定位系统（Global Positioning System）。简单地说，这是一个由覆盖全球的24颗卫星组成的卫星系统。（2）GPS定位作用：GPS定位可以结合地图的可视化清晰、准确地定位出事件发生的地点以及与该事件相关事件发生的位置。GPS（1）定义：iGPS（incident Global Positioning System）全称为“事件全球定位系统”。（2）应用：主要应用于网络安全方面的事件定位。事件全球定位系统定义及应用（1）定义：雷达图又称蜘蛛图、蛛网图、星状图、

15、极区图，是一种以二维形式展示多维数据的图形。（2）应用：目前主要应用在财务分析报表上。雷达图定义及应用（1）从中心点出发辐射出多条坐标轴（至少大于三条）（2）每一份多维数据在每一维度上的数值都占用一条坐标轴，并和相邻坐标轴上的数据点连接起来，形成一个不规则多边形。（3）整个图形形似蜘蛛网，或雷达仪表盘，因此被称作雷达图。0123456123456雷达图雷达图案例和特征（1）定义：指实时的将当前系统接受到的事件按照严重性和数量动态以时间切片的方式展现在雷达窗口中。（2）特点：管理员可以了解当前阶段的安全态势，以便做好相应的应对措施。动态雷达图定义及特点（1）作用：主要来研究某行为事件的发生对其他

16、事件产生的影响以及影响程度。（2）应用：用户注册、浏览产品详情页等，通过研究与事件发生关联的所有因素来挖掘行为事件背后的原因、交互影响等。事件分析法作用及应用（1）事件定义与选择：定义或选择某种事件分析。（2）多维度下钻分析：从多个角度分析、筛选事件。（3）解释与结论：对分析结果进行理论解释。行为分析法的包含环节 事件行为分析（Event Behavior Analysis）在网络安全方面的应用就是将一段时间内的事件按照不同的属性进行排列和连接，形象地展示在坐标轴上，让管理员一目了然的看到事件所代表的用户（IP）行为。事件行为分析图事件行为分析（1）人类社会的核心概念之一，人们的社会活动往往是事件驱动的。（2）事件之间所相继发生的规律和模式都是一种十分有价值的知识。事件的定义（1）定义：一个描述事件之间顺承、因果关系的事理演化逻辑有向图。（2）因素：事件图的组成成分主要包含事件、事件间顺承和因果关系。事件图定义及包含因素主动事件图（Active Incident Diagram）可以将事件之间的关联关系可视化一幅事件图，形象地展现出当前事件网络的关系和状态。主动事件图主动事件图