1、n本本PPT是电子工业出版社出版的教材是电子工业出版社出版的教材计算机网计算机网络安全原理络安全原理配套教学配套教学PPT（部分内容的深度和（部分内容的深度和广度在教材的基础上有所扩展），作者：吴礼发广度在教材的基础上有所扩展），作者：吴礼发n本本PPT可能直接或间接采用了网上资源、公开学可能直接或间接采用了网上资源、公开学术报告中的部分术报告中的部分PPT页面、图片、文字，引用时页面、图片、文字，引用时我们力求在该我们力求在该PPT的备注栏或标题栏中注明出处的备注栏或标题栏中注明出处，如果有疏漏之处，敬请谅解。同时，如果有疏漏之处，敬请谅解。同时对被引用资对被引用资源或报告的作者表示诚挚的谢
2、意！源或报告的作者表示诚挚的谢意！n本本PPT可免费使用、修改，使用时请保留此页。可免费使用、修改，使用时请保留此页。声声 明明第第 十三十三 章章 入侵检测与网络欺骗入侵检测与网络欺骗What:什么是入侵检测什么是入侵检测?2How:如何进行入侵检测如何进行入侵检测?3State:研究现状？研究现状？4Why:为什么需要入侵检测为什么需要入侵检测?1Trend：网络欺骗？网络欺骗？5内容提纲内容提纲（一）（一）Why?n 防火墙：根据规则对进出网络的信息进行过滤n本身问题：可能存在安全漏洞成为被攻击的对象n配置不当：起不到作用n网络边界：有缺口（如 Modem，无线）n不是万能：入侵教程、工
3、具随处可见，攻击模式的多样性，并不能阻止所有攻击n 内部攻击(Abuse)：n并不是所有攻击均来自外部n 误用(Misuse)n突破边界不可避免，且难以发现nFireEye 的M-Trends 2020 Reports中，发现攻击者隐藏或者驻留时间的中位数为56天。近几年的威胁检测时间都在不断缩短，主要是由于对于内部威胁发现较早，极大减少了中位数，但外部威胁的驻留时间还有141天，近5个月之久（一）（一）Why?n 1980年4月，James P.Anderson:Computer Security Threat Monitoring and Surveillance:入侵检测开山之作n第一次
4、详细阐述了入侵检测的概念n对计算机系统威胁进行分类:外部渗透、内部渗透和不法行为n提出了利用审计跟踪数据监视入侵活动的思想n从1984年到1986年：乔治敦大学的Dorothy Denning和SRI/CSL的Peter Neumann：研究出了一个实时入侵检测系统模型IDES（入侵检测专家系统）n1990，加州大学戴维斯分校的L.T.Heberlein等人开发出了NSM（Network Security Monitor）：第一次直接将网络流作为审计数据来源：新的一页(HIDS,NIDS)起源起源What:什么是入侵检测什么是入侵检测?2How:如何进行入侵检测如何进行入侵检测?3State:
5、研究现状研究现状？4Why:为什么需要入侵检测为什么需要入侵检测?1Trend：网络欺骗？网络欺骗？5内容提纲内容提纲n 1987,Denning：nIntrusion Detection(ID)is to detect a wide range of security violations from attempted break-ins by outsiders to systems penetration and abuses by insiders 定义定义一：入侵检测一：入侵检测n2000,AllennIntrusion Detection(ID)is to monitor and
6、collect system and network information and analyzes it to determine if an attack or an intrusion has occurred.n入侵检测：通过从计算机系统或网络的关键点收集信息并进行分析，从中发现系统或网络中是否有违反安全策略的行为和被攻击的迹象定义定义一：入侵一：入侵检测（续）检测（续）n 被入侵的对象：n网络n计算机n应用（控制了计算机不一定能控制应用）n 几个英文泀汇：nAttack vs.IntrusionnAttack vs.IntrudenAttacker vs.Intruder(succ
7、essful attacker)nVictim(the target of an attack)vs.Compromised HostnVulnerability定义一：入侵检测定义一：入侵检测(续续)n IDS：Intrusion Detection System nA combination of hardware and software that monitors and collects system and network information and analyzes it to determine if an attack or an intrusion has occurr
8、ed.Some ID systems can automatically respond to an intrusion.（入侵检测系统：实施入侵检测的软件与硬件组合）定义二定义二：入侵检测系统入侵检测系统(IDS)n IPS:Intrusion Prevention System n入侵检测 主动防御n主动防御：n预先对入侵活动和攻击性网络流量进行拦截，避免其造成任何损失，而不是简单地在恶意流量传送时或传送后才发出警报 n发现攻击作出响应n存在问题：n由于增加了主动阻断能力，检测准确程度的高低对于IPS来说十分关键存在问题：多种技术融合n误报导致合法数据被阻塞 定义三定义三：入侵防御系统入侵
9、防御系统(IPS)IDS与与IPSIDS与与IPSIDS与与IPSIDS与与IPSnIDS帮助网络系统快速发现网络攻击nIPS综合了防火墙、IDS、漏洞扫描与评估等安全技术，可以主动地、积极地防范、阻止系统入侵nIMS（Intrusion Management System，入侵管理系统）包含了 IDS、IPS的功能，并通过一个统一的平台进行统一管理IDS、IPS与与IMS分类分类n根据检测方法来分：n基于特征的入侵检测n基于异常的入侵检测n混合的入侵检测n根据数据源来分：n基于应用的入侵检测系统(Application-based IDS,AIDS)n基于主机的入侵检测系统(Host-bas
10、ed IDS,HIDS)n基于网络的入侵检测系统(Network-based IDS,NIDS)n混合的入侵检测系统(Hybrid IDS)nNIDS分类分类nHIDS分类分类分类分类（续）（续）n按系统各模块的运行方式来分：n集中式：系统各个模块包括数据的收集分析集中在一台主机上运行n分布式：系统的各个模块分布在不同的计算机和设备上n根据时效性来分：n脱机分析：行为发生后，对产生的数据进行分析n联机分析：在数据产生的同时或者发生变化时进行分析What:什么是入侵检测什么是入侵检测?2How:如何进行入侵检测如何进行入侵检测?3State:研究现状研究现状？4Why:为什么需要入侵检测为什么需
11、要入侵检测?1Trend：网络：网络欺骗？欺骗？5内容提纲内容提纲（一）检测方法（一）检测方法n两种主要的检测方法：n特征检测（signature detection or misuse detection or signature-based detection or misuse-based detection）n异常检测（anomaly detection or anomaly-based detection）方法一：特征检测方法方法一：特征检测方法n特征检测n定义：收集非正常操作的行为特征（signature），建立相关的特征库，当监测的用户或系统行为与库中的记录相匹配时，系统就认为这
12、种行为是入侵。特征：n静态特征：如 signature analysis which is the interpretation of a series of packets(or a piece of data contained in those packets)that are determined,in advance,to represent a known pattern of attackn动态特征：如网络统计数据、计算机或应用系统中的审计记录、日志、文件的异常变化、硬盘、内存大小的变化n特征描述：描述语言n针对的是已知攻击！n检测率取决于：攻击特征库的正确性与完备性n1.模式匹
13、配法n将收集到的入侵特征转换成模式，存放在模式数据库中。检测过程中将收集到的数据信息与模式数据库进行匹配，从而发现攻击行为。n模式匹配的具体实现手段多种多样，可以是通过字符串匹配寻找特定的指令数据，也可以是采用正规的数学表达式描述数据负载内容。技术成熟，检测的准确率和效率都很高特征检测法实现方式特征检测法实现方式n2.专家系统法n入侵活动被编码成专家系统的规则：“If 条件 Then 动作”的形式。入侵检测系统根据收集到的数据，通过条件匹配判断是否出现了入侵并采取相应动作n实现上较为简单，其缺点主要是处理速度比较慢，原因在于专家系统采用的是说明性的表达方式，要求用解释系统来实现，而解释器比编译
14、器的处理速度慢。另外，维护规则库也需要大量的人力精力，由于规则之间具有联系性，更改任何一个规则都要考虑对其他规则的影响。特征检测法实现方式特征检测法实现方式n3.状态迁移法n利用状态转换图描述并检测已知的入侵模式。入侵检测系统保存入侵相关的状态转换图表，并对系统的状态信息进行监控，当用户动作驱动系统状态向入侵状态迁移时触发入侵警告。n状态迁移法能够检测出多方协同的慢速攻击，但是如果攻击场景复杂的话，要精确描述系统状态非常困难。因此，状态迁移法通常与其他的入侵检测法结合使用。特征检测法实现方式特征检测法实现方式方法二：异常检测方法方法二：异常检测方法n异常检测（误用检测）n首先总结正常操作应该具
15、有的特征（用户轮廓），当用户活动与正常行为有重大偏离时即被认为是入侵。n行为：需要一组能够标识用户特征、网络特征或者系统特征的测量参数，如CPU利用率、内存利用率、网络流量等等。基于这组测量参数建立被监控对象的行为模式并检测对象的行为变化。n两个关键问题：n选择的各项测量参数能否反映被监控对象的行为模式。n如何界定正常和异常。如何定义正常行为？如何定义正常行为？n正常行为的学习依赖于学习数据的质量，但如何评估数据的质量呢？n可以利用信息论的熵、条件熵、相对熵和信息增益等概念来定量地描述一个数据集的特征，分析数据源的质量。数据源评价数据源评价n定义 14-1.给定数据集合X,对任意x Cx,定义
16、熵H(X)为：n在数据集中，每个唯一的记录代表一个类，熵越小，数据也就越规则，根据这样的数据集合建立的模型的准确性越好。数据源评价数据源评价n定义14-2.定义条件熵H(X|Y)为：n其中，P(x,y)为x 和y 的联合概率，P(x|y)为给定y 时x 的条件概率。安全审计数据通常都具有时间上的序列特征，条件熵可以用来衡量这种特征，按照上面的定义，令X=(e1,e2,en)，令Y=(e1,e2,ek)，其中kn，条件熵H(X|Y)可以衡量在给定Y 以后，剩下的X 的不确定性还有多少。条件熵越小，表示不确定性越小，从而通过已知预测未知的可靠性越大。数据源评价数据源评价n案例：系统调用系列与LSM
17、监控点系列数据源评价数据源评价n案例：系统调用系列与LSM监控点系列数据源评价数据源评价n1.统计分析法n以统计理论为基础建立用户或者系统的正常行为模式。主体的行为模式常常由测量参数的频度、概率分布、均值、方差等统计量来描述。抽样周期可以短到几秒钟长至几个月。n异常：将用户的短期特征轮廓与长期特征轮廓进行比较，如果偏差超过设定的阈值，则认为用户的近期活动存在异常。n入侵判定思路较为简单，但是在具体实现时误报率和漏报率都较高，此外，对于存在时间顺序的复杂攻击活动，统计分析法难以准确描述异常检测实现方法异常检测实现方法n2.神经网络法n向神经网络提交标识用户正常行为的训练数据，神经网络可以通过自学
18、习建立用户或者系统活动的正常特征模式。n异常：采用神经网络对用户或者系统活动进行监控，神经网络将把接收到的事件数据与事先建立的正常特征模式进行比较，判断活动是否出现了异常。n突出优点是不需要指定测量参数来构造标识用户或系统行为的特征集，解决了统计分析法在特征选择方面的困难。存在一个严重的缺陷：发现异常时，神经网络不会提供关于异常的任何分析和解释。异常检测实现方法异常检测实现方法n3.聚类分析法n聚类分析以对象之间的相似度为依据，将物理或抽象对象组成的集合进行划分，把相类似的对象集中在一起，归属到一个类中。采用聚类分析法进行异常检测，是希望在描述用户行为或者系统行为的数据中发现不同类别（正常、攻
19、击）的数据集合。K-means是经典的聚类算法。n异常：需要采用用户行为或者系统行为的一些属性描述被监控主体的行为特征。这些属性必须具有很好的区分度，能够区分出正常活动和异常活动，从而确保数据在经过聚类算法处理以后，标识用户正常活动的数据聚集在一起，而标识攻击等异常活动的数据聚集在一起。异常检测实现方法异常检测实现方法KasperskynMachine learningKasperskynMachine learningKasperskynMachine learningn4.人工免疫n将非法程序及非法应用与合法程序、合法数据区分开来，与人工免疫系统对自体和非自体进行类别划分相类似。Forre
20、st采用监控系统进程的方法实现了Unix平台的人工免疫入侵检测系统。异常检测实现方法异常检测实现方法方法二：异常检测方法方法二：异常检测方法n异常检测（误用检测）n可以检测未知攻击！?n不在预定义的合法行为集中，就一定是攻击吗？n检测率取决于：正常行为模式的正确性与完备性以及监控的频率n系统能针对用户行为的改变进行自我调整和优化，但随着检测模型的逐步精确，检测过程会消耗更多的系统资源两种方法比较两种方法比较n检测的攻击类型：已知与未知n特 征：已知攻击特征与已知正常行为特征n性 能：误报率(rate of false positive)与漏报率(rate of false negative)n
21、对每种方法，各在何种情况下发生误报、漏报？（二）数据源（二）数据源n什么样的数据可作为判断入侵的依据？n应用数据n应用程序的运行数据（日志、配置文件、状态）n主机数据n系统日志文件n目录和文件的异常变化n程序执行中的异常行为n网络数据n网络统计数据n网络协议分组的控制字段内容：IP地址、端口号n网络协议分组的数据字段中的特殊内容n用户行为？（三）入侵检测模型（三）入侵检测模型DataSourceSensorAdministratorManagerOperatorAnalyserSensorSecurityPolicyResponseActivityEventEventAlertNotifica
22、tion（四）评价指标（四）评价指标nIETF的Internet草案工作组（Intrusion Detection Working Group，IDWG）专门负责定义入侵检测系统组件之间，及不同厂商的入侵检测系统之间的通信格式。但目前只有相关的草案（Draft），还未形成正式的RFC文档。n入侵警报协议（Intrusion Alarm Protocol,IAP）n入侵检测交换协议(Intrusion Detection Exchange Protocol,IDXP)（五）标准化（五）标准化nIETF的Internet草案工作组（Intrusion Detection Working Group
23、，IDWG）专门负责定义入侵检测系统组件之间，及不同厂商的入侵检测系统之间的通信格式。但目前只有相关的草案（Draft），还未形成正式的RFC文档。n入侵警报协议（Intrusion Alarm Protocol,IAP）n入侵检测交换协议(Intrusion Detection Exchange Protocol,IDXP)（五）标准化（五）标准化nDARPA和加州大学Davis分校的安全实验室在1998年提出了公共入侵检测框架（Common Intrusion Detection Framework，CIDF）标准（五）标准化（五）标准化n国标（五）标准化（五）标准化n标准化的困境（五）标
24、准化（五）标准化nhttps:/www.snort.org/入侵检测系统入侵检测系统Snortnhttps:/www.snort.org/入侵检测系统入侵检测系统SnortWhat:什么是入侵检测什么是入侵检测?2How:如何进行入侵检测如何进行入侵检测?3State:研究现状研究现状？4Why:为什么需要入侵检测为什么需要入侵检测?1Trend：网络：网络欺骗？欺骗？5内容提纲内容提纲研究研究领域领域n高速网络中的数据获取及处理问题n光分流器，并行、分布式处理：有什么问题？n寻找更好的数据来描述用户、程序行为的模式 n如何评价数据源？（信息率中的熵）n降低误报率和漏报率：最难！n事件关联、机
25、器学习、大数据分析n综合集成：与其它安全产品联动，UIM，安全态势感知nAPT攻击检测APT检测检测n检测难点：攻击行为特征提取难（滞后性）：0 day漏洞，未知特征木马 攻击单点隐蔽性强：动态行为和静态文件的隐蔽性 攻击渠道多样化：多种攻击方法 攻击空间不确定：任何一个网络暴露点都有可能是攻击目标，攻防双方信息不对称APT检测检测n检测难点：攻击持续和隐蔽时间长：传统的检测方式是基于单个时间点的实时检测，难以对跨度如此长的攻击进行有效跟踪。慢速、分阶段实施的APT 攻击淹没在大数据中。大数据的价值低密度性，使得安全分析工具很难聚焦在价值点上。基于大数据分析的基于大数据分析的APT检测检测n由
26、于网络中的安全数据具有体量巨大、来源多样、增涨速度快和价值密度低等大数据特征，兴起了基于网络大数据的安全检测：实现海量网络安全数据的深度关联分析，并对宽时间窗口内的多类型安全事件进行智能关联，在检测APT方面有优势研究研究领域领域n机器学习用于异常检测n解决未知威胁的检测问题nDarktrace公司的免疫防御：基于网络流量nSecBI公司的入侵防御：基于日志DarktracenDarktrace使用独特的无监督机器学习算法对网络数据进行大规模分析，并基于所看到的证据进行数十亿次基于概率的计算。它不依赖于过去威胁的知识，而是独立地对数据进行分类，并检测突出的模式。由此，它形成了对网络中“正常”行
27、为的理解，这些行为与设备、用户或任一实体的组有关，并检测出与这种不断演变的“生活模式”的偏离，这种偏离可能指向一个正在发展的威胁。DarktraceDarktarceDarktracenDarktrace使用贝叶斯概率作为其无监督机器学习方法的一部分n发现以前未知的关系n独立的数据进行分类n检测引人注目的模式，这些模式定义了可能被认为是正常的行为n如果需要，在没有预先假设的情况下工作Darktracen在贝叶斯框架中采用多种无监督、有监督和深度学习技术，企业免疫系统可以整合大量异常行为的弱指标，从而产生一个单一的明确的威胁概率度量DarktracenDarktrace通过对设备网络行为的大量不
28、同度量的分析，从数学上描述了构成“正常”行为的因素，包括：n服务器访问、数据量、计时的事件、证书使用、连接类型、容量和方向、上传/下载的方向性、文件类型、管理活动、资源和信息请求Darktracen用聚类方法对设备进行分组（Clustering Devices），进而对设备正常行为建模Darktracen网络拓扑分析发现细小的拓扑异常变化Darktracen动态演化网络行为建模Darktracen使用递归贝叶斯估计（Recursive Bayesian Estimation）动态生成组成网络的设备状态的单一完整视图Darktracen利用深度学习（Deep Learning）增强建模过程Dar
29、ktracenDarktrace专利信息DarktracenDarktrace专利信息Darktracen小结：利用机器学习进行网络行为分析 DarktraceSecBInDarktrace基于网络流量，而SecBI则是基于日志SecBISecBISecBI研究研究领域领域n网络欺骗What:什么是入侵检测什么是入侵检测?2How:如何进行入侵检测如何进行入侵检测?3State:研究现状研究现状？4Why:为什么需要入侵检测为什么需要入侵检测?1Trend：网络欺骗？：网络欺骗？5内容提纲内容提纲网络欺骗网络欺骗n网络欺骗（Cyber Deception）n最早由美国普渡大学的 Gene Sp
30、afford 于1989年提出，它的核心思想是：采用引诱或欺骗战略，诱使入侵者相信网络与信息系统中存在有价值的、可利用的安全弱点，并具有一些可攻击窃取的资源（当然这些资源是伪造的或不重要的），进而将入侵者引向这些错误的资源，同时安全可靠地记录入侵者的所有行为，以便全面地了解攻击者的攻击过程和使用的攻击技术。网络欺骗网络欺骗n网络欺骗用途n吸引攻击流量，影响入侵者使之按照防护方的意志进行行动n检测入侵者的攻击并获知其攻击技术和意图，对入侵行为进行告警和取证，收集攻击样本n增加入侵拖延攻击者攻击真实目标者的工作量、入侵复杂度以及不确定性，n为网络防护提供足够的信息来了解入侵者，这些信息可以用来强化
31、现有的安全措施n蜜罐（Honeypot）是最早采用欺骗技术的网络安全系统。n定义：蜜罐是一种安全资源，其价值在于被探测、攻击或突破n目标：就是使它被扫描探测、攻击或被突破，同时能够很好地进行安全控制蜜罐蜜罐n根据部署方式可以分为生产型蜜罐和研究型蜜罐蜜罐分类蜜罐分类n根据交互程度或逼真程度的高低可以分为低交互蜜罐、中交互蜜罐和高交互蜜罐蜜罐分类蜜罐分类n按照实现方式可将蜜罐分为物理蜜罐和虚拟蜜罐蜜罐分类蜜罐分类n低交互蜜罐的功能相对简单，一般包括：n攻击数据捕获与处理，在一个或多个协议服务端口上监听，当有攻击数据到来时捕获并处理这些攻击数据，必要的时候还需给出响应，将处理后的攻击数据记录到本地
32、日志，同时向平台服务端（如果有的话）实时推送；n攻击行为分析，对攻击日志进行多个维度（协议维，时间维，地址维等）的统计分析，发现攻击行为规律，并用可视化方法展示分析结果蜜罐功能与关键技术蜜罐功能与关键技术n高交互蜜罐的功能相对复杂，一般包括：n网络欺骗：对蜜罐进行伪装，使它在被攻击者扫描时表现为网络上的真实主机n空间欺骗技术n网络流量仿真n网络动态配置n多重地址转换n创建组织信息欺骗蜜罐功能与关键技术蜜罐功能与关键技术n高交互蜜罐的功能相对复杂，一般包括：n攻击捕获：采集攻击者对网络实施攻击的相关信息，通过分析捕获的信息，可以研究攻击者所利用的系统漏洞，获取新的攻击方式，甚至是零日攻击。难点是
33、要在防止被攻击者识破的情况下尽可能多地记录下系统状态信息，还有通信加密问题蜜罐功能与关键技术蜜罐功能与关键技术n高交互蜜罐的功能相对复杂，一般包括：n数据控制：限制蜜罐向外发起的连接，确保蜜罐不会成为攻击者的跳板n数据分析：对蜜罐采集到的信息进行多个维度（协议维，时间维，地址维，代码维等）的统计分析，发现攻击行为规律，并用可视化方法展示分析结果蜜罐功能与关键技术蜜罐功能与关键技术n经过多年的发展，有很多商用或开源的蜜罐项目，如honeyd,The Honeynet Project,狩猎女神，Specter,Mantrap等。开源软件平台gitbub上可以找到大量各种类型的蜜罐(https:/
34、Daemon，StrutsHoneypot,WebTrap等）、服务类蜜罐（如Honeyprint,SMB Honeypot,honeyntp,honeyprint等）、工业控制类蜜罐（如Conpot,Gaspot,SCADA Honeynet,gridpot）蜜罐相关项目蜜罐相关项目n蜜网（Honeynet）是由多个蜜罐组成的欺骗网络，蜜网中通常包含不同类型的蜜罐，可以在多个层面捕获攻击信息，以满足不同的安全需求n蜜网既可以用多个物理蜜罐来构建，也可以由多个虚拟蜜罐组成。目前，通过虚拟化技术（如VMware）可以方便地把多个虚拟蜜罐部署在单个服务器主机上蜜网蜜网n最早的蜜网项目是德国曼海姆大
35、学Lance Spitzner在1999年开始发起，并于2000年6月成立的蜜网项目（The Honeynet Project）n目标：“研究黑客团体的工具、策略、动机，并且共享所获得的知识”n2001.12，该小组宣布成立“蜜网研究联盟”n北京大学的狩猎女神项目(The Artemis Project)蜜网蜜网n有关“网络欺骗防御”这一名词的内涵和外延目前还没有一个统一的、权威的定义n本书的观点：网络欺骗防御是一种体系化的防御方法，它将蜜罐、蜜网、混淆等欺骗技术同防火墙、入侵检测系统等传统防护机制有机结合起来，构建以欺骗为核心的网络安全防御体系网络欺骗防御网络欺骗防御nGarter对网络欺骗
36、防御（Cyber Deception Defense）的定义为：使用骗局或者假动作来阻挠或者推翻攻击者的认知过程，扰乱攻击者的自动化工具，延迟或阻断攻击者的活动，通过使用虚假的响应、有意的混淆、假动作、误导等伪造信息达到“欺骗”的目的网络欺骗防御网络欺骗防御n根据网络空间欺骗防御的作用位置不同，可以将其分为不同的层次，包括：n网络层欺骗n终端层欺骗n应用层欺骗n数据层欺骗网络欺骗防御技术网络欺骗防御技术n国内外已有一些网络欺骗防御产品：nTrapX Security的DeceptionGridnDARPA的Prattlen美国Sandia国家实验室的Hadesn长亭科技2016年推出基于欺骗伪
37、装技术的内网威胁感知系统谛听（D-Sensor）n幻阵是我国默安科技研发的一款基于攻击混淆与欺骗防御技术的威胁检测防御系统网络欺骗防御网络欺骗防御系统系统n把黑客变成免费渗透测试服务人员n德克萨斯大学达拉斯分校的研究人员应用机器学习开发更有效的蜜罐式网络防御智能DeepDigDeepDig用用蜜罐检测蜜罐检测 Kerberoasting 攻击攻击用用蜜罐检测蜜罐检测 Kerberoasting 攻击攻击nhttps:/ IDS与IPS的区别与联系 IDS的应用困境（误报与漏报）与未来（不再作为一个独立的安全防护产品？）没有防火墙（边界不设防）和IDS能实现网络安全目标吗？讨论讨论作业作业拓展拓
38、展学习学习基于机器学习的网络异常检测人工智能与机器学习人工智能与机器学习机器学习机器学习机器学习机器学习n根据先验信息的不同，机器学习可分为:n监督学习n无监督学习n半监督学习n强化学习机器学习机器学习n监督学习(Supervised Learning)：n通过标注值告诉模型在给定输入的情况下应该输出什么值，由此获得尽可能接近真实映射方式的优化模型监督学习模型 Mp示例输入 x标记预测输出机器学习机器学习n无监督学习(Unsupervised Learning)：n通过比对样本之间的某种联系实现对样本的数据分析机器学习机器学习n半监督学习(Semi supervised Learning)：n
39、训练集包含少量带标签的样本，更多是没有标签的数据。半监督的目标是使用有标记的正常对象的信息，对于给定的对象集合，发现异常样本或得分机器学习机器学习n强化学习(Reinforcement Learning,RL)：n根据反馈信息来调整机器行为以实现自动决策n弱监督学习机器学习机器学习n机器学习算法地图机器学习机器学习n生成对抗网络(Generative Adversarial Networks,GANs)n对抗机器学习(Adversarial Machine Learning,AML)GAN与与AML机器学习机器学习n生成对抗网络（Generative Adversarial Network，G
40、AN）：机器学习机器学习n对抗机器学习（Adversarial Machine Learning）：机器学习基本问题机器学习基本问题n基本问题：n特征提取n规则构建n模型评估机器学习基本问题机器学习基本问题n特征提取：机器学习基本问题机器学习基本问题n规则构建：机器学习基本问题机器学习基本问题n模型评估：n机器学习任务n回归(Regression)n分类(Classification)n 聚类(Clustering)n降维(Dimensionality Reduction)机器学习任务机器学习任务n机器学习任务n回归(Regression)n分类(Class)与单分类(One Class)n聚
41、类(Clustering)n降维(Dimensionality Reduction)机器学习任务机器学习任务n回归 机器学习任务机器学习任务n分类 机器学习任务机器学习任务n单分类（One Class）机器学习任务机器学习任务n聚类 机器学习任务机器学习任务n降维 机器学习任务机器学习任务机器学习任务机器学习任务机器学习与网络安全机器学习与网络安全n什么是异常?n在大多数异常检测场景里，异常指与大部分其他对象不同的对象n异常（离群点）可以分类三类：n全局离群点：指一个数据对象显著偏离数据集中的其余对象n情境离群点：对于某个特定情境，这个对象显著偏离其他对象n集体离群点：数据对象的一个子集作为整
42、体显著偏离整个数据集基于机器学习的异常检测基于机器学习的异常检测基于机器学习的异常检测基于机器学习的异常检测n有标签数据：标签主要是异常和正常，其中正常的数量远大于异常。在使用有监督算法做异常检测的时候，有两点需要特别注意：n选择合理的分类技术来处理不平衡数据。n误报率和召回率之间做合理权衡。在入侵检测的领域，通常相比召回率，更需要降误报率一些。不然根本处理不完这么多异常。有监督异常检测有监督异常检测n有监督学习异常检测存在的问题：n恶意行为如果与以前所见的严重背离，将无法被归类，因此将无法被检测到n需要大量人工对训练数据进行标注n任何错误标记的数据或人为引入的偏见都会严重影响系统对新活动进行
43、正确分类的能力有监督异常检测有监督异常检测n无标签数据n应用这种算法的时候，其实是做了这样一个假设：正常对象遵守远比离群点频繁的模式，正常对象不必全部落入一个具有高度相似性的簇，而是可以形成多个簇，每个簇具有不同的特征。然而，离群点必须是远离正常对象的簇。这类算法的目标是将一个得分打在每个样本上，反映该样本异常的程度。无监督异常检测无监督异常检测n无监督异常检测算法n算法很多，如基于密度的异常检测、基于邻近度的异常检测、基于模型的异常检测、基于概率统计的异常检测、基于聚类的异常检测、OneClassSVM的异常检测、iForest的异常检测、PCA异常检测、AutoEncoder异常检测、序列
44、数据的异常检测等，可分为五大类：统计和概率模型、线性模型、基于相似度衡量的模型、集成异常检测和模型融合、特定领域的异常检测无监督异常检测无监督异常检测n训练集包含少量带标签的样本。使用有标记的正常对象的信息，对于给定的对象集合，发现异常样本或得分n带标签样本是正常样本：使用这些正常样本与邻近的无标签对象一起训练一个正常对象的模型，然后用这个模型来检测离群点。（白名单）n带标签样本是异常样本：这种情况比较棘手，因为少量离群点不代表所有离群点，因此仅基于少量离群点而构建的离群点模型不太有效。弱弱监督异常检测监督异常检测n异常检测方法n基于模型的异常检测n基于距离（邻近度）的异常检测n基于密度的异常
45、检测n基于聚类的异常检测基于机器学习的异常检测基于机器学习的异常检测基于机器学习的异常检测基于机器学习的异常检测n根据模型本身的特点进行分类，大致可以分为以下几种：n统计检验方法n基于深度的方法n基于偏差的方法n基于距离的方法n基于密度的方法n深度学习方法基于机器学习的异常检测基于机器学习的异常检测n使用这类方法基于的基本假设是：正常的数据是遵循特定分布形式的，并且占了很大比例，而异常点的位置和正常点相比存在比较大的偏移统计检验方法统计检验方法n从点空间的边缘定位异常点，按照不同程度的需求，决定层数及异常点的个数基于深度的方法基于深度的方法n从点空间的边缘定位异常点，按照不同程度的需求，决定层
46、数及异常点的个数基于深度的方法基于深度的方法Isolation Forestn这是一种比较简单的统计方法，最初是为单维异常检测设计的。给定一个数据集后，对每个点进行检测，如果一个点自身的值与整个集合的指标存在过大的偏差，则该点为异常点基于偏差的方法基于偏差的方法n计算每个点与周围点的距离，来判断一个点是不是存在异常。基于的假设是正常点的周围存在很多个近邻点，而异常点距离周围点的距离都比较远：DB、kNN、k-Means等基于距离的方法基于距离的方法DB模型kNNn针对所研究的点，计算它的周围密度和其临近点的周围密度，基于这两个密度值计算出相对密度，作为异常分数。即相对密度越大，异常程度越高。基于的假设是，正常点与其近邻点的密度是相近的，而异常点的密度和周围的点存在较大差异。局部异常因子算法（LOF）、KNN基于密度的方法基于密度的方法n目前最常用于异常检测的深度学习方法是 Autoencoder 深度学习方法深度学习方法n目前最常用于异常检测的深度学习方法是 Autoencoder 深度学习方法深度学习方法n目前最常用于异常检测的深度学习方法是 Autoencoder 深度学习方法深度学习方法n目前最常用于异常检测的深度学习方法是 Autoencoder 深度学习方法深度学习方法
