网络安全数据集简介及采集与回放课件.pptx

1、网络安全数据集简介及采集与回放目录目录 网络安全数据集简介及采集19/08/022 数据集简介网络数据包采集与回放数据集简介数据集简介 网络安全数据集简介及采集19/08/0231.DARPA入侵检测评估数据集2.KDD Cup 99与NSL-KDD数据集3.Honeynet数据集4.Challenge 2013数据集5.Adult数据集6.恶意软件数据集DARPA入侵检测评估数据集入侵检测评估数据集19/08/02Challenge 2013数据集 网络安全数据集简介及采集4 DARPA 98：收集了9周时间的 TCPDUMP网络 连接和系统审计数据，仿真各种用户类型、各种 不同的网络流量和

2、攻击手段。DARPA 99：包括覆盖了Probe、DoS、R2L、U2R和Data等5大类58种典型攻击方式，是目前 最为全面的攻击测试数据集。DARPA 2000：一种深度测试，集中地测试入侵 检测系统对于某一种攻击的检测效果，对检测算 法和检测机制可以进行深入的分析。迄今为止网络迄今为止网络 入侵检测领域的入侵检测领域的 标准数据集标准数据集DARPA入侵检测评估数据集入侵检测评估数据集DUMP网络 类型、各种S、R2L、式，是目前 DARPA 98：收集了9周时间的 TCP连接和系统审计数据，仿真各种用户 不同的网络流量和攻击手段。DARPA 99：包括覆盖了Probe、DoU2R和Da

3、ta等5大类58种典型攻击方 最为全面的攻击测试数据集。DARPA 2000：一种深度测试，集中地测试入侵 检测系统对于某一种攻击的检测效果，对检测算 法和检测机制可以进行深入的分析。迄今为止网络迄今为止网络 入侵检测领域的入侵检测领域的 标准数据集标准数据集19/08/02Challenge 2013数据集 网络安全数据集简介及采集4DARPA入侵检测评估数据集入侵检测评估数据集 DARPA 98：收集了9周时间的 TCP连接和系统审计数据，仿真各种用户 不同的网络流量和攻击手段。DARPA 99：包括覆盖了Probe、DoU2R和Data等5大类58种典型攻击方 最为全面的攻击测试数据集。

4、DUMP网络 类型、各种S、R2L、式，是目前中地测试入侵 果，对检测算。DARPA 2000：一种深度测试，集检测系统对于某一种攻击的检测效法和检测机制可以进行深入的分析迄今为止网络迄今为止网络 入侵检测领域的入侵检测领域的 标准数据集标准数据集19/08/02Challenge 2013数据集 网络安全数据集简介及采集4DARPA入侵检测评估数据集入侵检测评估数据集 DARPA 98：收集了9周时间的 TCP连接和系统审计数据，仿真各种用户 不同的网络流量和攻击手段。DARPA 99：包括覆盖了Probe、DoU2R和Data等5大类58种典型攻击方 最为全面的攻击测试数据集。DUMP网络

5、 类型、各种S、R2L、式，是目前中地测试入侵 果，对检测算。DARPA 2000：一种深度测试，集检测系统对于某一种攻击的检测效法和检测机制可以进行深入的分析网网络络域的域的迄 今 为 止迄 今 为 止 入侵检测领入侵检测领 标准数据集标准数据集19/08/02Challenge 2013数据集 网络安全数据集简介及采集4KDD Cup 99与与NSL-KDD数据集数据集 网络安全数据集简介及采集19/08/025 KDD Cup 99数据集 数据来源 KDD Cup 99数据集是采用数据挖掘等技术对DARPA98和DARPA 99数据集进行特征分析和数据预处理，形 成的新数据集。数据范例

6、数据集中每个连接（*）用41个特征来描述，例如：2,tcp,smtp,SF,1684,363,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,1,1,0.00,0.00,0.00,0.00,1.00,0.00,0.00,104,66,0.63,0.03,0.01,0.00,0.00,0.00,0.00,0.00,normal.KDD Cup 99 数据集数据集 NSL-KDD数数 据集据集KDD Cup 99数据集数据集 网络安全数据集简介及采集19/08/026 KDD Cup 99 数据集特征分数据集特征分 类类TCP连接基本特征（共9种）基本连接特征包含了 一些连接的基本

7、属性，如连续时间，协议类 型，传送的字节数等 信息泄露；TCP连接的内容特征（共13种）为了检测U2R和R2L之 类的嵌入在数据包数 据负载里面的攻击，从数据内容里面抽取 了部分可能反映入侵 行为的内容特征，如 登录失败的次数等。基于时间的网络流量 统计特征（共9种，2331）统计当前连接记录与 之前一段时间内的连 接记录之间存在的某 些联系。分为两种集 合：“same host”特 征和“same service”特征基于主机的网络流量 统计特征（共10种，3241）按照目标主机进行分 类，使用一个具有100个连接的时间窗，统计当前连接之前100个连接记录中与 当前连接具有相同目 标主机的统

8、计信息。NSL-KDD数据集数据集 网络安全数据集简介及采集19/08/027 除去了KDD CUP 99数据集中冗余的数据，克服了分类器偏向于重复出现的记录，学习 方法的性能受影响等问题。对正常和异常的数据比例进行了合适选择，测试和训练数据数量更合理，因此更适合在 不同的机器学习技术之间进行有效准确的评 估。对对KDD CUP99的改进的改进Honeynet数据集数据集 网络安全数据集简介及采集19/08/028 数据来源 包括从2000年4月到2011年2月，累计11个月的Snort报 警数据，每月大概60-3000多条Snort报警记录，其网络 由8个IP地址通过ISDN连接到ISP。数

9、据范例 Apr 16 07:17:06 lisa snort7483:IDS128/web-cgi-phf:200.190.8.220:55220-172.16.1.107:80，其内容分别是日期、时间、触发的Snort规则号、报警内容、源IP、源端口、目的IP和目的端口。网络环境图 由由HoneyNet 组织收集的黑组织收集的黑客攻击数据集，客攻击数据集，能较好地反映能较好地反映 黑客攻击模式黑客攻击模式Honeynet数据集数据集 数据来源 包括从2000年4月到2011年2月，累计11个月的Snort报 警数据，每月大概60-3000多条Snort报警记录，其网络 由8个IP地址通过IS

10、DN连接到ISP。数据范例 Apr 16 07:17:06 lisa snort7483:IDS128/web-cgi-phf:200.190.8.220:55220-172.16.1.107:80，其内容分别是日期、时间、触发的Snort规则号、报警内容、源IP、源端口、目的IP和目的端口。网络环境图 由由HoneyNet黑黑集，集，映映 式式组织收集组织收集的的客 攻 击 数客 攻 击 数据据 能较好能较好地反地反 黑客黑客攻击模攻击模 网络安全数据集简介及采集19/08/028Challenge 2013数据集数据集 网络安全数据集简介及采集19/08/029 日志类型（3种）网络流量N

11、etflow日志数据 Big Brother 网络健康数据 Big Brother 网络状态数据 日志内容 第一、二周的Netflow和Big Brother日志 第二周的入侵预防系统日志数据 网络环境图 提供了某虚构提供了某虚构 的跨国公司内的跨国公司内 部网络两周的部网络两周的 运行日志运行日志Chall志 网络环境图enge 2013数据集数据集虚虚构构 日志类型（3种）司内司内 网络流量Netflow日志数据周周的的 Big Brother 网络健康数据 Big Brother 网络状态数据 日志内容 第一、二周的Netflow和Big Brother日 第二周的入侵预防系统日志数据

12、提供了某提供了某 的跨国公的跨国公 部网络两部网络两 运行日志运行日志 网络安全数据集简介及采集19/08/029Challenge 2013数据集数据集 网络安全数据集简介及采集19/08/0210 数据格式 与原始数据集相比，经过了数据清洗和时间同步，加入了 统一的时间戳，数据都已经通过入库程序导入了MySQL 数据库，所以这儿提供的数据集是通过SQL语句从MySQL数据库中导出的，并且同时提供数据表结构。（请注意使用MyISAM的表格式，预计需要数据库磁盘空 间30G，文件名后缀中a表示第一周，b表示第二周）导入步骤 先创建对应表，然后导入数据文件，导入数据文件的MySQL语句参考：Lo

13、ad data infile c:/netflow-origin.txt into table netflow1。导入导入MySQL数数 据库过程据库过程Adult数据集数据集 网络安全数据集简介及采集19/08/0211 数据来源 该数据集来自UCI，又名人口调查数据集，来自于美国1994年人口调查数据库，共有记录48842条，格式为TEXT，包含14个属性，分别为Age，workclass，fnlwgt，education，education-num，marital-status，occupation，relationship，race，sex，capital-gain，capital-l

14、oss，hours-per-week，native-country。数据范例 39,State-gov,77516,Bachelors,13,Never-married,Adm-clerical,Not-in-family,White,Male,2174,0,40,United-States,dst:flags data-seqno ack window urgent optionsTCP包的输出信息命令：route.port1 ICE.port2:udp lenthUDP包的输出信息 网络安全数据集简介及采集19/08/0217TCPDUMP抓包抓包 网络安全数据集简介及采集19/08/02

15、18 想要截获所有210.27.48.1 的主机收到的和发出的所有的分组#TCPDUMP host 210.27.48.1 想要截获主机210.27.48.1 和主机210.27.48.2或210.27.48.3的通信，使用命令（注意：括号前的反斜杠是必须的）#TCPDUMP host 210.27.48.1 and(210.27.48.2 or 210.27.48.3)如果想要获取主机210.27.48.1除了和主机210.27.48.2之外所 有主机通信的ip包，使用命令#TCPDUMP ip host 210.27.48.1 and!210.27.48.2 如果想要获取主机192.168

16、.228.246接收或发出的ssh包，并且 不转换主机名使用如下命令#TCPDUMP-nn-n src host 192.168.228.246 and port 22 and tcp 举例举例TCPDUMP抓包抓包 网络安全数据集简介及采集19/08/0218 举例举例获取主机192.168.228.246接收或发出的ssh包，并把mac地址也一同 显示#TCPDUMP-e src host 192.168.228.246 and port 22 and tcp-n-nn过滤的是源主机为192.168.0.1与目的网络为192.168.0.0的报头TCPDUMP src host 192.1

17、68.0.1 and dst net 192.168.0.0/24过滤源主机物理地址为XXX的报头TCPDUMP ether src 00:50:04:BA:9B and dst（为什么ether src后面没有host或者net？物理地址当然不可能有网络）。过滤源主机192.168.0.1和目的端口不是telnet的报头，并导入到tes.t.txt文件中TCPDUMP src host 192.168.0.1 and dst port not telnet-l test.txtWireshark抓包抓包 网络安全数据集简介及采集19/08/0219 Wireshark窗口（五部分）Displ

18、ay Filter(显示过滤器)，用于过滤 Packet List Pane(封包列表)，显示编号，时间戳，源地址，目标地址，协议，长度，以及封包信息。可以看到不同的协议用了不同的颜色显示，也可以 修改这些显示颜色的规则 Packet Details Pane(封包详细信息)，显示封包中 的字段 Dissector Pane(16进制数据)Miscellanous(地址栏，杂项)只能查看封包，只能查看封包，而不能修改封而不能修改封 包的内容的开包的内容的开 源软件源软件Wireshark抓包抓包 只只而而 包包 源源能查看封包，能查看封包，Wireshark窗口（五部分）Display Fil

19、ter(显示过滤器)，用于过滤不能修改封不能修改封 Packet List Pane(封包列表)，显示编号，时间戳，的内容的的内容的开开源地址，目标地址，协议，长度，以及封包信息。可以看到不同的协议用了不同的颜色显示，也可以软件软件修改这些显示颜色的规则 Packet Details Pane(封包详细信息)，显示封包中 的字段 Dissector Pane(16进制数据)Miscellanous(地址栏，杂项)网络安全数据集简介及采集19/08/0219Wireshark抓包抓包 网络安全数据集简介及采集19/08/0220 显示过滤器，即主界面显示的，用来在捕获 的记录中找到所需要的记录

20、捕获过滤器，用来过滤捕获的封包，以免捕 获太多的记录 过滤器（两种）过滤器（两种）Wireshark抓包抓包 显示过滤器，即主界面显示的，用来在捕获免捕的记录中找到所需要的记录 捕获过滤器，用来过滤捕获的封包，以 获太多的记录 过滤器（两种）过滤器（两种）网络安全数据集简介及采集19/08/0220Wireshark抓包抓包 过滤表达式规过滤表达式规 则则协议过滤IP 过滤端口过滤Http模式过滤逻辑运算符为 AND/OR 网络安全数据集简介及采集19/08/0221Frame物理层的数据帧概况Ethernet II数据链路层以太网帧头部信息Internet Protocol Version

21、4互联网层IP包头部信息Transmission Control Protocol传输层T的数据段头部信息，此处是TCPHypertext Transfer Protocol应用层的信息，此处是HTTP协议 网络安全数据集简介及采集19/08/0222Wireshark抓包抓包 封包信息封包信息Wireshark抓包抓包 封包信封包信息息Frame 物理层的数据帧概况Ethernet II 数据链路层以太网帧头部信息Internet Protocol Version 4 互联网层IP包头部信息Transmission Control Protocol 传输层T的数据段头部信息，此处是TCPHy

22、pertext Transfer Protocol 应用层的信息，此处是HTTP协议 网络安全数据集简介及采集19/08/0222网络数据包回网络数据包回放放 网络安全数据集简介及采集19/08/0223 tcpprep:这个工具的作用就是划分客户端和服务器，区分pcap数据包的流向，即划分那些包是client的，哪些包是server的，一会发包的时候client包从一个 网卡发，另一个server的包可能从另一个网卡发。tcprewrite：这个工具的作用就是来修改报文，主要 修改2层，3层，4层报文头，即MAC地址，IP地址和PORT地址。tcpreplay:这是最终真正发包使用的工具，可

23、以选择 主网卡、从网卡、发包速度等。Tcpreplay包包 含的工具含的工具Tcpreplay安装安装过过程程下载安装包解压安装包进入解压后的文 件夹。输入指令 “cd tcpreplay-3.3.0”。$./configure$make$make install 网络安全数据集简介及采集19/08/0224网络数据包回网络数据包回放放 网络安全数据集简介及采集19/08/0225 采用port-spllit模式来处理http.pcap文件（区分http.pcap中的客户端和服务器），然后将处理结果存到cache_test_cache文件中$tcpprep-port cachefile=cac

24、he_test.cache-pcap=http.pcap 改写数据包的的内容$tcprewrite-endpoints=192.168.0.1:192.168.0.2-cachefile=cache_test.cache-infile=http.pcap-outfile=http_rewrite.pcap 发送收集的数据包$tcpreplay intf1=eth0 intf2=eth0 t cachefile=cache_test.cache http_rewrite_pcap 常用指令常用指令网络抓包编程网络抓包编程 网络安全数据集简介及采集19/08/0226查找用于捕获数据包的缺省设备c

25、har*pcap_lookupdev(char*errbuf);打开用于捕获数据包的网络设备pcap_t*pcap_open_live(const char*device,int snaplen,int promisc,int to_ms,char*errbuf);捕获下一个数据包const u_char*pcap_next(pcap_t*p,struct pcap_pkthdr*h);捕获下一个数据包typedef void(*pcap_handler)(u_char*user,const struct pcap_pkthdr*h,const u_char*bytes);const u_ch

26、ar*pcap_loop(pcap_t*p,int cnt,pcap_handler callback,u_char*user);创建过滤器int pcap_compile(pcap_t*p,struct bpf_program*fp,char*str,int optimize,bpf_u_int32 netmask);安装过滤器int pcap_setfilter(pcap_t*p,struct bpf_program*fp);LIBPCAP抓抓 包包网络抓包编程网络抓包编程 Socket编程编程 抓包抓包常用 Socket 函数socket()函数bind()函数listen()、conn

27、ect()函数accept()函数read()、write()等函数close()函数 网络安全数据集简介及采集19/08/0227网络抓包编程网络抓包编程 网络安全数据集简介及采集19/08/0228 int socket(int protofamily,int type,intprotocol);/返回sockfd protofamily：即协议域，又称为协议族（family）type：指定socket类型 protocol：故名思意，就是指定协议 Socket()函数函数网络抓包编程网络抓包编程 网络安全数据集简介及采集19/08/0228 Socket()函数函数 注意：并不是上面的t

28、ype和protocol可以随意组 合的，如SOCK_STREAM不可以跟IPPROTO_UDP组合。当protocol为0时，会自动选择type类型对应的默认协议。当我们调用socket创建一个socket时，返回的socket描述字它存在于协议族（address family，AF_XXX）空间中，但没有一个具体的地址。如 果想要给它赋值一个地址，就必须调用bind()函 数，否则就当调用connect()、listen()时系统会 自动随机分配一个端口。网络抓包编程网络抓包编程 网络安全数据集简介及采集19/08/0229 int bind(int sockfd,const struct

29、 sockaddr*addr,socklen_t addrlen);sockfd：即socket描述字，它是通过socket()函数创建了，唯一标识一个socket。addr：一个const struct sockaddr*指针，指向 要绑定给sockfd的协议地址。addrlen：对应的是地址的长度。Bind()函数函数网络抓包编程网络抓包编程 网络安全数据集简介及采集19/08/0229 Bind()函数函数 字节序，顾名思义字节的顺序，就是大于一个字节类型 的数据在内存中的存放顺序，一个字节的数据没有顺序 的问题了。主机字节序就是我们平常说的大端和小端模式：不同的CPU有不同的字节序类型

30、，这些字节序是指整数在内存中保存的顺序，这个叫做主机序。网络字节序：4个字节的32 bit值以下面的次序传输：首 先是07bit，其次815bit，然后1623bit，最后是2431bit。这种传输次序称作大端字节序。由于TCP/IP 首部中所有的二进制整数在网络中传输时都要求以这种 次序，因此它又称作网络字节序。网络抓包编程网络抓包编程 网络安全数据集简介及采集19/08/0230 listen()、connect()函函 数数 如果作为一个服务器，在调用socket()、bind()之后就会调用listen()来监听这个socket，如果客户端这时调用connect()发出连接请求，服务器

31、端就会接收到这个请求。网络抓包编程网络抓包编程 网络安全数据集简介及采集19/08/0230 int listen(int sockfd,int backlog);sockfd：要监听的socket描述字 backlog：相应socket可以排队的最大连接个数 int connect(int sockfd,const struct sockaddr*addr,socklen_t addrlen);sockfd：客户端的socket描述字 addr：服务器的socket地址 addrlen：socket地址的长度 listen()、connect()函函 数数网络抓包编程网络抓包编程 网络安全数

32、据集简介及采集19/08/0231 int accept(int sockfd,struct sockaddr*addr,socklen_t*addrlen);/返回连接 connect_fd sockfd:上面解释中的监听套接字 addr：结果参数，用来接受一个返回值，这 返回值指定客户端的地址 len：结果的参数，用来接受上述addr的结 构的大小 accept()函数函数网络抓包编程网络抓包编程 网络安全数据集简介及采集19/08/0231 accept()函数函数 注意：accept默认会阻塞进程，直到有一个客户连接建立后返 回，它返回的是一个新可用的套接字，这个套接字是连 接套接字。

33、此时我们需要区分两种套接字：监听套接字:监听套接字正如accept的参数sockfd，它是监听 套接字，在调用listen函数之后，是服务器开始调用socket()函数生成的，称为监听socket描述字(监听套接字)连接套接字：一个套接字会从主动连接的套接字变身为一个 监听套接字；而accept函数返回的是已连接socket描述字(一 个连接套接字)，它代表着一个网络已经存在的点点连接。网络抓包编程网络抓包编程 网络安全数据集简介及采集19/08/0232 read函数是负责从fd中读取内容.当读成功时，read返回实际所读的字节数，如果返回的值 是0表示已经读到文件的结束了，小于0表示 出现

34、了错误。write函数将buf中的nbytes字节内容写入文 件描述符fd.成功时返回写的字节数。失败时 返回-1，并设置errno变量。read()、write()等函等函 数数网络抓包编程网络抓包编程 网络安全数据集简介及采集19/08/0233 int close(int fd);close一个TCP socket的缺省行为时把该socket 标记为以关闭，然后立即返回到调用进程。该描 述字不能再由调用进程使用，也就是说不能再作 为read或write的第一个参数。注意：close操作只是使相应socket描述字的引 用计数-1，只有当引用计数为0的时候，才会触 发TCP客户端向服务器发送终止连接请求。close()函数函数Thanks!19/08/0234第一章 简介