ZoomEye简介及架构设计课件.pptx

1、ZoomEye(钟馗之眼)网络空间搜索引擎目录 ZoomEye是什么 ZoomEye的诞生原因 ZoomEye的对象 ZoomEye的使用方法 ZoomEye的优势 ZoomEye的技术细节 ZoomEye的未来展望ZoomEye是什么？ 它是一个搜索引擎 搜索对象是网络空间中的“WEB服务组件”和“网络设备” 基于我们长期积累的安全研究能力 为白帽子黑客和极客服务的 兼顾宏观和微观ZoomEye长什么样？What is ZoomEye 搜索引擎 针对WEB应用 宏观 安全目录 ZoomEye是什么 ZoomEye的诞生原因 ZoomEye的对象 ZoomEye的使用方法 ZoomEye的优势

2、 ZoomEye的技术细节 ZoomEye的未来展望目录 ZoomEye是什么 ZoomEye的诞生原因 ZoomEye的对象 ZoomEye的使用方法 ZoomEye的优势 ZoomEye的技术细节 ZoomEye的未来展望ZoomEye的对象 Web服务组件 基于域名 可识别的网络设备 基于IP地址 尚未开放WEB服务组件可识别网络设备 交换机 路由器 摄像头 手机 平板电脑 工控设备 核工业设备 目录 ZoomEye是什么 ZoomEye的诞生原因 ZoomEye的对象 ZoomEye的使用方法 ZoomEye的优势 ZoomEye的技术细节 ZoomEye的未来展望ZoomEye的使用

3、方法 搜应用/版本 搜国家/城市 搜网站标题 搜网站域名,如 site:* 特殊词语，如 hacked by 搜行业关键字“银行”，“大学”，“人民政府” 搜网络设备，如 GoAhead-WebsZoomEye的使用方法(2)ZoomEye的使用方法(3)ZoomEye的使用方法(4)ZoomEye的使用方法(5)ZoomEye的使用方法(6)ZoomEye的使用方法(7) http:/ 关于ZoomEye的一个入侵小例子 http:/ 如何用ZoomEye（钟馗之眼）批量获得站点权限目录 ZoomEye是什么 ZoomEye的诞生原因 ZoomEye的对象 ZoomEye的使用方法 Zoom

4、Eye的优势 ZoomEye的技术细节 ZoomEye的未来展望ZoomEye的优势 更专业 更全面 更高效目录 ZoomEye是什么 ZoomEye的诞生原因 ZoomEye的对象 ZoomEye的使用方法 ZoomEye的优势 ZoomEye的技术细节 ZoomEye的未来展望ZoomEye的技术细节 ZoomEye的整体架构 ZoomEye的调度逻辑 ZoomEye的Wmap应用指纹识别 一些技术上的Tips分享ZoomEye的整体架构架构图ZoomEye的调度逻辑调度逻辑 取最久未调度过的站点列表 通过接口向Job Server下发探测任务 Worker从Job Server领取任务执

5、行 轮询接口取结果 写入完成的任务 纪录失败的任务 对失败的任务进行有限的重试Wmap应用指纹识别如何识别码农来着？如何识别Web应用？以nginx和php为例HTTP/1.1 200 OKServer: nginx/1.4.2Date: Sun, 18 Aug 2013 10:33:12 GMTContent-Type: text/htmlConnection: keep-aliveX-Powered-By: PHP/5.5.2如何识别多种应用？ 不同层次的应用有不同的策略 符合标准格式的未知指纹直接收录 收集多种应用的指纹，逐个匹配如何识别得更快？1.先判断域名的合法性，及是否存活2.特定

6、文件的md5值，比如favicon.ico3.用压缩的传输，提高传输速度4.尽量减少请求次数和请求的大小5.减少进行规则比较的次数6.结果缓存一个月误报和漏报Tips 针对新增的应用指纹特征进行单一规则的增补识别调度。 周期进行站点的存活判断 Fuzz常见的子域名子目录来发现更多应用Elasticsearch tips1.Java环境最好是用Oracle官方的jdk72.把最大最小内存设置成同样大小。3.bootstrap.mlockall: true4.index.cache.field.type: soft5.index.cache.field.max_size: 500006.index

7、.cache.field.expire: 10mElasticsearch tips(2)1.建立合适的mapping2.配置两个节点，一主一从3.用同步脚本在空闲时间同步数据目录 ZoomEye是什么 ZoomEye的诞生原因 ZoomEye的对象 ZoomEye的使用方法 ZoomEye的优势 ZoomEye的技术细节 ZoomEye的未来展望ZoomEye的未来展望 社区化 开放的API接口 网络设备的搜索 更多的服务类型和组件 章鱼(Octopus)模糊应用识别引擎社区化用户提交组件组件库回馈用户组件库提交组件章鱼项目原理 应用指纹和页面结构特征收集 在大数据分析的基础上，归纳出哪些特征可能对应着应用组件 通过人肉的方法识别出该未知的组件的其它信息 根据特征指纹去查表，得出它具体某种应用的可能性。Q&AThanks!