互联网大数据分析与应用课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《互联网大数据分析与应用课件.ppt》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 互联网 数据 分析 应用 课件
- 资源描述:
-
1、互联网大数据分析与应用互联网大数据分析与应用姜青山 博士/研究员中科院深圳先进技术研究院2014年12月06日中国科学院深圳先进院研究员,博导厦门大学软件学院院长,教授、博导加拿大Manifold数据挖掘公司副总裁、创始人加拿大多伦多大学博士后加拿大Sherbrooke大学计算机科学博士日本千叶大学数学博士网络安全、数据挖掘网络安全、数据挖掘在Pattern Recognition、IEEE Trans.on SMC、TKDE、SIGKDD等国际期刊和会议上发表论文150多篇;主持和承担国家自然科学基金、国家发改委云计算安全专项、863和广东省重大科技专项、以及企业委托项目40余项;研究成果已
2、经技术转移给金山云安全软件系统,并投入商业运营2022-7-25 汇报提纲1.大数据时代面临的问题2.海量恶意软件鉴别技术3.反钓鱼检测与防御技术4.大数据时代的移动电商5研究工作成果与研发团队p 发展大数据已经成为国家、社会、产业的一个重要话题。目前,欧美、日韩等国已经将大数据上升为国家层面的战略p 2012年3月22日,奥巴马宣布投资大数据相关产业发展,将“大数据战略”上升为国家战略,甚至将大数据定义为“未来的新石油”p 越来越多的政府、企业,正逐步意识到这隐藏在数据山脉中的金矿,数据分析能力正成为各种组织的核心竞争力p 大数据安全保障问题急待解决。大数据时代已经来临?5互联网行业拥抱大数
3、据的关键因素互联网行业拥抱大数据的关键因素网络终端设备网络终端设备网络技术的升级和终端设备的爆发,使今天的用户能够使用多种设备、从不同位置、通过多种手段来接入互联网,并在这一过程中不断创造新内容在线应用和服在线应用和服务务越来越丰富的在线应用和服务,不断激励用户创造和分享信息,尤其是社会化媒体业务,带动图片、视频等非结构化数据飞速增长与各垂直行业与各垂直行业的融合的融合互联网作为一个高渗透力的行业,正在与各垂直行业发生深度的融合,原本隐藏于先下的孤岛信息,源源不断的输入到线上。1.互联网行业对数据实时分析要求较高,例如广告监测、B2C业务,往往要求在数秒内返回上亿行数据的分析,从而达到不影响用
4、户体验和快速准确营销的目的。2.目前互联网企业面对大数据,会普遍感觉到实时分析能力差、海量数据处理效率低、缺少分析方法、分析软件能力差等问题。互联网行业大数据分析面临的主要问题互联网行业大数据分析面临的主要问题互联网大数据技术的应用,会首先带动社会化媒体、互联网大数据技术的应用,会首先带动社会化媒体、电子商务的快速发展,其他的互联网分支也会紧追电子商务的快速发展,其他的互联网分支也会紧追其后,整个行业在大数据的推动下将会蓬勃发展。其后,整个行业在大数据的推动下将会蓬勃发展。互联网拥抱大数据互联网拥抱大数据大数据行业应用大数据行业应用6应用可能性应用可能性电信政府(公共事业)交通金融医疗教育能源
5、(电力/石油)纵轴契合度:纵轴契合度:表示该用户的IT应用特点与大数据特性的契合程度;横轴应用可能性横轴应用可能性:表示该用户出于主客观因素在短期内投资大数据的可能性;注:注:该位置为分析师访谈的综合印象,为定性分析,图中位置不代表具体数值HighHighMidMidLowLowLowLowMidMidHighHigh优先关注行业用户应用特点与大数据技术有较高的契合度,在主客观条件上也有较高的应用可能性。值得关注行业用户应有特点与大数据的契合度及应用可能性综合较高适当关注行业用户两个维度暂时都不具备优势,可适当给予关注互联网(电子商务)契合度契合度流通零售制造大数据、云计算及移动互联网的关系p
6、 新兴的“大数据”,实际是数据大集中、云计算与虚拟化、移动互联网三者发展的必然产物。p 大数据是本,云计算是术,移动互联网是用;p 移动互联网是数据源,云计算是术,大数据是产生及分享的产物;云计算/虚拟化移动互联网大数据基于大数据环境下所带来的安全挑战云终端云终端传输管道大数据让现有IT和业务运营模式发生同时,也将会重新定义信息安全:p 大数据环境下的应用防护风险,包括资源滥用、恶用、拒绝服务攻击、不安全集成模块或API接口及WEB安全【应用防护安全】p 虚拟环境所产生的安全风险【虚拟化环境安全】p BYOD-移动接入安全,包括身份仿冒和信息劫持【BYOD移动接入安全】p 恶意的内部员工及数据
7、隐私保护【安全与大数据融合】大数据中心大数据中心央视曝光“危险的危险的WiFi”无线上网存巨大安全隐患无线上网存巨大安全隐患 http:/ service)2022-7-25 汇报提纲1.大数据时代面临的问题2.海量恶意软件鉴别技术3.反钓鱼检测与防御技术4.大数据时代的移动电商5研究工作成果与研发团队网络威胁快速增长网络威胁快速增长恶意程序为了获取客户机密信息或金钱而层出不穷逐利性多变性复杂性SpamSpywareBotnetsWormsWeb总量达到总量达到15001500万左右万左右单月增长超过单月增长超过6464万支万支网络钓鱼与攻击流程网络钓鱼是指通过欺骗性垃圾邮件、即时通信留言、社
8、交网络等方式,骗取用户访问虚假仿冒的钓鱼网站,引诱用户泄露敏感信息的行为,给商家和个人造成经济损失等危害。僵尸网络BotSecurityHolesVirusesSpywaresMalware垃圾邮件Spam mails钓鱼邮件钓鱼站点SecurityHoles准备广泛散布控制所有僵尸节点发动攻击钓鱼网站的攻击流程钓鱼网站的攻击流程快速增长的数据正在改变着内容安全的要求快速增长的数据正在改变着内容安全的要求Network Information FlowNetwork Information FlowWho is sendingWho is sendingWhat toWhat toWhere?
9、Where?快速分析和处理海量信息是传统内容安全解决方案所面临的巨大挑战!WhereWhere300亿的页面WhoWho10亿使用者WhatWhatTB的数据 网络信息流网络信息流WebWebWebWebWebWebWebWebWebWeb典型的Web威胁攻击行动Internet上大量的邮件服务器和网站服务器 自动下载木马 发送钓鱼邮件 用户点击邮件中的链接 木马自我更新 收集用户信息并提交解密解密黑色产业链黑色产业链-发送垃圾邮件-DDOS攻击-网站挂马-建钓鱼网站入侵活动入侵活动:资金流向资金流向:被盗窃后在黑市交易帐号密码帐号密码 被在黑市标价出租计算能力计算能力 被盗窃-勒索或泄漏隐私
10、资料隐私资料游戏玩家虚拟装备中间商6.6.地下交易地下交易-数百万肉鸡控制权信用卡犯罪团伙信用卡受害人信用卡盗刷商业机密泄露公司竞争对手广告商/钓鱼集团/其他黑客集团更多受害者-商业机密被盗-隐私活动被盗摄-隐私照片网上流传5.肉鸡控制权2.病毒1.漏洞信息病 毒僵尸网络集团牧马人(黑客)病毒制造者漏洞挖掘者3.后门/僵尸病毒4.弱鸡控制权商业机密/隐私控制命令7.盗号木马攻击者肉鸡中间商肉鸡控制权勒索2022-7-252022-7-2517恶意软件(Malware)及其危害恶意软件病毒蠕虫木马后门程序广告软件间谍软件僵尸网络等常见恶意软件鉴别方法恶意软件鉴别方法恶意软件鉴别方法简要说明简要说
11、明特征码鉴别反病毒领域对恶意软件进行鉴定和防范的主要方法启发式查杀根据反病毒专家总结的分析可疑程序样本经验,在没有符合特征值比对时,根据反汇编后程序代码所调用的指令判断程序是否恶意数字签名正规软件开发者通常会对软件代码进行数字签名,从而证明软件没有被非法篡改且来源可信虚拟机用程序代码虚拟CPU、寄存器、硬盘、内存、网卡等设备,用调试程序调入可疑恶意程序样本,放到虚拟环境中执行数据挖掘技术通过对已知恶意软件和正常软件的学习,采用合适的算法构建具有预测能力的模型,然后通过这个模型实现对未知软件的预测云查杀融合了云计算、数据挖掘、恶意软件鉴别、隐私保护、数据安全、入侵行为检测以及安全防御等新兴技术和
12、概念 移动恶意软件移动恶意软件的攻击目标主要是手机或者具有无线功能的PDA,移动恶意软件可能导致系统崩溃、机密信息的损失或泄漏数据来源:360互联网安全中心数据来源:2013年6月外媒Juniper Networks公布数据移动恶意软件移动恶意软件各大移动安全厂商现状厂商厂商特色特色缺陷缺陷传统的特征码技术、主动的启发式分传统的特征码技术、主动的启发式分析技术、云安全扫描析技术、云安全扫描能耗大、特征库更新频能耗大、特征库更新频繁繁本地和云查杀,扫描已安装软件的信本地和云查杀,扫描已安装软件的信息(包括包名、息(包括包名、UIDUID、版本号以及软、版本号以及软件证书等)、黑名单技术件证书等)
13、、黑名单技术准确率不高、特征库更准确率不高、特征库更新频繁新频繁多引擎查杀(双引擎本地查杀和云查多引擎查杀(双引擎本地查杀和云查杀)杀)能耗、资源消耗较大能耗、资源消耗较大首款首款APPAPP行为管理软件,专注于分析行为管理软件,专注于分析手机软件的不良行为手机软件的不良行为实时性要求高实时性要求高云和端的双引擎扫描云和端的双引擎扫描准确率不高准确率不高首款主动式防御软件,采用首款主动式防御软件,采用APIAPI动态动态拦截技术拦截技术实时性要求高实时性要求高建立云安全体系,保障服务质量建立云安全体系,保障服务质量面向云安全的恶意软件检测技术即时即时响应响应自适应自适应模型模型智能智能技术技术
14、云安全23云端软件行为鉴别系统框架云端软件行为鉴别系统框架面向云安全的恶意软件鉴别系统在线用户动态隐私保护的客户端匿名模型应用开发层面面向云安全的海量事件序列挖掘模型、在线隐私保护模型软件行为的事件序列表示和提取方法恶意软件行为特征抽取和特征约简方法基于事件序列挖掘的恶意软件分类、聚类算法理论研究层面2022-7-2524软件行为智能检测系统架构软件行为智能检测系统架构面向云安全的软件行为鉴别架构云端对未知文件智能鉴别系统工作流程云端软件行为检测系统ACSMDS移动恶意软件检测技术2022-7-2526移动恶意软件权限特征分类图基于权限特征的检测流程图移动恶意软件指令集检测模块2022-7-2
15、527移动恶意软件指令集检测架构图移动恶意软件检测结果分析2022-7-2528随机森林分类器检测结果KNN分类器检测结果移动恶意软件家族检测结果比较2022-7-25 汇报提纲1.大数据时代面临的问题2.海量恶意软件鉴别技术3.反钓鱼检测与防御技术4.大数据时代的移动电商5研究工作成果与研发团队钓鱼网站数量呈现指数级增长危害巨大钓鱼网站数量呈现指数级增长危害巨大o网络钓鱼是通过大量发送来自于银行或其他知名机构的欺骗性垃圾邮件,意图引诱收信人给出敏感信息的一种攻击方式伴随着计算机技术和通讯技术的高速发展,互联网上恶意软件花样 不断翻新,入侵手段防不胜防,对网络信息安全造成巨大危害钓鱼网站作为恶
16、意软件的一种新的表现形式,在近几年频繁出现仿淘宝类钓鱼网站中奖类钓鱼网站订票类钓鱼网站p 钓鱼网站严重影响在线金融服务、电子商务的发展,危害公众利益,影响公众应用互联网的信心钓鱼攻击行业领域分布钓鱼攻击行业领域分布完 胜病毒木马每月拦截约1.5亿次钓鱼网站每月拦截约4-11亿次数据来源:金山网络2011-2012中国互联网安全研究报告从威胁次数上看网民受钓鱼网站威胁的次数是病毒木马威胁次数的5倍以上从欺诈威胁程度上看在过年一年中,有31.8%的网民遇到过钓鱼网站或诈骗网站;保守估算,网购遭遇欺诈网民规模高达6169万。数据来源:2012年中国网站可信验证行业发展报告超过39.7%的网民损失额度
17、超过500元,其中,损失额度在500-2000元范围内的网民占比为33.4%;保守估算,每年因钓鱼网站或诈骗网站给网民造成的损失不低于308亿。网络欺詐的严重危害木马僵尸受控主机数量分布木马僵尸受控主机数量分布 (来源:(来源:CNCert 2013年年6月月14日周报)日周报)截止2013年7月份中国反钓鱼联盟累计处理钓鱼网站128881n中国反钓鱼联盟截止目前已处理超过11万个钓鱼网站n国内的淘宝网超过Paypal成为全球第一大钓鱼目标n每年因钓鱼网站给国内用户造成的308亿亿元人民币现有钓鱼网站检测方法现有钓鱼网站检测方法检检 测测 方方 法法相相 关关 描描 述述人工识别整理特征码(2
展开阅读全文