大数据时代下的数据挖掘简易课件.ppt

1、大数据时代 生活、工作与思维的大变革Living,working and thinking big changes 大数据开启了一次重大的时代转型。就想望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发一场生活、工作与思维的大变革一场生活、工作与思维的大变革1.大数据，变革公共卫生2.大数据，变革商业3.大数据，变革思维4.大数据，开启重大的时代转型5.预测，大数据的核心6.大数据，大挑战什么是大数据2009年，甲型H1N1流感在全球爆发传播，为了发现和控制疫情，各国政府和卫生相关部门付出了巨大

2、努力，但得到的数据仍然滞后一两周，而Google对人们的搜索的历史记录进行处理，建立合理的数学模型后，得到的预测结果与官方的数据相关性高达97%，能够立刻判断出流感是从哪里传播出来的，没有一两周的滞后。Google处理了5000万条历史记录、4.5亿个不同的数学模型。什么是大数据Farecast是一个对机票价格进行预测的公司，帮助消费者抓住最佳购买机票的时机，使乘客节省很多钱。最初预测系统建立在41天之内的12000个价格样本基础上，数据是从旅游网站上抓取的，如今已经拥有超过2000亿条飞行记录。系统只推测机票的价格何时最便宜，不关心是什么原因导致的价格下降。FarecastBing大数据的特

3、性大数据大数据的特性的特性大数据时代的思维变革大数据时代的商业变革大数据时代的管理变革一、大数据时代的思维变革一、大数据时代的思维变革更多“更多”不是随机样本，而是全体数据 当数据处理技术已经发生翻天覆地的变化时，在大数据时代进行抽样分析就像在汽车时代骑马一样。一切都改变了，我们需要的是所有的数据，“样本总体”。让数据“发声”小数据时代的随机采样，最少的数据获得最多的信息全数据模式，样本总体一、大数据时代的思维变革更杂“更杂”不是精确性，而是混杂性 执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是有框架且能适用于传统数据库的。如果不能接受混乱，剩下95%的非框架数据都无法被利用，只

4、有接受不精确性，我们才能打开一扇从未涉足的世界的窗户。允许不精确大数据的简单算法比小数据的复杂算法更有效纷繁的数据越多越好混杂性，不是竭力避免，而是标准途径新的数据库设计的诞生一、大数据时代的思维变革更好“更好”不是因果关系，而是相关关系 知道“是什么”就够了，没必要知道“为什么”。在大数据时代，我们不必非得知道现象背后的原因，而是要让数据自己“发声”。关联物，预测的关键“是什么”，而不是“为什么”改变，从操作方式开始大数据，改变人类探索世界的方法二、大数据时代的商业变革二、大数据时代的商业变革数据化“数据化”一切皆可“量化”大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。信息技术变

5、革随处可见，但是如今信息技术变革的重点在“T”（技术）上，而不是在“I”(信息）上。现在，我们是时候把聚光灯打向“I”，开始关注信息本身了。数据，从最不可能的地方提取出来数据化，不是数字化量化一切，数据化的核心当文字变成数据当方位变成数据当沟通成为数据一切事物的数据化二、大数据时代的商业变革价值“价值”“取之不尽，用之不竭”的数据创新 数据就像一个神奇的钻石矿，当它的首要价值被发掘后仍能不断给予。它的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，而绝大部分都隐藏在表面之下。数据创新1：数据的再利用数据创新2：重组数据数据创新3：可扩展数据数据创新4：数据的折旧值数据创新5：数据废气

6、数据创新6：开放数据给数据估值二、大数据时代的商业变革角色定位“角色定位”数据、技术与思维的三足鼎立 微软以1.1亿美元的价格购买了大数据公司Farecast，而两年后谷歌则以7亿美元的价格购买了给Farecast提供数据的ITA Software公司。如今，我们正处在大数据时代的早期，思维和技术是最有价值的，但是最终大部分价值还是必须从数据本身来挖掘。大数据价值的3大构成大数据掌控公司大数据技术公司大数据思维公司和个人全新的数据中间商专家的消亡与数据科学家的崛起大数据，决定企业的竞争力三、大数据时代的管理变革二、大数据时代的管理变革风险“风险”让数据主宰一切的隐忧 我们时刻都暴露在“第三只眼

7、”之下：亚马逊监视着我们的购物习惯，谷歌监视着我们的网页浏览习惯，而微博似乎什么都知道，不仅窃听到了我们心中的“TA”，还有我们的社交关系网。无处不在的“第三只眼”我们的隐私被二次利用了预测与惩罚，不是因为“所做”，而是因为“将做”数据独裁挣脱大数据的困境二、大数据时代的管理变革掌控“掌控”责任与自由并举的信息管理 当世界开始迈向大数据时代时，社会也将经历类似的地壳运动。在改变人类基本的生活与思考方式的同时，大数据早已在推动人类信息管理准则上重新定位。然而，不同于印刷革命，我们没有几个世纪的时间去适应，我们也许只有几年时间。管理变革1：个人隐私保护，从个人许可到让数据使用者承担责任管理变革2：

8、个人动因VS预测分析管理变革3：击碎黑盒子，大数据程序员的崛起管理变革4：反数据垄断大亨结 语正在发生的未来大数据并不是一个充斥着算法和机器的冰冷世界，人类的作用依然无法被完全替代。大数据为我们提供的不是最终答案，只是参考答案，帮助是暂时的，而更好的方法和答案还在不久的未来。大数据时代下的数据挖掘 Contents数据挖掘简介数据挖掘简介1数据挖掘分类数据挖掘分类2成功案例成功案例3总结与展望总结与展望4数据挖掘简介数据挖掘简介产生背景 随着数据库技术的飞速发展，快速增长的海量数据收集、存放在大量数据储存库中 理解他们已经远远超出人的能力 数据坟墓难得再访问的数据档案 数据丰富，但信息缺乏如何

9、利用大量数据如何利用大量数据数据挖掘定义v从大量的、不完全的、有噪声的、随机的数据中提取含在其中的、人们事先不知道的、有用的信息和知识的过程。v功能的广义观点：从存放在数据库、数据仓库或其他信息库中的大量数据中发现知识的过程v数据挖掘是一个新兴、交叉学科领域演变历程演变历程数据仓库 提取信息和知识数据挖掘数据库原始文件原始文件处理原始文件处理纸张纸张界面、查询界面、查询硬盘硬盘联机分析处理联机分析处理各个数据库各个数据库各种媒体各种媒体20世纪60年代前20世纪60年代20世纪80年代现在现在 数据挖掘受多学科的影响数据挖掘受多学科的影响统计学数据库技术信息科学其他学科机器学习数据挖掘步骤数据

10、挖掘步骤结果解释和评估数据挖掘算法执行数据收集数据收集和与处理和与处理问题定义数据挖掘分类数据挖掘分类离群点离群点分析分析分类分类分析分析聚类聚类分析分析关联关联分析分析时间时间序列序列数据挖掘数据挖掘分类分析：找出描述和区分数据类或概念的模型，以便能够使模型预测未知的对象类常用方法：分类规则；决策树；神经网络；聚类分析：根据最大化类内部的相似性、最小化类之间的相似性的原则进行聚类或分组常用算法：K-MEAMS；分层凝聚发；估算最大值法关联分析：发现数据库中不同项之间的联系常用方法：Apriori；MAQA;IUA;时间序列分析：描述行为随时间变化的对象的规律或趋势，并对其建模匹配方法：ARM

11、A模型离群点分析：检测和分析离群点离群点：与数据的一般行为或模型不一致的点成功案例成功案例啤酒加尿布地点：沃尔玛在美国加州的某连锁店起因：每天销售信息和顾客基本情况的数据库中发现购买婴儿尿布的顾客多是男性，而且往往也同时购买啤酒经过：重新布置货架，把啤酒类商品布置在婴儿尿布货架附近，并在两者之间放上土豆之类的佐酒小食品和男性生活用品结果：上述几种商品销量大增总结与展望总结与展望现状：作为一个新兴的研究领域，数据挖掘已经取得了广泛和重大进展。应用到众多领域，出现了大量的商品化数据挖掘系统发展方向：对现有方法进一步改进，研究发展数据挖掘语言的标准化，可视化方法和处理复杂数据类型的新方法目前面临困难

12、：成功案例少，中小企业需求少，人才稀缺。历史岳麓版第13课交通与通讯的变化资料精品课件欢迎使用自读教材自读教材填要点填要点 一、铁路，更多的铁路一、铁路，更多的铁路 1地位地位 铁路是铁路是 建设的重点，便于国计民生，成为国民经济建设的重点，便于国计民生，成为国民经济发展的动脉。发展的动脉。2出现出现 1881年，中国自建的第一条铁路年，中国自建的第一条铁路唐山唐山 至胥各庄铁至胥各庄铁路建成通车。路建成通车。1888年，年，宫廷宫廷专用铁路落成。专用铁路落成。交通运输交通运输开平开平 3发展发展 (1)原因：原因：甲午战争以后列强激烈争夺在华铁路的甲午战争以后列强激烈争夺在华铁路的 。修路成

13、为中国人修路成为中国人 的强烈愿望。的强烈愿望。(2)成果：成果：1909年年 建成通车；民国以后，各条商路修筑建成通车；民国以后，各条商路修筑权收归国有。权收归国有。4制约因素制约因素 政潮迭起，军阀混战，社会经济凋敝，铁路建设始终未入政潮迭起，军阀混战，社会经济凋敝，铁路建设始终未入正轨。正轨。修筑权修筑权救亡图存救亡图存京张铁路京张铁路 二、水运与航空二、水运与航空 1水运水运 (1)1872年年,正式成立，标志着中国新式航运业的诞生。正式成立，标志着中国新式航运业的诞生。(2)1900年前后，民间兴办的各种轮船航运公司近百家，几乎都是年前后，民间兴办的各种轮船航运公司近百家，几乎都是在

14、列强排挤中艰难求生。在列强排挤中艰难求生。2航空航空 (1)起步：起步：1918年，附设在福建马尾造船厂的海军飞机工程处开始年，附设在福建马尾造船厂的海军飞机工程处开始研制研制 。(2)发展：发展：1918年，北洋政府在交通部下设年，北洋政府在交通部下设“”；此后十年间，航空事业获得较快发展。；此后十年间，航空事业获得较快发展。轮船招商局轮船招商局水上飞机水上飞机筹办航空事宜筹办航空事宜处处 三、从驿传到邮政三、从驿传到邮政 1邮政邮政 (1)初办邮政：初办邮政：1896年成立年成立“大清邮政局大清邮政局”，此后又设，此后又设 ，邮传正式脱离海关。邮传正式脱离海关。(2)进一步发展：进一步发展

15、：1913年，北洋政府宣布裁撤全部驿站；年，北洋政府宣布裁撤全部驿站；1920年，中国首次参加年，中国首次参加 。邮传部邮传部万国邮联大会万国邮联大会 2电讯电讯 (1)开端：开端：1877年，福建巡抚在年，福建巡抚在 架设第一条电报线，成为中国自架设第一条电报线，成为中国自办电报的开端。办电报的开端。(2)特点：进程曲折，发展缓慢，直到特点：进程曲折，发展缓慢，直到20世纪世纪30年代情况才发生变年代情况才发生变化。化。3交通通讯变化的影响交通通讯变化的影响 (1)新式交通促进了经济发展，改变了人们的通讯手段和新式交通促进了经济发展，改变了人们的通讯手段和 ，转变了人们的思想观念。转变了人们

16、的思想观念。(2)交通近代化使中国同世界的联系大大增强，使异地传输更为便交通近代化使中国同世界的联系大大增强，使异地传输更为便捷。捷。(3)促进了中国的经济与社会发展，也使人们的生活促进了中国的经济与社会发展，也使人们的生活 。台湾台湾出行出行方式方式多姿多彩多姿多彩合作探究合作探究提认知提认知 电视剧电视剧闯关东闯关东讲述了济南章丘朱家峪人朱开山一家，讲述了济南章丘朱家峪人朱开山一家，从清末到九一八事变爆发闯关东的前尘往事。下图是朱开山从清末到九一八事变爆发闯关东的前尘往事。下图是朱开山一家从山东辗转逃亡到东北途中可能用到的四种交通工具。一家从山东辗转逃亡到东北途中可能用到的四种交通工具。依

17、据材料概括晚清中国交通方式的特点，并分析其成因。依据材料概括晚清中国交通方式的特点，并分析其成因。提示：提示：特点：新旧交通工具并存特点：新旧交通工具并存(或：传统的帆船、独轮车，或：传统的帆船、独轮车，近代的小火轮、火车同时使用近代的小火轮、火车同时使用)。原因：近代西方列强的侵略加剧了中国的贫困，阻碍社会发原因：近代西方列强的侵略加剧了中国的贫困，阻碍社会发展；西方工业文明的冲击与示范；中国民族工业的兴起与发展；展；西方工业文明的冲击与示范；中国民族工业的兴起与发展；政府及各阶层人士的提倡与推动。政府及各阶层人士的提倡与推动。串点成面串点成面握全局握全局 一、近代交通业发展的原因、特点及影

18、响一、近代交通业发展的原因、特点及影响 1原因原因 (1)先进的中国人为救国救民，积极兴办近代交通业，促先进的中国人为救国救民，积极兴办近代交通业，促进中国社会发展。进中国社会发展。(2)列强侵华的需要。为扩大在华利益，加强控制、镇压列强侵华的需要。为扩大在华利益，加强控制、镇压中国人民的反抗，控制和操纵中国交通建设。中国人民的反抗，控制和操纵中国交通建设。(3)工业革命的成果传入中国，为近代交通业的发展提供工业革命的成果传入中国，为近代交通业的发展提供了物质条件。了物质条件。2特点特点 (1)近代中国交通业逐渐开始近代化的进程，铁路、水运和近代中国交通业逐渐开始近代化的进程，铁路、水运和航空

19、都获得了一定程度的发展。航空都获得了一定程度的发展。(2)近代中国交通业受到西方列强的控制和操纵。近代中国交通业受到西方列强的控制和操纵。(3)地域之间的发展不平衡。地域之间的发展不平衡。3影响影响 (1)积极影响：促进了经济发展，改变了人们的出行方式，积极影响：促进了经济发展，改变了人们的出行方式，一定程度上转变了人们的思想观念；加强了中国与世界各地的一定程度上转变了人们的思想观念；加强了中国与世界各地的联系，丰富了人们的生活。联系，丰富了人们的生活。(2)消极影响：有利于西方列强的政治侵略和经济掠夺。消极影响：有利于西方列强的政治侵略和经济掠夺。1李鸿章李鸿章1872年在上海创办轮船招商局

20、，年在上海创办轮船招商局，“前前10年盈和，成年盈和，成为长江上重要商局，招商局和英商太古、怡和三家呈鼎立为长江上重要商局，招商局和英商太古、怡和三家呈鼎立之势之势”。这说明该企业的创办。这说明该企业的创办()A打破了外商对中国航运业的垄断打破了外商对中国航运业的垄断B阻止了外国对中国的经济侵略阻止了外国对中国的经济侵略C标志着中国近代化的起步标志着中国近代化的起步D使李鸿章转变为民族资本家使李鸿章转变为民族资本家解析：解析：李鸿章是地主阶级的代表，并未转化为民族资本家；李鸿章是地主阶级的代表，并未转化为民族资本家；洋务运动标志着中国近代化的开端，但不是具体以某个企业洋务运动标志着中国近代化的

21、开端，但不是具体以某个企业的创办为标志；洋务运动中民用企业的创办在一定程度上抵的创办为标志；洋务运动中民用企业的创办在一定程度上抵制了列强的经济侵略，但是并未能阻止其侵略。故制了列强的经济侵略，但是并未能阻止其侵略。故B、C、D三项表述都有错误。三项表述都有错误。答案：答案：A 二、近代以来交通、通讯工具的进步对人们社会生活的影二、近代以来交通、通讯工具的进步对人们社会生活的影响响 (1)交通工具和交通事业的发展，不仅推动各地经济文化交交通工具和交通事业的发展，不仅推动各地经济文化交流和发展，而且也促进信息的传播，开阔人们的视野，加快流和发展，而且也促进信息的传播，开阔人们的视野，加快生活的节

22、奏，对人们的社会生活产生了深刻影响。生活的节奏，对人们的社会生活产生了深刻影响。(2)通讯工具的变迁和电讯事业的发展，使信息的传递变得通讯工具的变迁和电讯事业的发展，使信息的传递变得快捷简便，深刻地改变着人们的思想观念，影响着人们的社快捷简便，深刻地改变着人们的思想观念，影响着人们的社会生活。会生活。2清朝黄遵宪曾作诗曰：清朝黄遵宪曾作诗曰：“钟声一及时，顷刻不少留。虽钟声一及时，顷刻不少留。虽有万钧柁，动如绕指柔。有万钧柁，动如绕指柔。”这是在描写这是在描写 ()A电话电话 B汽车汽车C电报电报 D火车火车解析：解析：从从“万钧柁万钧柁”“动如绕指柔动如绕指柔”可推断为火车。可推断为火车。答

23、案：答案：D典题例析典题例析 例例1上海世博会曾吸引了大批海内外人士利用各种上海世博会曾吸引了大批海内外人士利用各种交通工具前往参观。然而在交通工具前往参观。然而在19世纪七十年代，江苏沿江世纪七十年代，江苏沿江居民到上海，最有可能乘坐的交通工具是居民到上海，最有可能乘坐的交通工具是()A江南制造总局的汽车江南制造总局的汽车 B洋人发明的火车洋人发明的火车 C轮船招商局的轮船轮船招商局的轮船 D福州船政局的军舰福州船政局的军舰 解析解析由材料信息由材料信息“19世纪七十年代，由江苏沿江居民世纪七十年代，由江苏沿江居民到上海到上海”可判断最有可能是轮船招商局的轮船。可判断最有可能是轮船招商局的轮

24、船。答案答案C题组冲关题组冲关1中国近代史上首次打破列强垄断局面的交通行业是中国近代史上首次打破列强垄断局面的交通行业是()A公路运输公路运输 B铁路运输铁路运输C轮船运输轮船运输 D航空运输航空运输解析：解析：根据所学根据所学1872年李鸿章创办轮船招商局，这是洋务年李鸿章创办轮船招商局，这是洋务运动中由军工企业转向兼办民用企业、由官办转向官督商运动中由军工企业转向兼办民用企业、由官办转向官督商办的第一个企业。具有打破外轮垄断中国航运业的积极意办的第一个企业。具有打破外轮垄断中国航运业的积极意义，这在一定程度上保护了中国的权利。据此本题选义，这在一定程度上保护了中国的权利。据此本题选C项。项

25、。答案：答案：C2.右图是右图是1909年年民呼日报民呼日报上登载的上登载的一幅漫画，其要表达的主题是一幅漫画，其要表达的主题是()A帝国主义掠夺中国铁路权益帝国主义掠夺中国铁路权益B西方国家学习中国文化西方国家学习中国文化C西方列强掀起瓜分中国狂潮西方列强掀起瓜分中国狂潮D西方八国组成联军侵略中国西方八国组成联军侵略中国解析：解析：从图片中可以了解到各国举的灯笼是火车形状，从图片中可以了解到各国举的灯笼是火车形状，20世纪初的这一幅漫画正反映了帝国主义掠夺中国铁路世纪初的这一幅漫画正反映了帝国主义掠夺中国铁路权益。权益。B项说法错误，项说法错误，C项不能反映漫画的主题，项不能反映漫画的主题，

26、D项时项时间上不一致。间上不一致。答案：答案：A典题例析典题例析 例例2(2010福建高考福建高考)上海是近代中国茶叶的一个外销上海是近代中国茶叶的一个外销中心。中心。1884年，福建茶叶市场出现了茶叶收购价格与上海出年，福建茶叶市场出现了茶叶收购价格与上海出口价格同步变动的现象。与这一现象直接相关的近代事业是口价格同步变动的现象。与这一现象直接相关的近代事业是 ()A电报业电报业 B大众报业大众报业 C铁路交通业铁路交通业 D轮船航运业轮船航运业 解析解析材料主要反映了信息交流的快捷，故选材料主要反映了信息交流的快捷，故选A。答案答案A题组冲关题组冲关3假如某爱国实业家在假如某爱国实业家在2

27、0世纪初需要了解全国各地商业信世纪初需要了解全国各地商业信息，可采用的最快捷的方式是息，可采用的最快捷的方式是 ()A乘坐飞机赴各地了解乘坐飞机赴各地了解 B通过无线电报输送讯息通过无线电报输送讯息C通过互联网通过互联网 D乘坐火车赴各地了解乘坐火车赴各地了解解析：解析：本题考查中国近代物质生活的变迁。注意题干信本题考查中国近代物质生活的变迁。注意题干信息息“20世纪初世纪初”“最快捷的方式最快捷的方式”，因此应选，因此应选B，火车速度，火车速度远不及电报快。远不及电报快。20世纪世纪30年代民航飞机才在中国出现，年代民航飞机才在中国出现，互联网出现在互联网出现在20世纪世纪90年代。年代。答

28、案：答案：B4下列不属于通讯工具变迁和电讯事业发展影响的是下列不属于通讯工具变迁和电讯事业发展影响的是()A信息传递快捷简便信息传递快捷简便B改变着人们的思想观念改变着人们的思想观念C阻碍了人们的感情交流阻碍了人们的感情交流D影响着人们的社会生活影响着人们的社会生活解析：解析：新式通讯工具方便快捷，便于人们感情的沟通和交流。新式通讯工具方便快捷，便于人们感情的沟通和交流。答案：答案：C关键词关键词交通和通讯不断进步、辛亥革命和国民大革命顺应交通和通讯不断进步、辛亥革命和国民大革命顺应 时代潮流时代潮流图说历史图说历史主旨句归纳主旨句归纳(1)近代交通由传统的人力工具逐渐演变为近代交通由传统的人

29、力工具逐渐演变为 机械动力牵引的新式交通工具，火车、机械动力牵引的新式交通工具，火车、汽车、电车、轮船、飞机先后出现。汽车、电车、轮船、飞机先后出现。(2)通讯工具由传统的邮政通信发展为先进通讯工具由传统的邮政通信发展为先进 的电讯工具，有线电报、电话、无线电的电讯工具，有线电报、电话、无线电 报先后发明。报先后发明。(3)近代以来，交通、通讯工具的进步，推近代以来，交通、通讯工具的进步，推 动了经济与社会的发展。动了经济与社会的发展。关键词关键词交通和通讯不断进步、辛亥革命和国民大革命顺应交通和通讯不断进步、辛亥革命和国民大革命顺应时时 代潮流代潮流图说历史图说历史主旨句归纳主旨句归纳(1)

30、1911年，革命党人发动武昌起义，辛亥年，革命党人发动武昌起义，辛亥革命革命 爆发，随后建立了中华民国，颁布了爆发，随后建立了中华民国，颁布了中中华华 民国临时约法民国临时约法；辛亥革命是中国近代化；辛亥革命是中国近代化进进 程的里程碑。程的里程碑。(2)1924年国民党年国民党“一大一大”召开，标志着第召开，标志着第 一一次次 国共国共 合作正式实现，国民大革命兴起。合作正式实现，国民大革命兴起。(3)1926年国民革命军出师北伐，连克武昌、年国民革命军出师北伐，连克武昌、九九 江，直捣南京、上海，取得巨大成功。江，直捣南京、上海，取得巨大成功。关键词关键词交通和通讯不断进步、辛亥革命和国民

31、大革命顺应交通和通讯不断进步、辛亥革命和国民大革命顺应时时 代潮流代潮流图说历史图说历史主旨句归纳主旨句归纳(1)20世纪初，孙中山提出世纪初，孙中山提出“民族、民权、民族、民权、民生民生”三民主义，成为以后辛亥革命三民主义，成为以后辛亥革命的的 指导思想。指导思想。(2)三民主义没有明确提出反帝要求，也三民主义没有明确提出反帝要求，也没没 有提出废除封建土地制度，是一个不有提出废除封建土地制度，是一个不彻彻 底的资产阶级革命纲领。底的资产阶级革命纲领。(3)1924年，孙中山将三民主义发展为新年，孙中山将三民主义发展为新三三 民主义，明确提出了反帝要求，它成民主义，明确提出了反帝要求，它成为为 第一次国共合作的政治基础和国民大第一次国共合作的政治基础和国民大革革 命的旗帜。命的旗帜。