《大数据》第3章数据挖掘算法(下)课件.pptx

1、大数据BIG DATA3.1数据挖掘概述第三章数据挖掘算法3.2分类3.3聚类3.1数据挖掘概述3.5预测规模习题3.6数据挖掘算法综合应用3.4关联规则of6523.4 关联规则关联规则关联规则是数据挖掘中最活跃的研究方法之一，是指搜索业务系统中的所有细节或事务，找出所有能把一组事件或数据项与另一组事件或数据项联系起来的规则，以获得存在于数据库中的不为人知的或不能确定的信息，它侧重于确定数据中不同领域之间的联系，也是在无指导学习系统中挖掘本地模式的最普通形式。More应用市场：市场货篮分析、交叉销售（Crossing Sale）、部分分类（Partial Classification）、金融

2、服务（Financial Service），以及通信、互联网、电子商务 第三章 数据挖掘算法of6533.4 关联规则关联规则第三章 数据挖掘算法一般来说，关联规则挖掘是指从一个大型的数据集（Dataset）发现有趣的关联（Association）或相关关系（Correlation），即从数据集中识别出频繁出现的属性值集（Sets of Attribute Values），也称为频繁项集（Frequent Itemsets，频繁集），然后利用这些频繁项集创建描述关联关系的规则的过程。3.4.1 关联规则的概念关联规则挖掘问题：发现所有的频繁项集是形成关联规则的基础。通过用户给定的最小支持度，寻

3、找所有支持度大于或等于Minsupport的频繁项集。通过用户给定的最小可信度，在每个最大频繁项集中，寻找可信度不小于Minconfidence的关联规则。发现频繁项集生成关联规则如何迅速高效地发现所有频繁项集，是关联规则挖掘的核心问题，也是衡量关联规则挖掘算法效率的重要标准。of6543.4 关联规则关联规则第三章 数据挖掘算法3.4.2 频繁项集的产生及其经典算法格结构（Lattice Structure）常常被用来枚举所有可能的项集。图3-10 项集的格of6553.4 关联规则关联规则第三章 数据挖掘算法3.4.2 频繁项集的产生及其经典算法格结构（Lattice Structure）

4、常常被用来枚举所有可能的项集。查找频查找频繁项目繁项目集集经典的查找策略基于精简集的查找策略基于最大频繁项集的查找策略按照挖掘的策略不同按照挖掘的策略不同经典的挖经典的挖掘完全频掘完全频繁项集方繁项集方法法基于广度优先搜索策略的关联规则算法基于深度优先搜索策略的算法Apriori算法、DHP算法FP-Growth算法、ECLAT算法COFI算法与与经经典典查查找不找不同同方方法法基于精简集的方法基于最大频繁项目集的方法A-close算法MAFIA算法、GenMax算法DepthProject算法of6563.4 关联规则关联规则第三章 数据挖掘算法3.4.2 频繁项集的产生及其经典算法1Apr

5、iori算法算法Apriori算法基于频繁项集性质的先验知识，使用由下至上逐层搜索的迭代方法，即从频繁1项集开始，采用频繁k项集搜索频繁k+1项集，直到不能找到包含更多项的频繁项集为止。Apriori算法由以下步骤组成，其中的核心步骤是连接步和剪枝步：生成频繁1项集L1连接步剪枝步生成频繁k项集Lk重复步骤（2）（4），直到不能产生新的频繁项集的集合为止，算法中止。性能瓶颈性能瓶颈Apriori算算法是一个法是一个多趟搜索多趟搜索算法算法可能产生可能产生庞大的候庞大的候选项集选项集of6573.4 关联规则关联规则第三章 数据挖掘算法3.4.2 频繁项集的产生及其经典算法2FP-Growth算

6、法算法频繁模式树增长算法（Frequent Pattern Tree Growth）采用分而治之的基本思想，将数据库中的频繁项集压缩到一棵频繁模式树中，同时保持项集之间的关联关系。然后将这棵压缩后的频繁模式树分成一些条件子树，每个条件子树对应一个频繁项，从而获得频繁项集，最后进行关联规则挖掘。FP-Growth算法由以下步骤组成：扫描事务数据库D，生成频繁1项集L1将频繁1项集L1按照支持度递减顺序排序，得到排序后的项集L1构造FP树通过后缀模式与条件FP树产生的频繁模式连接实现模式增长1234图3-11 FP树的构造of6583.4 关联规则关联规则第三章 数据挖掘算法3.4.2 频繁项集的

7、产生及其经典算法3辛普森悖论辛普森悖论虽然关联规则挖掘可以发现项目之间的有趣关系，在某些情况下，隐藏的变量可能会导致观察到的一对变量之间的联系消失或逆转方向，这种现象就是所谓的辛普森悖论（Simpsons Paradox）。为了避免辛普森悖论的出现，就需要斟酌各个分组的权重，并以一定的系数去消除以分组数据基数差异所造成的影响。同时必须了解清楚情况，是否存在潜在因素，综合考虑。of6593.4 关联规则关联规则第三章 数据挖掘算法3.4.3 分类技术分类技术或分类法（Classification）是一种根据输入样本集建立类别模型，并按照类别模型对未知样本类标号进行标记的方法。根据所采用的分类模型

8、不同基于决策树模型的数据分类基于统计模型的数据分类基于神经网络模型的数据分类基于案例推理的数据分类基于实例的数据分类1决策树决策树决策树就是通过一系列规则对数据进行分类的过程。决策树分类算法通常分为两个步骤：构造决策树和修剪决策树。of65103.4 关联规则关联规则第三章 数据挖掘算法3.4.3 分类技术构造决策树修剪决策树根据实际需求及所处理数据的特性，选择类别标识属性和决策树的决策属性集在决策属性集中选择最有分类标识能力的属性作为决策树的当前决策节点根据当前决策节点属性取值的不同，将训练样本数据集划分为若干子集 子集中的所有元组都属于同一类。该子集是已遍历了所有决策属性后得到的。子集中的

9、所有剩余决策属性取值完全相同，已不能根据这些决策属性进一步划分子集。针对上一步中得到的每一个子集，重复进行以上两个步骤，直到最后的子集符合约束的3个条件之一根据符合条件不同生成叶子节点对决策树进行修剪，除去不必要的分枝，同时也能使决策树得到简化。常用的决策树修剪策略基于代价复杂度的修剪悲观修剪最小描述长度修剪按照修剪的先后顺序先剪枝（Pre-pruning）后剪枝（Post-pruning）of65113.4 关联规则关联规则第三章 数据挖掘算法3.4.3 分类技术2k-最近邻最近邻最临近分类基于类比学习，是一种基于实例的学习，它使用具体的训练实例进行预测，而不必维护源自数据的抽象（或模型）。

10、它采用n 维数值属性描述训练样本，每个样本代表n 维空间的一个点，即所有的训练样本都存放在n 维空间中。若给定一个未知样本，k-最近邻分类法搜索模式空间，计算该测试样本与训练集中其他样本的邻近度，找出最接近未知样本的k 个训练样本，这k 个训练样本就是未知样本的k 个“近邻”。其中的“邻近度”一般采用欧几里得距离定义：两个点 和 的Euclid距离是 。12(,)nXx xx12(,)nYy yy21(,)()niiid X Yxy最近邻分类是基于要求的或懒散的学习法，即它存放所有的训练样本，并且直到新的（未标记的）样本需要分类时才建立分类。其优点是可以生成任意形状的决策边界，能提供更加灵活的

11、模型表示。of65123.4 关联规则关联规则第三章 数据挖掘算法3.4.4 案例：保险客户风险分析1挖掘目标挖掘目标由过去大量的经验数据发现机动车辆事故率与驾驶者及所驾驶的车辆有着密切的关系，影响驾驶人员安全驾驶的主要因素有年龄、性别、驾龄、职业、婚姻状况、车辆车型、车辆用途、车龄等。因此，客户风险分析的挖掘目标就是上述各主要因素与客户风险之间的关系，等等。2数据预处理数据预处理数据准备与预处理是数据挖掘中的首要步骤，高质量的数据是获得高质量决策的先决条件。在实施数据挖掘之前，及时有效的数据预处理可以解决噪声问题和处理缺失的信息，将有助于提高数据挖掘的精度和性能。去除数据集之中的噪声数据和无

12、关数据，处理遗漏数据和清洗“脏”数据等。数据清洗处理通常包括处理噪声数据、填补遗漏数据值/除去异常值、纠正数据不一致的问题，等等。在处理完噪声数据后，就可以对数据进行转化，主要的方法有：聚集 忽略无关属性 连续型属性离散化等。数据清洗数据转化of65133.4 关联规则关联规则第三章 数据挖掘算法3.4.4 案例：保险客户风险分析3关联规则挖掘关联规则挖掘影响驾驶人员安全驾驶的主要因素年龄年龄性别性别驾驾龄龄职业职业婚姻状况婚姻状况车辆车辆车型车型车辆车辆用途用途车龄车龄其他其他根据前述关联规则的生成方法，得到挖掘出来的客户风险关联规则序号序号关联规则关联规则支持度支持度置信度置信度1驾龄（X

13、，A）被保车辆的价值（X，A）年赔付金额（X，B）0.18250.29652投保人年龄（X，A）驾龄（X，A）年赔付次数（X，B）0.16790.25713驾龄（X，B）车辆用途（X，A）年赔付金额（X，B）0.16630.33374驾龄（X，B）车辆用途（X，B）年赔付次数（X，A）0.17890.48515驾龄（X，B）被保车辆的价值（X，C）年赔付金额（X，C）0.18090.30036驾龄（X，C）车辆用途（X，B）年赔付次数（X，A）0.19940.58647驾龄（X，C）被保车辆的价值（X，C）车辆用途（X，C）年赔付次数（X，A）0.10310.66398驾龄（X，A）被保车辆的

14、价值（X，A）车辆用途（X，B）年赔付金额（X，B）0.10250.36549投保人年龄（X，B）驾龄（X，A）被保车辆的价值（X，D）年赔付金额（X，D）0.09340.454610驾龄（X，B）被保车辆的价值（X，A）车辆用途（X，A）年赔付金额（X，B）0.09680.448711投保人年龄（X，C）被保车辆的价值（X，C）车辆用途（X，C）年赔付金额（X，B）0.09090.353112投保人年龄（X，C）驾龄（X，B）被保车辆的价值（X，C）年赔付次数（X，A）0.08270.6094表3-7 客户风险关联规则详细分析所得数据，可以为公司业务提供数据支撑，针对不同客户提供偏好服务，既

15、能确保公司收益，又能给予用户更多的实惠。of65143.4关联规则3.1数据挖掘概述第三章数据挖掘算法3.2分类3.3聚类3.4关联规则习题3.6数据挖掘算法综合应用3.5预测规模of65153.5 预测模型预测模型3.5.1 预测与预测模型第三章 数据挖掘算法预测分析是一种统计或数据挖掘解决方案，包含可在结构化与非结构化数据中使用以确定未来结果的算法和技术，可为预测、优化、预报和模拟等许多其他相关用途而使用。时间序列预测是一种历史资料延伸预测，以时间序列所能反映的社会经济现象的发展过程和规律性，进行引申外推预测发展趋势的方法。从时间序列数据中提取并组建特征，仍用原有的数据挖掘框架与算法进行数

16、据挖掘将时间序列数据作为一种特殊的挖掘对象，找寻对应的数据挖掘算法进行专门研究依据研究的方式分类相似性问题挖掘时态模式挖掘依据研究的内容分类依据研究的对象分类事件序列的数据挖掘事务序列的数据挖掘数值序列的数据挖掘时间序列预测及数据挖掘分类of65163.5 预测模型预测模型3.5.1 预测与预测模型第三章 数据挖掘算法预测方案分类时间序列预测定性预测方法依据依据预测预测方法的性方法的性质质因果关系预测时间序列的统计特征1）均值函数均值函数t()ttE Xxf x dx2）自协方差函数自协方差函数,(,)()()t ststtssCov x xE xExxEx3）自相关函数）自相关函数,t st

17、 st ts sof65173.5 预测模型预测模型3.5.1 预测与预测模型第三章 数据挖掘算法1）自回归模型自回归模型2）移动平均模型移动平均模型3）自回归移动平均模型自回归移动平均模型1122tttptpixxxx 1122ttttqt qx 11221122tttptpittqt qxxxx of6518时间序列模型预测方案分类3.5 预测模型预测模型3.5.2 时间序列预测第三章 数据挖掘算法时间序列：对按时间顺序排列而成的观测值集合，进行数据的预测或预估。典型的算法：序贯模式挖掘SPMGC算法序贯模式挖掘算法SPMGC（Sequential Pattern Mining Based

18、 on General Constrains）SPMGC算法可以有效地发现有价值的数据序列模式，提供给大数据专家们进行各类时间序列的相似性与预测研究。项集间的时项集间的时间限制间限制Cgap序列持续时间序列持续时间限制限制Cduration数据数据约束约束Cdata项的约束项的约束Citem序列长度的约序列长度的约束束CLength其他约束其他约束时间序列领域约束规则of65193.5 预测模型预测模型3.5.2 时间序列预测第三章 数据挖掘算法SPMGC算法的基本处理流程扫描时间序列数据库，获取满足约束条件且长度为1的序列模式L1，以序列模式L1作为初始种子集根据长度为i-1的种子集Li-1

19、，通过连接与剪切运算生成长度为i 并且满足约束条件的候选序列模式Ci，基于此扫描序列数据库，并计算每个候选序列模式Ci 的支持数，从而产生长度为I 的序列模式Li，将Li作为新种子集在此重复上一步，直至没有新的候选序列模式或新的序列模式产生SPBGC算法首先对约束条件按照优先级进行排序，然后依据约束条件产生候选序列。SPBGC算法说明了怎样使用约束条件来挖掘序贯模式，然而，由于应用领域的不同，具体的约束条件也不尽相同，同时产生频繁序列的过程也可采用其他序贯模式算法。of65203.5 预测模型预测模型3.5.3 案例：地震预警第三章 数据挖掘算法1地震波形数据存储和计算平台地震波形数据存储和计

20、算平台南京云创大数据有限公司为山东省地震局研发了一套可以处理海量数据的高性能地震波形数据存储和计算平台，将从现有的光盘中导入地震波形数据并加以管理，以提供集中式的地震波形数据分析与地震预测功能，为开展各种地震波形数据应用提供海量数据存储管理和计算服务能力。图3-12山东省地震波测数据云平台的显示界面of65213.5 预测模型预测模型3.5.3 案例：地震预警第三章 数据挖掘算法2地震波形数据存储和计算平台的主要性能指标地震波形数据存储和计算平台的主要性能指标数据存储和处数据存储和处理指标理指标系统响应时间系统响应时间指标指标地震波形数据地震波形数据存储性能指标存储性能指标每年的原始地震波形数

21、据及相关辅助信息约为15TB，为保证数据存储的可靠性，要求采用3倍副本方式保存数据，云平台每年需要提供约45TB的总存储量，同时系统必须能实时接收和处理高达10MB/s的入库数据千兆网络环境下，局域网客户端从分布式文件存储系统中读取4096B存储内容的响应时间不高于50毫秒采用HDFS格式进行数据读取，读取性能为4080MB/s节点，数据规模10PB，数据负载均衡时间可依据流量配置而确定，集群重新启动时间按10PB规模计算达到分钟级别of65223.5 预测模型预测模型3.5.3 案例：地震预警第三章 数据挖掘算法3地震波形数据存储和计算平台的功能设计地震波形数据存储和计算平台的功能设计数据解

22、析数据解析数据入库数据入库数据存储管理数据存储管理云计算平台的数据云计算平台的数据应用接口应用接口数据异地修复数据异地修复of65233.5 预测模型预测模型3.5.3 案例：地震预警第三章 数据挖掘算法4平台的组成、总体构架与功能模块平台的组成、总体构架与功能模块图3-13 地震波形数据云平台总体构架与功能模块of65243.5 预测模型预测模型3.5.3 案例：地震预警第三章 数据挖掘算法5地震中的时间序列预测地震中的时间序列预测地震预测的主要手段也就是对地震序列进行特征研究。通过对地震序列的特征研究，可以帮助判断某大地震发生后地质活动的规律，掌握一定区域内地震前后震级次序间的某种内在关联

23、性，有利于判断次地震发生后，震区地质活动的客观趋势1）地震数据收集和预处理）地震数据收集和预处理采用SPBGC算法，预处理的流程步骤具体如下：设定地震序列的空间跨度，并划分震级标准M依据地震目录数据库，将震级大于或等于震级标准M的地震信息存入大地震文件获取大地震文件中的每一条记录E，并取得震级M与震中所在位置G扫描地震目录数据，对每一地震记录E，均判断当前地震位置与震中G的距离是否满足设定的空间跨度。如果满足空间跨度，则将该记录标注为与震中等同的序列号，同时将震中为圆心的区域范围内地震的次数加l；否则继续处理下一条地震记录大地震文件处理完毕后，该阶段地震数据收集和预处理阶段结束of65253.

24、4关联规则3.1数据挖掘概述第三章数据挖掘算法3.2分类3.3聚类3.5预测规模习题3.4关联规则3.6数据挖掘算法综合应用of65263.6数据挖掘算法综合应用数据挖掘算法综合应用3.6.1 案例分析：精确营销中的关联规则应用数据挖掘在各领域的应用非常广泛，只要该产业拥有具备分析价值与需求的数据仓储或数据库，都可以利用挖掘工具进行有目的的挖掘分析。一般较常见的应用案例多发生在零售业、制造业、财务金融保险、通信业及医疗服务等。？如何通过交叉销售，得到更大的收入？如何通过交叉销售，得到更大的收入？如何在销售数据中发掘顾客的消费习性，并由交易记录找如何在销售数据中发掘顾客的消费习性，并由交易记录找

25、出顾客偏好的产品组合？出顾客偏好的产品组合？如何找出流失顾客的特征与推出新产品的时机如何找出流失顾客的特征与推出新产品的时机点点？通过关联规则挖掘来发现和捕捉数据间隐藏的重要关联，从而为产品营销提供技术支撑。第三章 数据挖掘算法of65273.6数据挖掘算法综合应用数据挖掘算法综合应用3.6.2 挖掘目标的提出第三章 数据挖掘算法电子商务网站中的商品推荐为例客户忠诚度客户忠诚度影影响响因因素素其他因素其他因素：如如社会文化、国家政策等社会文化、国家政策等客户自身原因客户自身原因企业原因企业原因数据挖掘技术可以建立客户忠诚度分析模型，了解哪些因素对客户的忠诚度有较大的影响，从而采取相应措施。因此

26、，基于数据挖掘技术的客户忠诚度分析具有重要的应用价值。of65283.6数据挖掘算法综合应用数据挖掘算法综合应用3.6.3 分析方法与过程第三章 数据挖掘算法图3-14 电子商务网站操作流程of65293.6数据挖掘算法综合应用数据挖掘算法综合应用3.6.3 分析方法与过程第三章 数据挖掘算法在电子商务系统中，忠诚度分析所需要的客户信息和交易信息分别存放在网站数据库的客户表、订单表及订单明细表中。将客户的忠诚度分为4个等级：0忠诚；1由忠诚变为不忠诚；2由不忠诚变为忠诚；3不忠诚。客户编号客户编号性别性别年龄年龄（岁）（岁）教育教育程度程度距最近一次购买距最近一次购买时间（天）时间（天）月均月

27、均购买购买频率频率已消费已消费金额金额忠诚度级忠诚度级别别20120001男男40大专大专53.4801.6020120002女女28本科本科111.9246.31表3-9 经抽取而成的客户信息表所得到的用户数据很难做到完整全面，用户在注册时可能选择不填注册信息的几项，造成数据项空缺。对于空缺的数据项，要视情况排除或填入默认值。按照一般的统计划分经验来对属性值进行分段，实现离散化。of65303.6数据挖掘算法综合应用数据挖掘算法综合应用3.6.3 分析方法与过程第三章 数据挖掘算法客户编号客户编号性别性别年龄（岁）年龄（岁）教育教育程度程度距最近一次购买距最近一次购买时间（天）时间（天）月均

28、购买月均购买频率频率已消费金额已消费金额（元）（元）忠诚度级忠诚度级别别20120001男男3040大专大专010248001000020120002女女2030本科本科10200205001表3-10 经离散变换后的客户信息表本案例采用基于信息论的ID3决策树分类算法进行客户忠诚度分析。客户群细分使得公司可以更好地识别不同的客户群体，区别对待不同客户，采取不同的客户策略，达到最优化配置客户资源的目的。使用聚类算法进行客户群，数据项处理过程主要将这些表内反映客户身份背景、购买兴趣度等相关信息提取出来，并加以清理，除去噪声数据，对信息不完全的数据填入默认值或舍去，进行必要的离散化变换。of653

29、13.6数据挖掘算法综合应用数据挖掘算法综合应用3.6.3 分析方法与过程第三章 数据挖掘算法客户编号客户编号性别性别年龄（岁）年龄（岁）教育教育程度程度类别类别1购买量购买量类别类别2购买量购买量类别类别49购买量购买量20120001男男3040大专大专0176120120002女女2030本科本科2310表3-11 客户兴趣度表商品推荐是电子商务网站用来向访问网站的顾客提供商品信息和建议，并模拟销售人员帮助顾客完成购买过程。它是利用数据挖掘技术在电子商务网站中来帮助顾客访问有兴趣的产品信息。推荐可以是根据其他客户的信息或此客户的信息，参照该顾客以往的购买行为预测未来的购买行为，帮助用户从

30、庞大的商品目录中挑选真正适合自己需要的商品。推荐技术在帮助了客户的同时也提高了顾客对网站的满意度，换来对商务网站的进一步支持。of65321依据研究的方式分类，可将时间序列预测与挖掘分为哪些类？2根据预测方法的性质将预测方法分为哪些类？各有何优缺点？3时序预测方面典型的算法有哪些？各有什么特点？4什么是序贯模式挖掘SPMGC算法？5时间序列预测方法分哪几类？主要适用领域是哪些？习题：习题：感谢聆听树立质量法制观念、提高全员质量意识。22.9.2622.9.26Monday,September 26,2022人生得意须尽欢，莫使金樽空对月。17:04:1217:04:1217:049/26/20

31、22 5:04:12 PM安全象只弓，不拉它就松，要想保安全，常把弓弦绷。22.9.2617:04:1217:04Sep-2226-Sep-22加强交通建设管理，确保工程建设质量。17:04:1217:04:1217:04Monday,September 26,2022安全在于心细，事故出在麻痹。22.9.2622.9.2617:04:1217:04:12September 26,2022踏实肯干，努力奋斗。2022年9月26日下午5时4分22.9.2622.9.26追求至善凭技术开拓市场，凭管理增创效益，凭服务树立形象。2022年9月26日星期一下午5时4分12秒17:04:1222.9.2

32、6严格把控质量关，让生产更加有保障。2022年9月下午5时4分22.9.2617:04September 26,2022作业标准记得牢，驾轻就熟除烦恼。2022年9月26日星期一17时04分12秒17:04:1226 September 2022好的事情马上就会到来，一切都是最好的安排。下午5时4分12秒下午5时4分17:04:1222.9.26一马当先，全员举绩，梅开二度，业绩保底。22.9.2622.9.2617:0417:04:1217:04:12Sep-22牢记安全之责，善谋安全之策，力务安全之实。2022年9月26日星期一17时04分12秒Monday,September 26,2022相信相信得力量。22.9.262022年9月26日星期一17时04分12秒22.9.26谢谢大家！谢谢大家！