第3章分类《数据挖掘》课件.pptx

1、第三章分类of561高级大数据人才培养丛书之一，大数据挖掘技术与应用 分类是一种很重要的数据挖掘技术，也是数据挖掘研究的重点和热点之一。分类的目的是分析输入数据，通过训练集中的数据表现出来的特性，为每一个类找到一种准确描述或者模型，这种描述常常用谓词来表示。由此生成的类描述用来对未来的测试数据进行分类。尽管这些未来测试数据的类标签是未知的，仍可以由此预测这些新数据所属的类。也可以由此对数据中每一个类有更好的理解。More应用市场：医疗诊断、人脸检测、故障诊断和故障预警 3.1基本概念第三章分类3.2决策树3.3贝叶斯分类3.5实战：决策树算法在Weka中的实现习题3.4支持向量机of562高级

2、大数据人才培养丛书之一，大数据挖掘技术与应用 分类（Classification）是一种重要的数据分析形式，它提取刻画重要数据类的模型。这种模型称为分类器，预测分类的（离散的、无序的）类标号。这些类别可以用离散值表示，其中值之间的次序没有意义。3.1.1 分类的基本概念of5633.1 基本概念基本概念第三章 分类 分类也可定义为：分类的任务就是通过学习得到一个目标函数(Target Function)，把每个属性集x映射到一个预先定义的类标号y。数据分类过程有两阶段：（1）学习阶段（构建分类模型）。（2）分类阶段（使用模型预测给定数据的类标号）。3.1.2 分类的过程of5643.1 基本概

3、念基本概念第三章 分类建立分类模型的一般方法 分类器的性能和所选择的训练集和测试集有着直接关系。一般情况下，先用一部分数据建立模型，然后再用剩下的数据来测试和验证这个得到的模型。如果使用相同的训练集和测试集，那么模型的准确度就很难使人信服。保持法和交叉验证是两种基于给定数据随机选样划分的，是常用的评估分类方法准确率的技术。3.1.3 分类器性能的评估方法of5653.1 基本概念基本概念第三章 分类63.2决策树第三章分类3.1基本概念3.3贝叶斯分类3.5实战：决策树算法在Weka中的实现习题3.4支持向量机of566高级大数据人才培养丛书之一，大数据挖掘技术与应用7 决策树（Decisio

4、n Tree）是一种类似于流程图的树结构，其中每个内部节点（非树叶节点）表示在属性上的测试，每个分支表示该测试上的一个输出，而每个树叶节点存放一个类标号，树的最顶层节点是根节点。决策树生成方式一般情况下都是由上而下的。每次不同的事件或决策都有可能引发至少两个以上的事件，形成不同的结果，这种决策方法用图形表示出来很像一棵树，所以称之为决策树。决策树是一种简单且广泛使用的分类器。通过训练数据来构建决策树，可高效地对未知的数据进行分类。3.2.1 决策树概述of5673.2 决策树决策树第三章 分类 决策树是数据挖掘的有力工具之一，决策树学习算法是从一组样本数据集（一个样本数据也可以称为实例）为基础

5、的一种归纳学习算法，它着眼于从一组无次序、无规则的样本数据（概念）中推理出决策树表示形式的分类规则。8 基于决策树的决策算法是属于实用性很好的总结预测算法之一，是一个趋近于非连续型函数值的算法。决策树在各行各业有着非常多的广泛应用，如在医院的临床决策、人脸检测、故障诊断、故障预警、医疗数据挖掘、案例分析、分类预测的软件系统等方面都有很大的用处。决策树的最佳用途是图解说明如何领会决策与相关事件的相互作用。3.2.2 决策树的用途和特性of5683.2 决策树决策树第三章 分类9 决策树是通过一系列规则对数据进行分类的过程。它提供一种在什么条件下会得到什么值的类似规则的方法。决策树分为分类树和回归

6、树两种，分类树对离散变量做决策树，回归树对连续变量做决策树。直观看，决策树分类器就像判断模块和终止块组成的流程图，终止块表示分类结果（也就是树的叶子）。判断模块表示对一个特征取值的判断（该特征有几个值，判断模块就有几个分支）。3.2.3 决策树工作原理of5693.2 决策树决策树第三章 分类买电脑的决策树1010 上图表示了一个关心电子产品的用户是否会购买电脑，用它可以预测某条记录（某个人）的购买意向。树中包含了三种节点：根节点（root rode），它没有入边，但有两条或多条出边。子节点（child node），恰有一条入边和两条或多条出边。叶节点（leaf node）或终节点（termi

7、nal node），恰有一条入边，但没有出边。在决策树中，每个叶节点都赋予一个类标号。非终节点（包括根节点和内部节点）包含属性测试条件，用以分开具有不同特性的记录。这棵决策树对销售记录进行分类，指出一个电子产品消费者是否会购买一台计算机。每个内部节点（方形框）代表对某个属性的一次检测。每个叶节点（椭圆框）代表一个类。of56103.2 决策树决策树第三章 分类1111 决策树分类算法应用的完整流程应包含建树和应用。建树是从经验数据中获取知识，进行机器学习，建立模型或者构造分类器，是决策树算法的工作重点，通常又将其分为建树和剪枝两个部分。决策树构建的基本步骤如下：1.开始，所有记录看作一个节点。

8、2.遍历每个变量的每一种分割方式，找到最好的分割点。3.分割成多个节点N1，N2，,Nm（m的数量与当前的属性相关）。4.对N1，N2，,Nm分别继续执行23步，直到每个节点足够“纯”为止。（“纯”的含义是要么全部是“是”，要么全部是“否”）。3.2.4 决策树构建步骤of56113.2 决策树决策树第三章 分类121212 树的主体建好后，接下来便是对其剪枝。决策树的剪枝一般通过极小化决策树整体的损失函数或代价函数来实现。决策树剪枝常用的方法有两种：预剪枝和后剪枝。预剪枝是根据一些原则尽早停止树的增长，如树的深度达到用户所要的深度、节点中样本个数少于用户指定个数等。预剪枝在建立树的过程中决定

9、是否需要继续划分或分裂训练样本来实现提前停止树的构造，一旦决定停止分枝，就将当前节点标记为叶节点。后剪枝是通过在完全生长的树上剪去分枝实现的，通过删除节点的分支来剪去树节点。of56123.2 决策树决策树第三章 分类131313 1.认识决策树 1）决策树的生成过程 一棵决策树的生成过程主要分为以下3个部分：（1）特征选择：特征选择是指从训练数据众多的特征中选择一个特征作为当前节点的分裂标准，如何选择特征有着很多不同量化评估标准，从而衍生出不同的决策树算法。（2）决策树生成：根据选择的特征评估标准，从上至下递归地生成子节点，直到数据集不可分则决策树停止生长。（3）剪枝：决策树容易过拟合，一般

10、都需要剪枝，缩小树结构规模、缓解过拟合。3.2.5 决策树算法原理of56133.2 决策树决策树第三章 分类14141414 基于信息论的决策树算法有ID3、CART和C4.5等算法，其中C4.5和CART两种算法从ID3算法中衍生而来。CART和C4.5支持数据特征为连续分布时的处理，主要通过使用二元切分来处理连续型变量，即求一个特定的值分裂值：特征值大于分裂值就走左子树，或者就走右子树。ID3算法建立在“奥卡姆剃刀”的基础上，越是小型的决策树越优于大的决策树。ID3算法中根据信息论的信息增益评估和选择特征，每次选择信息增益最大的特征来做判断模块。C4.5是ID3的一个改进算法，继承了ID

11、3算法的优点。C4.5算法用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足，在树构造过程中进行剪枝；能够完成对连续属性的离散化处理；能够对不完整数据进行处理。CART算法采用的是基尼（Gini）指数（选Gini指数最小的特征s）作为分裂标准，同时它也是包含后剪枝操作。of56143.2 决策树决策树第三章 分类15151515 2.ID3算法 1）ID3算法的信息论基础 （1）信息熵 信息熵：在概率论中，信息熵给了一种度量不确定性的方式，是用来衡量随机变量不确定性的，熵就是信息的期望值。若待分类的事物可能划分在N类中，分别是x1，x2，,xn，每一种取到的概率分别是

12、p1，p2，,pn，那么X的熵就定义为：从定义中可知：当随机变量只取两个值时，即X的分布 则熵为：of56153.2 决策树决策树第三章 分类1logniiiH Xpp 0logH Xn1,01,01P Xp P Xpp 22log1log1H Xpppp 161616161616 （2）条件熵 假设有随机变量（X,Y）,其联合概率分布为：P(X=xi,Y=yi)=pij,i=1,2,n;j=1,2,m。则条件熵H(Y|X)表示在已知随机变量X的条件下随机变量Y的不确定性，其定义为X在给定条件下Y的条件概率分布的熵对X的数学期望：若是样本的特征只有两个值(X1=0，X2=1),对应(出现，不出

13、现)，如文本分类中某一个单词的出现与否。那么对于特征二值的情况，用T代表特征，用t代表T出现，表示该特征不出现。那么：与前面的公式对比一下，P(t)就是T出现的概率，P()就是T不出现的概率，结合信息熵的计算公式，可得：of56173.2 决策树决策树第三章 分类1|iiinH Y Xp H Y Xxt H C|TP t H C|tP t H C|tt21logniiiH C|tP C|tP C|t 21logniiiH C|tP C|tP C|t 1717171717 （3）信息增益 信息增益（Information Gain）表示得知特征X的信息后，而使得Y的不确定性减少的程度。定义为：信

14、息增益是针对一个一个的特征而言的，就是看一个特征X，系统有它和没它的时候信息量各是多少，两者的差值就是这个特征给系统带来的信息增益。对于特征取值为二值的情况，特征T给系统带来的信息增益就可以写成系统原本的熵与固定特征T后的条件熵之差：of56173.2 决策树决策树第三章 分类,(|)g D AH DH D A,g C TH CH C|T 121221logloglognniiiiiiniiiP CP CP tP C|tP C|tP tP C|tP C|t 181818181818 3.C4.5算法 C4.5算法同样以“信息熵”作为核心，是ID3基础上的优化改进，同时，也保持了分类准确率高、速

15、度快的特点。1）基本思想 信息增益C4.5算法挑选具有最高信息增益率的属性为测试属性。对样本集T，假设变量a有k个属性，属性取值a1，a2，,an，对应a取值为ai的样本个数分别为ni，若n是样本的总数，则应有n1+n2+nk=n,Quinlan利用属性a的熵值H(X,a),来定义为了获取样本关于属性a的信息所需要付出的代价，即：信息增益率定义为平均互信息与获取a信息所付出代价的比值，即：of56183.2 决策树决策树第三章 分类 2211loglogiiiikkiinnH XaP aP ann ，g XaE XaH Xa，19191919191919 4.CART 算法 CART算法生成的

16、是一棵二叉树。它采用的是一种二分递归分割技术，每次都将当前的数据集分为两个互不相交子集，使得所有非叶子节点都只有两个分支。1）分裂属性的选择标准 CART算法分裂属性的选择标准为Gini指数。CART算法选择具有最小Gini指数的属性为当前数据集的分裂属性。Gini指标分类方法适用于具有连续性或离散性属性的数据集。设S为具有s个样本的数据集，所有样本总共包含m个不同的类别Ci，i?1,2,m，那么Gini指标为：其中Pi为样本属性类别Ci的概率。of56193.2 决策树决策树第三章 分类 12Gini1miiSP 2020202020202020 根据CART算法构造的是一棵二叉树，所以在C

17、ART算法中是用Gini指标进行二元划分，对于数据集S的任何一个属性A的任何一种取值a，可以将数据集S划分成S1和S2两个子集，对应属性A，Gini指标的计算公式如下：其中|S|表示数据集S的个数。当GiniA(S)最小时，属性A就为数据集S的最佳分裂属性，S1和S2就是按属性A的取值a对数据集S的划分。2）CART算法建树过程 CART算法建树过程见数据挖掘一书的第46页。of56213.2 决策树决策树第三章 分类 1212GiniAGiniGiniSSSSSSS21213.3贝叶斯分类第三章分类3.1基本概念3.2决策树3.5实战：决策树算法在Weka中的实现习题3.4支持向量机of56

18、21高级大数据人才培养丛书之一，大数据挖掘技术与应用2222 贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理（Bayes theorem）为基础，采用了概率推理方法。3.3.1 贝叶斯定理of56223.3 贝叶斯分类贝叶斯分类第三章 分类 条件概率：表示事件B已经发生的前提下，事件A发生的概率，称为事件B发生下事件A的条件概率。其基本求解公式为：贝叶斯定理之所以有用，是因为在生活中经常遇到这种情况：可以很容易直接得出P(A|B),P(B|A)则很难直接得出，但人们往往更关心P(B|A),贝叶斯定理打通了从P(A|B)获得P(B|A)的道路。贝叶斯定理：P ABP A|BP B P A

19、|B P BP B|AP A232323 朴素贝叶斯分类是贝叶斯分类的一种，朴素贝叶斯分类与贝叶斯分类相比，后者需要花很大的时间和空间复杂度去计算类条件概率。1.朴素贝叶斯分类原理 朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。朴素贝叶斯分类的正式定义如下：（1）设x=a1,a2,am,为一个待分类项，而每个a为x的一个特征属性。（2）有类别集合C=y1,y2,yn。（3）计算P(y1|x),P(y2|x),P(yn|x)。（4）如果P(yk|x)=maxP(y1|x),P(y2|x),P(yn|x),则x?

20、yk。of56233.3 贝叶斯分类贝叶斯分类第三章 分类3.3.2 朴素贝叶斯分类原理与流程24242424 2.朴素贝叶斯分类流程 整个朴素贝叶斯分类可分为三个阶段：第一阶段是准备工作阶段，这个阶段的任务是为朴素贝叶斯分类做必要的准备，主要工作是根据具体情况确定特征属性，并对每个特征属性进行适当划分，然后由人工对一部分待分类项进行分类，形成训练样本集合。第二阶段是分类器训练阶段，这个阶段的任务就是生成分类器，主要工作是计算每个类别在训练样本中的出现频率及每个特征属性划分对每个类别的条件概率估计，并将结果进行记录。第三阶段是应用阶段。这个阶段的任务是使用分类器对分类项进行分类，其输入是分类器

21、和待分类项，输出是待分类项与类别的映射关系。of56243.3 贝叶斯分类贝叶斯分类第三章 分类2525252525 朴素贝叶斯分类的流程图如下图。of56263.3 贝叶斯分类贝叶斯分类第三章 分类2626262626 贝叶斯分析中的三要素（即贝叶斯统计三要素，一要素是先验概率P(A),二要素是条件概率P(A|B),最终得到三要素即后验概率P(B|A)。理解贝叶斯分析最好的方法即图像法，如图所示。A为红圈，B为蓝圈，AB为紫圈。这里的A（红圈的面积即先验，后验是阴影占蓝圈（B）的百分比。of56263.3 贝叶斯分类贝叶斯分类第三章 分类3.3.3 贝叶斯分析272727272727 贝叶斯

22、决策主要包含四个部分：数据（D）、假设（W）、目标（O）和决策（S）。贝叶斯决策步骤：1.理清因果链条，确定哪个是假设，哪个是证据。2.给出所有可能假设，即假设空。3.假设，即假设空间。4.根据贝叶斯概率公式求解后验概率，得到假设空间的后验概率分布。5.利用后验概率求解条件期望，得到条件期望最大值对应的行为。贝叶斯决策如果一旦变成自动化的计算机算法，它就是机器学习。用贝叶斯决策诠释一个最简单的机器学习分类算法，那就是朴素贝叶斯。of56273.3 贝叶斯分类贝叶斯分类第三章 分类3.3.4 贝叶斯决策2828283.4支持向量机第三章分类3.1基本概念3.2决策树3.5实战：决策树算法在Wek

23、a中的实现习题3.3贝叶斯分类of5628高级大数据人才培养丛书之一，大数据挖掘技术与应用292929 支持向量机（SVM）是根据统计学习理论中的结构风险最小化原则提出的一种经典的机器学习方法，现已发展为机器学习领域的一个重要分支。3.4.1 支持向量机主要思想of56293.4 支持向量机支持向量机第三章 分类 SVM主要思想是针对两类分类问题的，寻找一个超平面作为两类训练样本点的分割，以保证最小的分类错误率。在线性可分的情况下，存在一个或多个超平面使得训练样本完全分开，SVM的目标是找到其中的最优超平面，最优超平面是使得每一类数据与超平面距离最近的向量与超平面之间的距离最大的平面；对于线性

24、不可分的情况，可使用非线性核函数将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分。3.4.2 支持向量机基础理论 支持向量机的理论有三个要点，即：（1）最大化间隔。（2）核函数。（3）对偶理论。30303030 1.最大化间隔 在样本线性可分的情况下，可行的分类超平面可能会有很多，如下图中的L1、L2和L3。从图中可以直观看出，L2比另外两条分界线要更好，这是因为L2离样本的距离更远一些，让人觉得确信度更高。SVM正是基于这种直观思路来确定最佳分类超平面的：通过选取能够最大化类间间隔的超平面，得到一个具有高确信度和泛化能力的分类器，即最大间隔分类器。of56303.4 支持向量机支

25、持向量机第三章 分类3131313131 2.核函数 核函数的定义：设s是输入空间（欧氏空间或离散集合），H为特征空间（希尔伯特空间），如果存在一个从s到H的映射 。使得对所有的x，z?s,函数 ,则称K(x,z),为核函数。为映射函数，为x，z映射到特征空间上的内积。常用的核函数主要有以下几种：（1）线性核函数（Liner）。（2）多项式核函数（Polynomial）。（3）高斯（Gaussian）核函数(又称径向基函数，RBF)。（4）指数型径向基核函数。（5）Sigmoid（或2层感知机）。（6）傅立叶（Fourier）核函数。of56313.4 支持向量机支持向量机第三章 分类:xsH

26、 ,x z x z x x z323232323232 3.对偶理论（Duality Theory）1947年由美籍匈牙利数学家冯诺依曼创立对偶理论。对偶理论就是研究线性规划中原始问题与对偶问题之间关系的理论。对偶问题有许多重要的特征，它的变量能提供关于原始问题最优解的许多重要资料，有助于原始问题的求解和分析。对偶问题与原始问题之间存在着具体关系，见下表。of56333.4 支持向量机支持向量机第三章 分类333333333333 原对偶优化方法：1）凸优化问题 凸优化问题是线性规划中一种重要的特殊情形，它具有很好的性质。如果凸规划的目标函数是严格凸函数，又存在极小点，那么它的极小点是唯一的，

27、局部极小点就是全局极小点。2）原对偶算法 原对偶算法作为一种解决复杂调度和整数规划问题的有效方法，已经被成功应用于网络调度问题。应用原对偶算法的前提条件是待求解优化问题必须是严格的凸优化问题。其核心思想是设计算法通过求解原优化问题的对偶问题，来得到原问题的最优解。of56333.4 支持向量机支持向量机第三章 分类34343434343434 4.几种常用的损失函数 1）lp损失函数 2）?-不灵敏损失函数 3）logistic损失函数 5.结构风险最小化 结构风险最小化思想：首先，把函数集分解为一个函数子集序列，使各个子集能够按照复杂性大小排列，也就是按照VC维大小排列，这样在同一个子集中置

28、信范围就相同；其次，在每个子集中寻找最小经验风险，通常它随着子集复杂度的增加而减少。最后，选择最小经验风险与置信范围之和最小的子集，就可以达到期望风险的最小，这个子集中使经验风险最小的函数就是要求的最优函数。支持向量机是一种比较好的实现了结构风险最小化思想的方法。of56343.4 支持向量机支持向量机第三章 分类353535353.4.3 支持向量机原理of56353.4 支持向量机支持向量机第三章 分类 1.支持向量机（SVM）支持向量机（SVM）是一种分类算法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规

29、律的目的。SVM主要有以下3种情况：1）线性可分情况。右图为线性可分情况。图中的圈和叉代表待分类的两类样本，H就是要求的最优分类超平面，H1和H2是与最优分类面平行的直线且分别通过这两类样本里距离H最近的样本点。3636363636of56363.4 支持向量机支持向量机第三章 分类 2）线性不可分情况 线性可分就是在样本存在的空间中，可以找到可能正确划分训练样本的最优分类超平面。但在现实中无法找到一个使得所有训练样本关于分类超平面的间隔都是正值的分类超平面。必须适当软化条件。对于那些需要软化的条件，将它们分为两类：一类是虽不满足KKT条件但是可以被正确划分的点；另外一类是不满足KKT条件也不

30、能被正确划分的点。遇到线性不可分时，常用做法是把样例特征映射到高维空间中去，如下图所示。3737373737373737 线性不可分映射到高维空间，可能会导致维度大小高到可怕的程度，导致计算复杂。核函数的价值在于它虽然也是讲特征进行从低维到高维的转换，但核函数事先在低维上进行计算，而将实质上的分类效果表现在了高维上，也就避免了直接在高维空间中的复杂计算。3）非线性可分情况 即便是引入了松弛变量，用直线划分有些问题还是存在很大误差，即输入空间中不存在该问题的线性分类超平面，这种问题叫非线性可分问题。处理这类问题时，通过某种映射使得训练样本线性可分，即将输入空间映射到高维空间中后，通过训练支持向量

31、机得到该问题在高维空间中的最优分类超平面，解决该类分类问题。2支持向量机（SVM）的优点 SVM学习问题可以表示为凸优化问题，因此可以利用已知的有效算法发现目标函数的全局最小值。而其他分类方法都采用一种基于贪心学习的策略来搜索假设空间，这种方法一般只能获得局部最优解。of56373.4 支持向量机支持向量机第三章 分类383838383.5实战：决策树算法在Weka中的实现第三章分类3.1基本概念3.2决策树3.4支持向量机习题3.3贝叶斯分类of5638高级大数据人才培养丛书之一，大数据挖掘技术与应用3939 在Weka Explorer下方依次有6个不同标签显示了Weka中六个不同的功能（

32、不同的软件版本可能有着不同的标签），分别对应着：（1）Preprocess（预处理）：在此项标签中通过“Open File”载入数据集，对数据集做预处理工作，同时也可使用Filter功能。（2）Classify（分类）：对数据集进行分类操作，并做出预测评估。（3）Cluster（聚类）：学习数据集的聚类，并且测量对应训练数据的聚类的对数似然，一般来说，对数似然越大就说明模型和数据拟合越好。（4）Associate（关联规则）：学习数据的关联规则并对其进行评估，此面板相对于Classify和Cluster来说更为简单，只有3种算法来确定规则，但却还没有评估这些规则的手段。（5）Select at

33、tributes（选择属性）：通过此标签可以确定之前载入的数据集中相关的属性。这里有几种属性选择的方法可以通过此按钮来实现，并且可以通过右键单击历史列表中的条目来将对应的数据集可视化。（6）Visualize（可视化）：查看不同的二维数据点图并与其互动，并且帮助用户可视化一个数据集，但它并不是指某个分类或聚类模型的结果，而指的是数据集的本身。3.5.1 Weka探索者图形用户界面of56393.5 实战实战：决策树算法在：决策树算法在Weka中的中的实现实现第三章 分类404040 通过Weka Explorer上的Classify面板，可以选择学习算法，Weka中的分类器包括贝叶斯（Baye

34、s）分类器、决策树（Trees）、规则（Rules）等。weather nominal数据如下表所示。3.5.2 决策树算法在Weka中的具体实现of56403.5 实战实战：决策树算法在：决策树算法在Weka中的中的实现实现第三章 分类41414141 从“Open file”读取该训练集，在Attribute一栏中会显示出该数据集的各个属性，同时列出属性的统计特性，并以直方图的方式显示出来。weather nominal训练集的五个属性分别对应表中的属性，并以直方图统计的方式显示。通过处理后的决策树规则为：=Classifier model(full training set)=J48 p

35、runed tree-outlook=sunny|humidity=high:no(3.0)|humidity=normal:yes(2.0)outlook=overcast:yes(4.0)outlook=rainy|windy=TRUE:no(2.0)|windy=FALSE:yes(3.0)Number of Leaves:5Size of the tree:8 从以上文本信息可以得出：若outlook=sunny且humidity=high，则play的分类结果就是no，结果数为3个；若outlook=sunny且humidity=normal，那么play就为yes，结果数为2个。另

36、外由最后两行可以看出该树共有节点8个，其中叶子节点为5个。of56413.5 实战实战：决策树算法在：决策树算法在Weka中的中的实现实现第三章 分类4242424242根据weather nominal训练集J48（C4.5）算法生成的决策树如下图所示。of56423.5 实战实战：决策树算法在：决策树算法在Weka中的中的实现实现第三章 分类3.5.3 使用中的具体实例 以某高校计算机科学与技术专业的C语言程序设计课程成绩为例，具体数据见下表，有上机时间、课本知识掌握程度、上课学习情况以及平时成绩等因素。4343434343学生成绩综合判定数据集如下：表中共含有167条记录，其中包含111

37、个正例和56个反例，用J48（C4.5）算法对该数据进行分类处理并在Weka中实现。of56433.5 实战实战：决策树算法在：决策树算法在Weka中的中的实现实现第三章 分类444444444444 通过处理后的决策树规则为：=Classifier model(full training set)=J48 pruned tree-score=good|study=a:yes|study=b:yes|study=c|time 5:yes|time 2-5:yes|time 2:no score=bad:no score=general|book=d:yes|book=e:no|book=f:n

38、o|book=g:no 其中，score对应平时成绩，study对应上课学习情况，a、b、c分别对应好、一般和差，book对应课本知识掌握情况，d、e、f、g分别对应完全掌握、基本掌握、一般和不掌握，time对应平均上机时间。of56443.5 实战实战：决策树算法在：决策树算法在Weka中的中的实现实现第三章 分类45454545454545根据学生成绩综合判定数据集J48（C4.5）算法生成的决策树如下图所示。是否为优的分类结果如下：总数为167，正确数为147，百分率为88.02%，错误数为20，百分率为11.98%。of56453.5 实战实战：决策树算法在：决策树算法在Weka中的中

39、的实现实现第三章 分类4646464646 习题第三章分类3.1基本概念3.2决策树3.4支持向量机3.5实战：决策树算法在Weka中的实现3.3贝叶斯分类of5646高级大数据人才培养丛书之一，大数据挖掘技术与应用习题：习题：47474747474747of48471数据分类一般分为哪两个阶段？请阐述。常用的评估分类方法准确率的技术有哪些？请阐述。2什么是决策树？决策树的最佳用途是什么？决策树分为哪两种树？决策树中一般包含哪几种节点？请阐述决策树构建的基本步骤。一棵决策树的生成过程主要分为哪3个部分？请阐述决策树优缺点。3ID3算法生成决策树的过程是什么？请阐述ID3算法的优缺点。C4.5有哪两种基本剪枝策略？请分别阐述它们的思路。C4.5算法建树过程是什么？请阐述C4.5算法的优缺点。请阐述CART算法建树过程。请阐述CART算法的优缺点。4请阐述朴素贝叶斯分类的优缺点。整个朴素贝叶斯分类一般分为哪三个阶段？请阐述。贝叶斯分析中的三要素是指哪三要素？贝叶斯决策主要包含哪四个部分？5什么叫核函数?常用的核函数主要有以下哪几种?对偶问题与原始问题之间存在着哪些关系？请阐述对偶理论。常用的损失函数有哪些？6.请阐述支持向量机的主要思想。支持向量机的理论有哪几个要点？请阐述支持向量机（SVM）主要有哪几种情况？请阐述支持向量机的优点。