多元统计分析及R语言建模(第五版)课件第六七章.pptx

1、第6章 判别分析及R使用多元统计分析及建模 多元统计分析及R语言建模多元统计分析及R语言建模理解理解判别分析的判别分析的目的及其目的及其统计统计思想思想了解了解并熟悉判别分析的三种并熟悉判别分析的三种类型类型掌握不同掌握不同判别方法的判别规则和判别方法的判别规则和判别函数判别函数利用利用R语言程序语言程序，实际计算，实际计算教材教材中中的习题的习题多元统计分析及R语言建模判别分析的目的和判别分析的目的和意义意义几种判别几种判别分析准则分析准则和性质和性质 包括包括Fisher判别法、距离判别法、判别法、距离判别法、Bayes判别判别法法R语言程序语言程序中有关判别分析的中有关判别分析的算法算法

2、6 判别分析及R使用l判别分析概念l判别分析方法 是在已知的分类之下，对新的样本，可以利用此法选定一判别标准，以判定将该新样品放置于哪个类中。判别分析判别分析（Discriminat Analysis）是）是多元分析中多元分析中用于用于判别样本所属类型的一种统计分析方法。判别样本所属类型的一种统计分析方法。6 判别分析及R使用判别分析的种类判别分析的种类一、确定性判别：一、确定性判别：Fisher型判别型判别 （1）线性型）线性型 （2）距离型）距离型 （3）非线性型）非线性型二、概率性判别：二、概率性判别：Bayes型判别型判别 （1）概率型）概率型 （2）损失型）损失型6 判别分析及R使用

3、 6 判别分析及R使用 一、求Fisher线性判别函数二、计算判别界值三、建立判别标准6 判别分析及R使用【例6.1】今天和昨天湿温差 x1及气温差x2是预报明天 下雨否的其中两个重要因子，试建立Fisher线性判别函数如测得今天 x1=8.1,x2=2.0试报明天是雨天还是晴天？6 判别分析及R使用一、基本统计分析一、基本统计分析6 判别分析及R使用二、二、Logistic模型分析模型分析6 判别分析及R使用三、三、Fisher判别分析判别分析6 判别分析及R使用6 判别分析及R使用6.3.1 两两总体距离判别总体距离判别马氏距离：判别准则：6 判别分析及R使用6.3.1 两两总体距离判别总

4、体距离判别一、等方差阵：直线判别6 判别分析及R使用6.3.1 两两总体距离判别总体距离判别二、异方差阵：曲线判别6 判别分析及R使用【例6.2】对例6.1天气数据做距离判别分析6 判别分析及R使用6.3.2 多总体距离判别多总体距离判别一、协方差矩阵相同：线性判别6 判别分析及R使用6.3.2 多总体距离判别多总体距离判别二、协方差矩阵不同：非线性判别6 判别分析及R使用【例【例6.3】电视机】电视机品牌品牌调查调查分析分析20 个电视机个电视机 5 种畅销种畅销 8 种平销种平销 7 种种滞销滞销试建立试建立判别函数判别函数，当一新产品，当一新产品其质量其质量评分为评分为8.0，功能功能评

5、分为评分为7.5，销售销售价格为价格为65百元百元，问问该厂产品的销售前景如何？该厂产品的销售前景如何？6 判别分析及R使用6 判别分析及R使用1.线性判别（等方差）1 0.96 判别分析及R使用6 判别分析及R使用2.二次判别（异方差）1 0.956 判别分析及R使用6.4.1 Bayes判别准则判别准则Fisher判别缺点判别缺点Bayes判别判别准则准则一是判别方法与各总体出现的概率无关二是判别方法与错判后造成的损失无关以个体归属于某类的概率（或判别值）最大或错判总平均损失最小为标准6 判别分析及R使用6.4.1 Bayes判别准则判别准则一、概率判别一、概率判别k个个总体总体的的先验概

6、率先验概率密度函数分别为密度函数分别为x来自第来自第j类的后验概率为类的后验概率为 (Bayes公式公式)6 判别分析及R使用6.4.1 Bayes判别准则判别准则二、损失判别二、损失判别 x错错判为判为第第g总体总体的平均损失的平均损失6 判别分析及R使用6.4.2 正态总体的正态总体的Bayes判别判别一、一、Bayes判别函数求解判别函数求解k个个总体总体的的先验概率先验概率密度函数分别为密度函数分别为6 判别分析及R使用6.4.2 正态总体的正态总体的Bayes判别判别二、协方差阵二、协方差阵相等情形相等情形6 判别分析及R使用6.4.2 正态总体的正态总体的Bayes判别判别三、后验

7、概率的计算6 判别分析及R使用【例例6.4】对对例例6.3数据应用数据应用Bayes判别法进行判别法进行判别判别（1）先验概率相等：）先验概率相等：6 判别分析及R使用【例例6.4】对对例例6.3数据应用数据应用Bayes判别法进行判别法进行判别判别（2）先验概率不等）先验概率不等6 判别分析及R使用两种结果两种结果比较：比较：两两种种结结果果比比较较6 判别分析及R使用两两种种结结果果比比较较6 判别分析及R使用1.1.判别分析判别分析方法方法是按是按已知已知所属组的所属组的样本样本确定确定判别函数，制定判别函数，制定判别规则，然后判别规则，然后再判断每一个新样品应属于哪再判断每一个新样品应

8、属于哪一一类类。2.2.常用的判别方法有常用的判别方法有FisherFisher判别、距离判别、贝叶斯判别等，每个方法根据判别、距离判别、贝叶斯判别等，每个方法根据其出发点不同各有其特点。其出发点不同各有其特点。3.3.FisherFisher类类判别判别对判别变量的分布类型并无要求对判别变量的分布类型并无要求，而，而BayesBayes类类判别要变量判别要变量的分的分布类型。因此布类型。因此，FisherFisher类类判别判别较较BayesBayes类类判别判别简单一些。简单一些。4.4.当两当两个总体时，若它们的协方差个总体时，若它们的协方差矩阵相同，矩阵相同，则距离判别和则距离判别和F

9、isherFisher判别等价。判别等价。当变量当变量服从正态分布时，它们还和服从正态分布时，它们还和BayesBayes判别等价判别等价。5.5.判别分析中的各种误判的后果允许看作是相同的判别分析中的各种误判的后果允许看作是相同的，通常，通常将犯第一类错误的将犯第一类错误的后果看得更严重些，但本章对此关注的后果看得更严重些，但本章对此关注的不够。不够。6 判别分析及R使用第7章 聚类分析及R使用多元统计分析及建模 多元统计分析及R语言建模多元统计分析及R语言建模理解理解聚类分析的聚类分析的目的意义及统计思想目的意义及统计思想了解了解变量类型的几种尺度变量类型的几种尺度定义定义熟悉熟悉Q型和型

10、和R型型聚类分析的统计量的定义聚类分析的统计量的定义了解了解六种系统聚类六种系统聚类方法及方法及它们的统一它们的统一公式公式掌握掌握R语言语言中六种方法的中六种方法的具体使用具体使用步骤步骤了解了解R语言语言中快速聚类中快速聚类的基本思想和的基本思想和用法用法多元统计分析及R语言建模聚类分析聚类分析的目的和的目的和意义意义聚类分析聚类分析中所使用的几种尺度的中所使用的几种尺度的定义定义初步掌握选用聚类初步掌握选用聚类方法方法与与相应相应距离距离的的原则原则六种系统聚类方法的定义及其基本性质六种系统聚类方法的定义及其基本性质R语言程序中有关聚类分析的算法语言程序中有关聚类分析的算法基础基础掌握掌

11、握R语言中语言中kmeans聚类的方法和聚类的方法和用法用法7 聚类分析及R使用l基本概念聚类分析法(Cluster Analysis)是研究“物以类聚”的一种现代统计分析方法，在众多的领域中，都需要采用聚类分析作分类研究。l分析方法7 聚类分析及R使用 7 聚类分析及R使用【例7.1】两个变量、九个样品数据及其散点图7 聚类分析及R使用7 聚类分析及R使用距离矩阵距离矩阵相关矩阵相关矩阵7 聚类分析及R使用相关系数矩阵：相关系数矩阵：cor(X)7 聚类分析及R使用7 聚类分析及R使用 先将个样品分成类，每个样品自成一类，然后每次将具有最小距离的两类合并，合并后重新计算类与类之间的距离，这个

12、过程一直继续到所有的样品归为一类为止，并把这个过程做成一张系统聚类图。系统聚类法的基本思想7 聚类分析及R使用类类间间距距离离计计算算方方法法（1）最短距离法（）最短距离法（single）（2）最长距离法（）最长距离法（complete）（3）中间距离法（）中间距离法（median）（4）类平均法（）类平均法（average）（5）重心法（）重心法（centroid）（6）离差平方和法（）离差平方和法（Ward）类间距离计算公式类间距离计算公式7 聚类分析及R使用7 聚类分析及R使用系统聚类法过程（1）计算n个样品两两间的距离（2）构造n个类，每类包含1个样品（3）合并距离最近两类为新类（4）

13、计算新类与各类距离，若类个数为1，转到第5步，否则回到第3步（4）绘制系统聚类图（5）确定类的个数和样品名称例7-1数据的系统聚类最短距离法（采用欧氏距离）例7-1数据的系统聚类最长距离法（采用欧氏距离）例7-1数据的系统聚类7 聚类分析及R使用系统聚类R语言步骤一、计算距离一、计算距离阵阵:dist二二、进行系统、进行系统聚类聚类:hclust三三、绘制聚类、绘制聚类图图:plot四四、画分类、画分类框框:rect.hclust五、确认分类五、确认分类结果结果:cutree【例7.2】续例3.1，研究全国31个省、市、自治区2007年城镇居民生活消费的分布规律，根据调查资料做区域消费类型划分

14、。7 聚类分析及R使用l概念 kmeans法是一种快速聚类法，这种算法的基本思想是将每一个样品分配给最近中心(均值)的类中。l 原理 kmeans算法以k为参数，把n个对象分为k个类，使类内具有较高的相似度，类间的相似度较低。7 聚类分析及R使用相似度计算是根据类中对象的均值mean来进行7 聚类分析及R使用【例7.3】kmeans算法的R语言实现及模拟分析：模拟正态随机变量7 聚类分析及R使用7 聚类分析及R使用模拟模拟10个变量个变量2000个样品个样品的正态随机矩阵的正态随机矩阵7 聚类分析及R使用l系统聚类分析的特点l综合性l形象性l客观性l关于kmeans算法 kmeans算法只有在类的均值被定义的情况下才能使用 对于“噪声”和孤立点是敏感的，这种数据对均值影响极大7 聚类分析及R使用l关于变量变换l平移变换l极差变换l标准差变换l主成分变换l对数变换7 聚类分析及R使用