聚类分析-动态聚类讲解课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《聚类分析-动态聚类讲解课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 聚类分析 动态 讲解 课件
- 资源描述:
-
1、1第六章第六章 聚类分析聚类分析2n系统聚类分析 直观,易懂。n动态聚类 快速,动态。n有序聚类 保序(时间顺序或大小顺序)。3 一、变量测量尺度的类型一、变量测量尺度的类型 为了将样本进行分类,就需要研究样品之间为了将样本进行分类,就需要研究样品之间的关系;而为了将变量进行分类,就需要研究的关系;而为了将变量进行分类,就需要研究变量之间的关系。但无论是样品之间的关系,变量之间的关系。但无论是样品之间的关系,还是变量之间的关系,都是用变量来描述的,还是变量之间的关系,都是用变量来描述的,变量的类型不同,描述方法也就不同。通常,变量的类型不同,描述方法也就不同。通常,变量按照测量它们的尺度不同,
2、可以分为三类。变量按照测量它们的尺度不同,可以分为三类。2 距离和相似系数距离和相似系数4 (1)(1)间隔尺度间隔尺度。指标度量时用数量来表示,。指标度量时用数量来表示,其数值由测量或计数、统计得到,如长其数值由测量或计数、统计得到,如长度、重量、收入、支出等。一般来说,度、重量、收入、支出等。一般来说,计数得到的数量是离散数量,测量得到计数得到的数量是离散数量,测量得到的数量是连续数量。在间隔尺度中如果的数量是连续数量。在间隔尺度中如果存在绝对零点,又称比例尺度。存在绝对零点,又称比例尺度。5 (2)(2)顺序尺度顺序尺度。指标度量时没有明确的数量。指标度量时没有明确的数量表示,只有次序关
3、系,或虽用数量表示,但相表示,只有次序关系,或虽用数量表示,但相邻两数值之间的差距并不相等,它只表示一个邻两数值之间的差距并不相等,它只表示一个有序状态序列。如评价酒的味道,分成好、中、有序状态序列。如评价酒的味道,分成好、中、次三等,三等有次序关系,但没有数量表示。次三等,三等有次序关系,但没有数量表示。又如评价产品的质量,虽可用一、二、三等来又如评价产品的质量,虽可用一、二、三等来表示,但一等与二等之间、二等与三等之间的表示,但一等与二等之间、二等与三等之间的差距并不一定相等。差距并不一定相等。6 (3)(3)名义尺度名义尺度。指标度量时既没有数量表示。指标度量时既没有数量表示也没有次序关
4、系,只有一些特性状态,如眼也没有次序关系,只有一些特性状态,如眼睛的颜色,化学中催化剂的种类等。在名义睛的颜色,化学中催化剂的种类等。在名义尺度中只取两种特性状态的变量是很重要的,尺度中只取两种特性状态的变量是很重要的,如电路的开和关,天气的有雨和无雨,人口如电路的开和关,天气的有雨和无雨,人口性别的男和女,医疗诊断中的性别的男和女,医疗诊断中的“+”+”和和“-”-”,市场交易中的买和卖等都是此类变量。市场交易中的买和卖等都是此类变量。显然,显然,对于具有多个特性状态的变量,可通过并类对于具有多个特性状态的变量,可通过并类的方法将其转化为二性状态变量。的方法将其转化为二性状态变量。7 二、数
5、据的变换处理二、数据的变换处理 所谓数据变换,就是将原始数据矩阵中的每个元素,按照某种特定的运算把它变成为一个新值,而且数值的变化不依赖于原始数据集合中其它数据的新值。81 1、中心化变换、中心化变换 中心化变换是一种坐标轴平移处理方法,它是先求出每个变量的样本平均值,再从原始数据中减去该变量的均值,就得到中心化变换后的数据。设原始观测数据矩阵为:npnnppxxxxxxxxx212222111211Xjijijxxx*令),3,2,1;,3,2,1(pjni9中心化变换的结果是1.使每列之和均为0,即每个变量的均值为0;2.协方差阵不变;3.每列数据的平方和是该列变量样本方差的(n-1)倍;
6、4.任何不同两列数据之交叉乘积是这两列变量样本协方差的(n-1)倍,所以这是一种很方便地计算方差与协方差的变换。10 2 2、极差正规化变换、极差正规化变换 正规化变换是从数据矩阵的每一个变量中找出其最大值和最小值,这两者之差称为极差,然后从每个变量的每个原始数据中减去该变量中的最小值,再除以极差,就得到正规化数据。即有:jniijijijRxxx,2,1*)min(),3,2,1;,3,2,1(pjniniijijnijxxR,2,1,2,1)min()(max10*ijx11 经过正规化变换后,数据矩阵中每列即每个变量的最大数值为1,最小数值为0,其余数据取值均在01之间;并且变换后的数据
7、都不再具有量纲,便于不同的变量之间的比较。123 3、标准化变换、标准化变换 标准化变换也是对变量的数值和量纲进行类似于规格化变换的一种数据处理方法。首先对每个变量进行中心化变换,然后用该变量的标准差进行标准化。即有:jjijijSxxx*),3,2,1;,3,2,1(pjninijijjxxnS12)(1113 经过标准化变换处理后,每个变量即数据矩阵中每列数据的平均值为0,方差为1,且也不再具有量纲,同样也便于不同变量之间的比较。变换后,数据短阵中任何两列数据乘积之和是两个变量相关系数的(n-1)倍,所以这是一种很方便地计算相关矩阵的变换。14 4 4对数变换对数变换 对数变换是将各个原始
8、数据取对数,将原始数据的对数值作为变换后的新值。即:)log(*ijijxx 15 三、样品间亲疏程度的测度三、样品间亲疏程度的测度 研究样品或变量的亲疏程度的数量指标有两种,一种叫相似系数相似系数,性质越接近的变量或样品,它们的相似系数越接近于1或-1,而彼此无关的变量或样品它们的相似系数则越接近于0,相似的为一类,不相似的为不同类;另一种叫距离距离,它是将每一个样品看作p维空间的一个点,并用某种度量测量点与点之间的距离,距离较近的归为一类,距离较远的点应属于不同的类。16 变量之间的聚类即R型聚类分析,常用相似系数来测度变量之间的亲疏程度。而样品之间的聚类即Q型聚类分析,则常用距离来测度样
9、品之间的亲疏程度。注:变量聚类放到因子分析后面17 1、定义距离的准则、定义距离的准则 定义距离要求满足第i个和第j个样品之间的距离如下四个条件(距离可以自己定义,只要满足距离的条件)距离可以自己定义,只要满足距离的条件);0成立和对一切的jidij;0成立当且仅当jidij;0成立和对一切的jiddjiij.成立和对于一切的jidddkjikij182 2、常用距离的算法、常用距离的算法设 和是第i和 j 个样品的观测值,则二者之间的距离为:gpkgjkikijxxd11)|(pkjkikijxxd12)(ipiixxx,21ix),(21jpjjxxxjx特别,欧氏距离(1)(1)闵科夫斯
10、基距离闵科夫斯基距离19 闵科夫斯基距离主要有以下两个缺点:闵氏距离的值与各指标的量纲有关,而各指标计量单位的选择有一定的人为性和随意性,各变量计量单位的不同不仅使此距离的实际意义难以说清,而且,任何一个变量计量单位的改变都会使此距离的数值改变从而使该距离的数值依赖于各变量计量单位的选择。闵氏距离的定义没有考虑各个变量之间的相关性和重要性。实际上,闵氏距离是把各个变量都同等看待,将两个样品在各个变量上的离差简单地进行了综合。20(2)杰氏距离这是杰斐瑞和马突斯塔(Jffreys&Matusita)所定义的一种距离,其计算公式为:2112)()(pkjkikijxxJd21(3)(3)兰氏距离兰
11、氏距离 这是兰思和维廉姆斯(Lance&Williams)所给定的一种距离,其计算公式为:mkjkikjkikijxxxxmLd11)(这是一个自身标准化的量,由于它对大的奇异值不敏感,这样使得它特别适合于高度偏倚的数据。虽然这个距离有助于克服明氏距离的第一个缺点,但它也没有考虑指标之间的相关性。22 (4)马氏距离马氏距离 这 是 印 度 著 名 统 计 学 家 马 哈 拉 诺 比 斯(PCMahalanobis)所定义的一种距离,其计算公式为:)()(2ji1jixxxxijd 分别表示第i个样品和第j样品的p指标观测值所组成的列向量,即样本数据矩阵中第i个和第j个行向量的转置,表示观测变
12、量之间的协方差短阵。在实践应用中,若总体协方差矩阵未知,则可用样本协方差矩阵作为估计代替计算。23 马氏距离又称为广义欧氏距离。显然,马氏距离与上述各种距离的主要不同就是马氏距离考虑了观测变量之间的相关性。如果假定各变量之间相互独立,即观测变量的协方差矩阵是对角矩阵,则马氏距离就退化为用各个观测指标的标准差的倒数作为权数进行加权的欧氏距离。因此,马氏距离不仅考虑了观测变量之间的相关性,而且也考虑到了各个观测指标取值的差异程度,为了对马氏距离和欧氏距离进行一下比较,以便更清楚地看清二者的区别和联系,现考虑一个例子。2419.09.01,002N19.09.0119.011两点。和设)1,1()1
13、,1(BA05.1)(MdA20)(MdB2)(UdA2)(UdB例如,假设有一个二维正态总体,它的分布为:25 (5)斜交空间距离 由于各变量之间往往存在着不同的相关关系,用正交空间的距离来计算样本间的距离易变形,所以可以采用斜交空间距离。21112)(1 phpkhkjkikjhihijxxxxpd当各变量之间不相关时,斜交空间退化为欧氏距离。26 2、相似系数的算法(1)相关系数设 和是第 和 个样品的观测值,则二者之间的相关系数为:ipiixxx,21ix),(21jpjjxxxjxijpkpkjjkiikpkjjkiikijxxxxxxxx11221)()()(其中27 (2)夹角余
14、弦 夹角余弦是从向量集合的角度所定义的一种测度变量之间亲疏程度的相似系数。设在n维空间的向量niiiixxx,21xnjjjjxxx,21xnknkkjkinkkjkiijijxxxxc11221cos221ijijCd28 五、距离和相似系数选择的原则 一般说来,同一批数据采用不同的亲疏测度指标,会得到不同的分类结果。产生不同结果的原因,主要是由于不同的亲疏测度指标所衡量的亲疏程度的实际意义不同,也就是说,不同的亲疏测度指标代表了不同意义上的亲疏程度。因此我们在进行聚类分析时,应注意亲疏测度指标的选择。通常,选择亲疏测度指标时,应注意遵循的基本原则主要有:29 (1)所选择的亲疏测度指标在实
15、际应用中应有明确的意义。如在经济变量分析中,常用相关系数表示经济变量之间的亲疏程度。30 (2)亲疏测度指标的选择要综合考虑已对样本观测数据实施了的变换方法和将要采用的聚类分析方法。如在标准化变换之下,夹角余弦实际上就是相关系数;又如若在进行聚类分析之前已经对变量的相关性作了处理,则通常就可采用欧氏距离,而不必选用斜交空间距离。此外,所选择的亲疏测度指标,还须和所选用的聚类分析方法一致。如聚类方法若选用离差平方和法,则距离只能选用欧氏距离。31 (3)适当地考虑计算工作量的大小。如对大样本的聚类问题,不适宜选择斜交空间距离,因采用该距离处理时,计算工作量太大。样品间或变量间亲疏测度指标的选择是
16、一个比较复杂且带主规性的问题,我们应根据研究对象的特点作具体分折,以选择出合适的亲疏测度指标。实践中,在开始进行聚类分析时,不妨试探性地多选择几个亲疏测度指标,分别进行聚类,然后对聚类分析的结果进行对比分析,以确定出合适的亲疏测度指标。32000pGqG1G2GnG1G2GnG12dnd121d1nd2ndnd2 至此,我们已经可以根据所选择的距离构成至此,我们已经可以根据所选择的距离构成样本点间的距离表样本点间的距离表,样本点之间被连接起来。样本点之间被连接起来。33 四、样本数据与小类、小类与小类之间的度量四、样本数据与小类、小类与小类之间的度量1、最短距离(Nearest Neighbo
17、r)x21x12x22x1113d34最长距离(Furthest Neighbor)x11x2112d35991dd 组间平均连接(Between-group Linkage)36 1、组内平均连接法(Within-group Linkage)1234566ddddddx21x12x22x1137重心法(Centroid clustering):均值点的距离11,x y22,xy38离差平方和法连接2,41,56,522(23)(43)222(65.5)(55.5)0.522(1 3)(53)839红绿(2,4,6,5)8.75 离差平方和增加8.752.56.25 黄绿(6,5,1,5)14
展开阅读全文