第八章-聚类分析与判别分析课件.ppt

1、STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程第八章 聚类分析与判别分析n8.1 聚类分析聚类分析n8.2 判别分析判别分析STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程n8.1 8.1 聚类分析聚类分析n8.1.1 聚类分析的一般概念聚类分析的一般概念n8.1.2 系统聚类法的基本思想和步骤系统聚类法的基本思想和步骤n8.1.3 用用CLUSTER过程和过程和TREE过程进行系统聚过程进行系统聚类类n8.1.4 用用VARCLUS过程进行变量聚类过程进行变量聚类STATSTATSTATSTATSASSAS软件与统计应用教程软

2、件与统计应用教程8.1.1 聚类分析的一般概念聚类分析的一般概念 设有设有n个样品个样品(多元观测值多元观测值)，每个样品测得，每个样品测得m项指标项指标(变量变量)，得到观测数据，得到观测数据xij（i=1,n；j=1,m），如表），如表所示。所示。X1X2XmX(1)x11x12x1mX(2)x21x22x2mX(n)xn1xn2xnmSTATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程表表8-1中数据又称为观测数据阵或简称为数据阵，其数中数据又称为观测数据阵或简称为数据阵，其数学表示为：学表示为：其中列向量其中列向量Xj=(x1j，x2j，xnj)，表示第，表

3、示第j项指标（项指标（j=1，2，m），行向量），行向量X(i)=(xi1，xi2，xin)表示表示第第i个样品。个样品。nmnnmmxxxxxxxxx.212222111211XSTATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程1.1.两种聚类分析两种聚类分析 根据分类对象的不同，聚类分析分为两种：根据分类对象的不同，聚类分析分为两种：(1)样品聚类：样品聚类是对样品（观测）进行的分样品聚类：样品聚类是对样品（观测）进行的分类处理，又称为类处理，又称为Q型分类，相当于对观测数据阵按行分型分类，相当于对观测数据阵按行分类。类。(2)变量聚类：变量聚类是对变量（指标

4、）进行的分变量聚类：变量聚类是对变量（指标）进行的分类处理，又称为类处理，又称为R型分类，相当于对观测数据阵按列分型分类，相当于对观测数据阵按列分类。类。两种聚类在形式上是对称的，处理方法也是相似的。两种聚类在形式上是对称的，处理方法也是相似的。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程2.2.聚类分析的方法聚类分析的方法 聚类方法大致可归纳如下：聚类方法大致可归纳如下：(1)系统聚类法（谱系聚类）系统聚类法（谱系聚类）先将先将l个元素（样品或变量）看成个元素（样品或变量）看成l类，然后将性质最类，然后将性质最接近（或相似程度最大）的接近（或相似程度最大）

5、的2类合并为一个新类，得到类合并为一个新类，得到l 1类，再从中找出最接近的类，再从中找出最接近的2类加以合并变成了类加以合并变成了l 2类，类，如此下去，最后所有的元素全聚在一类之中。如此下去，最后所有的元素全聚在一类之中。(2)分解法（最优分割法）分解法（最优分割法）其程序与系统聚类相反。首先所有的元素均在一类，其程序与系统聚类相反。首先所有的元素均在一类，然后按照某种最优准则将它分成然后按照某种最优准则将它分成2类、类、3类，如此下去，类，如此下去，一直分裂到所需的一直分裂到所需的k类为止。类为止。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程(3)动态

6、聚类法（逐步聚类法）动态聚类法（逐步聚类法）开始将开始将l个元素粗糙地分成若干类，然后用某种最优个元素粗糙地分成若干类，然后用某种最优准则进行调整，一次又一次地调整，直至不能调整为止。准则进行调整，一次又一次地调整，直至不能调整为止。(4)有序样品的聚类有序样品的聚类 n个样品按某种因素（时间或年龄或地层深度等）排个样品按某种因素（时间或年龄或地层深度等）排成次序，要求必须是次序相邻的样品才能聚在一类。成次序，要求必须是次序相邻的样品才能聚在一类。其他还有：有重叠聚类、模糊聚类、图论聚类等方法。其他还有：有重叠聚类、模糊聚类、图论聚类等方法。STATSTATSTATSTATSASSAS软件与统

7、计应用教程软件与统计应用教程3.3.聚类统计量聚类统计量 聚类分析实质上是寻找一种能客观反映元素之间亲疏聚类分析实质上是寻找一种能客观反映元素之间亲疏关系的统计量，然后根据这种统计量把元素分成若干类。关系的统计量，然后根据这种统计量把元素分成若干类。常用的聚类统计量有距离系数和相似系数两类。距离系常用的聚类统计量有距离系数和相似系数两类。距离系数一般用于对样品分类，而相似系数一般用于对变量聚数一般用于对样品分类，而相似系数一般用于对变量聚类。距离的定义很多，如马氏距离、明考斯基距离、兰类。距离的定义很多，如马氏距离、明考斯基距离、兰氏距离、切比雪夫距离以及常见的欧氏距离：氏距离、切比雪夫距离以

8、及常见的欧氏距离：等。相似系数有相关系数、夹角余弦、列联系数等。等。相似系数有相关系数、夹角余弦、列联系数等。niiiyxyxyxyxd12)()()(),(STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程 当然，采用不同的分类方法会得到不同的分类结果，当然，采用不同的分类方法会得到不同的分类结果，有时即使是同一种聚类方法，因距离的定义方法不同也有时即使是同一种聚类方法，因距离的定义方法不同也会得到不同的分类结果。对任何观测数据都没有唯一会得到不同的分类结果。对任何观测数据都没有唯一“正确的正确的”分类方法。实际应用中，常采用不同的分类分类方法。实际应用中，常采

9、用不同的分类方法对数据进行分类，可以提出多种分类意见，由实际方法对数据进行分类，可以提出多种分类意见，由实际工作者决定所需要的分类数和分类情况。工作者决定所需要的分类数和分类情况。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程8.1.2 系统聚类法的基本思想和步骤系统聚类法的基本思想和步骤 下面以样品聚类为例介绍系统聚类法。下面以样品聚类为例介绍系统聚类法。1.1.系统聚类法的基本思想系统聚类法的基本思想 设有设有n个样品，每个样品测得个样品，每个样品测得m项指标（见表项指标（见表8-1）。）。系统聚类方法的基本思想是：首先定义样品间的距离系统聚类方法的基本思

10、想是：首先定义样品间的距离（或相似系数）和类与类之间的距离。一开始将（或相似系数）和类与类之间的距离。一开始将n个样个样品各自自成一类，这时类间的距离与样品间的距离是等品各自自成一类，这时类间的距离与样品间的距离是等价的；然后将距离最近的两类合并，并计算新类与其他价的；然后将距离最近的两类合并，并计算新类与其他类的类间距离，再按最小距离准则并类。这样每次减少类的类间距离，再按最小距离准则并类。这样每次减少一类，直到所有的样品都并成一类为止。这个并类过程一类，直到所有的样品都并成一类为止。这个并类过程可以用谱系聚类图形象地表达出来。可以用谱系聚类图形象地表达出来。STATSTATSTATSTAT

11、SASSAS软件与统计应用教程软件与统计应用教程2.2.系统聚类法的基本步骤系统聚类法的基本步骤 (1)数据变换数据变换 为了便于比较或消除量纲的影响，在作聚类之前常常为了便于比较或消除量纲的影响，在作聚类之前常常首先要对数据进行变换。变换的方法有中心化变换、标首先要对数据进行变换。变换的方法有中心化变换、标准化变换、极差标准化变换、极差正规化变换、对数变准化变换、极差标准化变换、极差正规化变换、对数变换等。换等。最常用的标准化变换为：最常用的标准化变换为：其中其中 ，j=1，2，m。变换后的数据，每个变量的样本均值为变换后的数据，每个变量的样本均值为0，标准差为，标准差为1，而且标准化变换后

12、的数据而且标准化变换后的数据 与变量的量纲无关。与变量的量纲无关。mjnisxxxjjijij,.,2,1;,.,2,1*niijjxnx11nijijjxxns122)(11*ijxSTATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程(2)计算计算n个样品两两间的距离个样品两两间的距离 选择度量样品间距离的定义，计算选择度量样品间距离的定义，计算n个样品两两间的个样品两两间的距离，得样品间的距离矩阵距离，得样品间的距离矩阵D(0)。(3)聚类过程聚类过程 首先首先n个样品各自构成一类，类的个数个样品各自构成一类，类的个数k=n：Gi=X(i)（i=1，n），此时类

13、间的距离就是样品间的），此时类间的距离就是样品间的距离（即距离（即D(1)=D(0)）。）。令令j=2，n，执行如下并类过程：，执行如下并类过程：1)合并类间距离最小的两类为一新类（类间距离参见合并类间距离最小的两类为一新类（类间距离参见下文下文“系统聚类分析的方法系统聚类分析的方法”）。此时类的总个数）。此时类的总个数k减减少少1类，即类，即k=n j+1；STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程 2)计算新类与其他类的距离，得新的距离矩阵计算新类与其他类的距离，得新的距离矩阵D(j)）。）。若合并后类的总个数若合并后类的总个数k仍大于仍大于1，重复，

14、重复1)和和2)步，直到步，直到类的总个数为类的总个数为1时止。时止。(4)画谱系聚类图画谱系聚类图 谱系图能明确清晰地描述各个样本点在不同层次上聚谱系图能明确清晰地描述各个样本点在不同层次上聚合分类的情况。合分类的情况。(5)决定分类的个数及各类的成员决定分类的个数及各类的成员STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程3.3.系统聚类分析的方法系统聚类分析的方法 设有原始数据阵，如表设有原始数据阵，如表8-1所示。所示。G为在某一聚类水平为在某一聚类水平上的类的个数，上的类的个数，Ck是当前是当前(水平水平G)的第的第k类，类，nk为为Ck中的中的样品个

15、数，样品个数，DKL为第为第G水平的类水平的类CK和类和类CL之间的距离。之间的距离。根据类间距离计算方法的不同，有根据类间距离计算方法的不同，有11种不同的聚类方种不同的聚类方法：法：(1)类平均法类平均法 类平均法类平均法(Average Linkage)用两类样品两两观测间距用两类样品两两观测间距离的平均作为类间距离，即离的平均作为类间距离，即 类平均法是一种应用较广泛，聚类效果较好的方法。类平均法是一种应用较广泛，聚类效果较好的方法。KLCiCjjiLKKLxxdnnD),(1STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程(2)重心法重心法 重心法重心

16、法(Centroid Method)用两个类重心用两个类重心(均值均值)之间的之间的（平方）欧氏距离定义类间距离，即（平方）欧氏距离定义类间距离，即(3)最长距离法最长距离法 最长距离法最长距离法(Complete Method)用两类观测间最远一用两类观测间最远一对观测的距离定义类间距离，即对观测的距离定义类间距离，即(4)最短距离法最短距离法 最短距离法最短距离法(Single Linkage)用两类观测间最近一对用两类观测间最近一对观测的距离定义类间距离，即观测的距离定义类间距离，即2|LKKLXXD),(maxjiCjCiKLxxdDLK),(minjiCjCiKLxxdDLKSTAT

17、STATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程(5)Ward最小方差法（离差平方和法）最小方差法（离差平方和法）Ward最小方差法最小方差法(Wards Mininum-Variance Method)也称也称Ward离差平方和法。类间距离定义为离差平方和法。类间距离定义为 Ward方法并类时总是使得并类导致的类内离差平方方法并类时总是使得并类导致的类内离差平方和增量最小。和增量最小。其它的聚类方法还有最大似然法其它的聚类方法还有最大似然法(EML)法、可变类平法、可变类平均法均法(Flexible-Beta Method)、McQuitty相似分析法相似分析法(Mc

18、Quittys Similarity Analysis)、中间距离法、中间距离法(Median Method)、两阶段密度估计法、两阶段密度估计法(Two Stage Density Linkage)等。等。类平均法和类平均法和Ward最小方差法使用最广泛。最小方差法使用最广泛。)/1/1/(|2LKLKKLnnXXDSTATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程4.4.系统聚类类数的确定系统聚类类数的确定(1)由适当的阀值确定由适当的阀值确定 选定某种聚类方法，按系统聚类的方法并类后，得到选定某种聚类方法，按系统聚类的方法并类后，得到一张谱系聚类图，聚类图（

19、又称谱系图）只反映样品间一张谱系聚类图，聚类图（又称谱系图）只反映样品间（或变量间）的亲疏关系，它本身并没有给出分类，需（或变量间）的亲疏关系，它本身并没有给出分类，需要给定一个临界相似尺度，用以分割谱系图而得到样品要给定一个临界相似尺度，用以分割谱系图而得到样品（或变量）的分类，如给定临界值（阀值）为（或变量）的分类，如给定临界值（阀值）为d，那么，那么，当样品间或已并类间距离小于当样品间或已并类间距离小于d时，认为这些样品和类时，认为这些样品和类的关系密切，应该归属一类。的关系密切，应该归属一类。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程(2)根据统计

20、量确定分类个数根据统计量确定分类个数 在在SAS的的CLUSTER过程中，提供一些统计量可以近过程中，提供一些统计量可以近似检验类个数如何选择更合适，用统计量决定类数的方似检验类个数如何选择更合适，用统计量决定类数的方法来自统计的方差分析思想，下面作一些介绍。法来自统计的方差分析思想，下面作一些介绍。1)R2统计量统计量其中其中PG为分类数为为分类数为G个类时的总类内离差平方和，个类时的总类内离差平方和，T为为所有样品或变量的总离差平方和。所有样品或变量的总离差平方和。R2越大，说明分为越大，说明分为G个类时每个类内的离差平方和都比较小，也就是分为个类时每个类内的离差平方和都比较小，也就是分为

21、G个类是合适的。但是，显然分类越多，每个类越小，个类是合适的。但是，显然分类越多，每个类越小，R2越大，所以我们只能取越大，所以我们只能取G使得使得R2足够大，但足够大，但G本身比较本身比较小，而且小，而且R2不再大幅度增加。不再大幅度增加。TPRG12STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程 2)半偏半偏R2统计量统计量 在把类在把类CK和类和类CL合并为下一水平的类合并为下一水平的类CM时，定义半时，定义半偏相关偏相关其中其中BKL=WM (WK+WL)为合并类引起的类内离差平方为合并类引起的类内离差平方和的增量，和的增量，Wt为类为类Ct的类内离差

22、平方和。半偏的类内离差平方和。半偏R2用于评用于评价一次合并的效果，其值是上一步价一次合并的效果，其值是上一步R2与该步与该步R2的差值。的差值。其值越大，说明上一次合并的效果越好。其值越大，说明上一次合并的效果越好。TBRKL2半偏STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程 3)伪伪F统计量统计量 伪伪伪伪F统计量评价分为统计量评价分为G个类的效果。伪个类的效果。伪F统计量越大，表统计量越大，表示分为示分为G个类越合理。通常取伪个类越合理。通常取伪F统计量较大而类数较统计量较大而类数较小的聚类水平。小的聚类水平。4)伪伪t2统计量统计量 伪伪用此统计量评

23、价合并类用此统计量评价合并类CK和类和类CL的效果，该值大说明合的效果，该值大说明合并的两个类并的两个类CK和和CL是很分开的，不应合并这两个类，而是很分开的，不应合并这两个类，而应该取合并前的水平。应该取合并前的水平。)/()1/()(GnPGPTFGG)2/()/(2LKLKKLnnWWBtSTATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程8.1.3 用用CLUSTER过程和过程和TREE过程进行系统过程进行系统聚类聚类1.CLUSTER1.CLUSTER过程过程 系统聚类系统聚类CLUSTER过程的一般格式为：过程的一般格式为：PROC CLUSTER；VA

24、R；COPY；ID；RUN；STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程其中：其中：1)PROC CLUSTER语句为调用语句为调用CLUSTERS过程的开过程的开始，其常用选项及功能见表始，其常用选项及功能见表8-2。2)VAR语句指定用来聚类的数值型变量。如果缺省，语句指定用来聚类的数值型变量。如果缺省，则使用没有列在其他语句中的所有数值型变量。则使用没有列在其他语句中的所有数值型变量。3)COPY语句把指定的变量复制到语句把指定的变量复制到OUTTREE=的数的数据集中，以备后用。据集中，以备后用。4)ID语句中指定的变量用于区分聚类过程中的输出及语句

25、中指定的变量用于区分聚类过程中的输出及OUTTREE数据集中的观测。数据集中的观测。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程2.TREE2.TREE过程过程 TREE过程可以把过程可以把CLUSTER过程产生的过程产生的OUTTREE=数据集作为输入，画出聚类谱系图，并按照用户指定的数据集作为输入，画出聚类谱系图，并按照用户指定的聚类水平聚类水平(类数类数)产生分类结果数据集。一般格式如下：产生分类结果数据集。一般格式如下：PROC TREE；COPY；ID ；RUN；其中：1)PROC TREE语句为调用语句为调用TREE过程的开始，其常过程的开始，其

26、常用选项及功能见表用选项及功能见表8-3。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程表8-3 PROC TREE语句的常用选项 2)COPY语句把输入数据集中的变量复制到输出数据语句把输入数据集中的变量复制到输出数据集。集。3)ID语句用于指定在输出树状图中的识别对象，语句用于指定在输出树状图中的识别对象，ID变量可以是字符或数值变量。如果省略，变量可以是字符或数值变量。如果省略，TREE过程将过程将使用变量使用变量_NAME_。选项名称功能说明DATA=数据集指定从CLUSTER过程生成的OUTTREE数据集作为输入。OUT=数据集指定包含最后分类结果(

27、每一个观测属于哪一类，用一个CLUSTER变量区分)的输出数据集。NCLUSTERS指定最后把样本观测分为多少个类。HORIZONTAL横向画聚类谱系图。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程3.3.应用实例应用实例【例【例8-1】表】表8-4是全国沿海是全国沿海10省市农民省市农民2004年支出情况年支出情况的汇总资料，表中涉及生活消费支出情况的八个指标。的汇总资料，表中涉及生活消费支出情况的八个指标。假定上述数据已经存放在数据集假定上述数据已经存放在数据集Mylib.nm10。地区食品衣着居住家庭设备及服务医疗保健交通和通讯文教、娱乐及服务其他商品

28、及服务天津1017.72181.21508.06108.51177.10230.41376.8742.23河北780.09127.06340.8880.42115.97176.60182.5631.33辽宁962.00154.97290.0872.58145.19186.77217.9543.42上海2191.15279.731446.15344.41424.55720.37805.55116.94江苏1317.88163.53467.62141.43163.16293.07373.3972.47浙江1838.57258.58798.88242.09326.12496.86597.96100.

29、05福建1408.54159.60430.14154.43136.40306.06313.09107.32山东1000.13139.18365.97110.12155.85221.93298.2397.85广东1581.68116.83494.89131.17153.17350.27314.3498.44广西1047.5864.42311.4864.8783.64140.13178.8337.65STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程试利用汇总资料对试利用汇总资料对10个地区进行分类个地区进行分类(1)使用使用CLUSTER过程过程 为了进行系统聚类并

30、产生帮助确定类数的统计量，使为了进行系统聚类并产生帮助确定类数的统计量，使用如下代码：用如下代码：proc cluster data=mylib.nm10 standard method=ward outtree=otree pseudo;copy group;run;结果中首先给出数据相结果中首先给出数据相关系数矩阵特征值方面关系数矩阵特征值方面的信息。的信息。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程 结果的最后部分为聚类分析的完整过程结果的最后部分为聚类分析的完整过程(Cluster History)，如图所示，内容按列划分从左到右依次为：，如图所示

31、，内容按列划分从左到右依次为：“NCL”为类别数量，表示新类别形成后类别的总数；为类别数量，表示新类别形成后类别的总数；“-Clusters Joined-”为合并的类别，指明这一步合为合并的类别，指明这一步合并了哪两个类，有两列。其中并了哪两个类，有两列。其中OBxxx表示某一个原始样表示某一个原始样品，而品，而CLxxx表示在某一个聚类水平上产生的类。表示在某一个聚类水平上产生的类。“FREQ”表示这次合并得到的类有多少个样品。表示这次合并得到的类有多少个样品。“SPRSQ”是半偏是半偏R2，“RSQ”是是R2，“PSF”为伪为伪F统计量，统计量，“PST2”为伪为伪t2统计量，统计量，“

32、Tie”指示距离最小指示距离最小的候选类对是否有多对，本例全无。的候选类对是否有多对，本例全无。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程(2)确定分类个数确定分类个数 1)R2统计量（列标题为统计量（列标题为RSQ）用于评价每次合并成）用于评价每次合并成NCL个类时的聚类效果。个类时的聚类效果。R2越大说明越大说明NCL个类越分开，个类越分开，故聚类的效果好。故聚类的效果好。R2的值总是在的值总是在0和和1之间，而且之间，而且R2的值的值总是随着分类个数总是随着分类个数NCL的减少而变小。通过查看的减少而变小。通过查看R2值的值的变化，可以确定变化，可以

33、确定n个样品分为几类最为合适。本例中，个样品分为几类最为合适。本例中，分为分为3个类之前个类之前(NCL3)的并类过程中的并类过程中R2的减少是逐渐的减少是逐渐的，改变不大；当分为的，改变不大；当分为3类时的类时的R2=0.838，而下一次合，而下一次合并后分为并后分为2类时类时R2下降较多下降较多(R2=0.721)。这时通过分析。这时通过分析R2统计量可得出分为统计量可得出分为3个类是较合适的。个类是较合适的。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程 查看查看R2变化的大小也可以由合并类时的半偏变化的大小也可以由合并类时的半偏R2(列标列标题为题为S

34、PRSQ)得到。半偏得到。半偏R2的值是上一步的值是上一步R2与该步与该步R2的的差值，故某步的半偏差值，故某步的半偏R2值越大，说明上一步合并的效果值越大，说明上一步合并的效果好。本例中半偏好。本例中半偏R2最大和次大分别为最大和次大分别为NCL=1和和2，说明，说明根据半偏根据半偏R2准则分为两个类或三个类是较合适的。准则分为两个类或三个类是较合适的。2)伪伪F统计量统计量(列标题为列标题为PSF)用于评价分为用于评价分为NCL个类个类的聚类效果。伪的聚类效果。伪F值越大表示这些观测样品可显著地分值越大表示这些观测样品可显著地分为为NCL个类。本例中伪个类。本例中伪F最大和次大依次为最大和

35、次大依次为NCL=2和和5（局部），说明根据伪（局部），说明根据伪F准则分为两个类、五个类是较准则分为两个类、五个类是较合适的。合适的。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程 4)伪伪t2统计量用以评价此步合并类的效果。由该统计统计量用以评价此步合并类的效果。由该统计量的定义知伪量的定义知伪t2值大表明上一次合并的两个类是很分开值大表明上一次合并的两个类是很分开的，也就是上一次聚类的效果是好的。本例中伪的，也就是上一次聚类的效果是好的。本例中伪t2最大最大和次大分别为和次大分别为NCL=1和和2，说明根据伪，说明根据伪t2准则分为两个准则分为两个类或三

36、个类是较合适的。类或三个类是较合适的。由此看出：由此看出：R2准则支持分为两类和三类；伪准则支持分为两类和三类；伪F统计量统计量支持分为两类和五类；伪支持分为两类和五类；伪t2统计量支持分为两类和三类。统计量支持分为两类和三类。综合分析认为，用综合分析认为，用Ward法法10个地区分为两类或三类较个地区分为两类或三类较合适。合适。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程 使用如下代码画出谱系图（如图所示）：使用如下代码画出谱系图（如图所示）：proc tree data=otree horizontal;ID Group;run;从图中可见，分为两类的结

37、果为：从图中可见，分为两类的结果为：G1=上海上海,浙江浙江，G2=天津天津,江苏江苏,福建福建,广东广东,山东山东,河北河北,辽宁辽宁,广西广西。分为三类的结果为：分为三类的结果为：G1=上海上海,浙江浙江，G2=天津天津,江苏江苏,福建福建,广东广东,山东山东，G3=河北河北,辽宁辽宁,广西广西。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程 相仿地，可以使用类平均法、中间距离法、可变类平相仿地，可以使用类平均法、中间距离法、可变类平均法等方法。不同的聚类方法得到的聚类结果或多或少均法等方法。不同的聚类方法得到的聚类结果或多或少会有些差别，在实际应用中，应

38、综合各种计算结果，提会有些差别，在实际应用中，应综合各种计算结果，提出合适的分类个数。出合适的分类个数。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程8.1.4 用用VARCLUS过程进行变量聚类过程进行变量聚类1.VARCLUS1.VARCLUS过程过程 常用的常用的VARCLUS语句格式为：语句格式为：PROC VARCLUS;VAR ；RUN；其中：其中：1)PROC VARCLUS语句为调用语句为调用VARCLUS过程的开过程的开始，其常用选项及功能见表始，其常用选项及功能见表8-5。2)VAR语句指定要分类的变量，如省略语句指定要分类的变量，如省略V

39、AR语句，则语句，则使用没有在其他语句中列出的所有数值型变量。使用没有在其他语句中列出的所有数值型变量。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程2.VARCLUS2.VARCLUS过程变量聚类的步骤过程变量聚类的步骤 如果没有为如果没有为VARCLUS过程提供初始分类的情况，过程提供初始分类的情况，VARCLUS过程开始把所有变量看成一个类，然后它重过程开始把所有变量看成一个类，然后它重复以下步骤：复以下步骤：1)首先挑选一个将被分裂的类。通常这个被选中的类首先挑选一个将被分裂的类。通常这个被选中的类的类分量所解释的方差百分比最小（选项的类分量所解释的方

40、差百分比最小（选项PRECENT=）或 者 同 第 二 主 成 分 有 关 的 特 征 值 为 最 大（选 项或 者 同 第 二 主 成 分 有 关 的 特 征 值 为 最 大（选 项MAXETGH=）。）。2)把选中的类分裂成两个类。首先计算前两个主成分，把选中的类分裂成两个类。首先计算前两个主成分，再进行斜交旋转，并把每个变量分配到旋转分量对应的再进行斜交旋转，并把每个变量分配到旋转分量对应的类里，分配的原则是使变量与这个主成分的相关系数为类里，分配的原则是使变量与这个主成分的相关系数为最大。最大。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程 3)变量重

41、新归类。通过多次反复循环，变量被重新分变量重新归类。通过多次反复循环，变量被重新分配到这些类里，使得由这些类分量所解释的方差为最大。配到这些类里，使得由这些类分量所解释的方差为最大。当每一类满足用户规定的准则时，当每一类满足用户规定的准则时，VARCLUS过程停过程停止。所谓准则，或是每个类分量所解释的方差的百分比，止。所谓准则，或是每个类分量所解释的方差的百分比，或是每一类的第二个特征值达到预设定的标准为止。如或是每一类的第二个特征值达到预设定的标准为止。如果没有规定准则，则当每个类只有一个特征值大于果没有规定准则，则当每个类只有一个特征值大于1时，时，VARCLUS过程停止。过程停止。ST

42、ATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程3.3.应用实例应用实例【例【例8-2】为研究人脑老化的严重程度，有人测定了不】为研究人脑老化的严重程度，有人测定了不同年龄的同年龄的60名正常男性名正常男性10项有关指标的数据，见表项有关指标的数据，见表8-6。各变量的含义如下：各变量的含义如下：AGE为年龄、为年龄、TJ为图片记忆、为图片记忆、SG为数字广度记忆、为数字广度记忆、TS为图形顺序记忆、为图形顺序记忆、XX为心算位数、为心算位数、XS为心算时间、为心算时间、CK为规定时间内穿孔数、为规定时间内穿孔数、BJ为步距、为步距、JJ为步行时双下肢夹角、为步行时

43、双下肢夹角、BS步速。步速。假定上述数据已经保存在逻辑库假定上述数据已经保存在逻辑库Mylib.rnlh中，试对中，试对这些指标作变量聚类分析。这些指标作变量聚类分析。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程(1)SAS程序程序 输入如下程序：输入如下程序：OPTIONS PS=500;/*要求输出的结果中每页包括500行内容，可避免不必要的SAS标题反复出现。*/PROC VARCLUS data=Mylib.rnlh;VAR age tj sg xx xs ts ck bj jj bs;RUN;说明：过程语句中没有任何选择项，默认的聚类方法为说明：过

44、程语句中没有任何选择项，默认的聚类方法为主成分聚类法。过程步最终会聚成多少类，将由默认的主成分聚类法。过程步最终会聚成多少类，将由默认的临界值来决定，即当每个类只有一个特征根大于临界值来决定，即当每个类只有一个特征根大于1时，时，VARCLUS过程停止。过程停止。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程(2)结果分析结果分析 1)第第1步：如图步：如图8-4所示。这是用分解法思想进行斜交所示。这是用分解法思想进行斜交主成分聚类的第主成分聚类的第1步，把全部步，把全部10个变量聚成一类，能解个变量聚成一类，能解释的方差为释的方差为4.146566，占总方差

45、，占总方差10的的41.47，第，第2特征特征值为值为1.4695，并预告这一类将被分裂。，并预告这一类将被分裂。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程 2)第第2步将步将1类分裂成类分裂成2类，分别含类，分别含3个和个和7个变量，图个变量，图8-5给出聚类概要。给出聚类概要。图中表明各类中的图中表明各类中的Variation Explained（解释方差，（解释方差，即第一特征值）、即第一特征值）、Proportion Explained（解释方差占（解释方差占本类总方差的百分比）、本类总方差的百分比）、Second Eigenvalue（类中的第（

46、类中的第2特征值）等。此时能解释的方差为特征值）等。此时能解释的方差为5.403654，占总方，占总方差差10的的54.04。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程 图图8-6给出相关系数的平方。给出相关系数的平方。其中第其中第3列列R-Squared With Own Cluster是指每个变量是指每个变量与所属类分量之间相关系数的平方与所属类分量之间相关系数的平方R2，如：变量，如：变量BJ在在第第1类中，它与第类中，它与第1类分量（相当于主成分分析中的第类分量（相当于主成分分析中的第1主成分）之间的主成分）之间的R2是是0.8166，同理可理解该

47、列中的其他，同理可理解该列中的其他相关系数的含义；相关系数的含义；STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程 第第4列列R-squared with Next Closest是指每个变量与相是指每个变量与相邻类的类分量之间的相关系数的平方邻类的类分量之间的相关系数的平方R2，如：，如：BJ与第与第2类分量之间的相关系数平方类分量之间的相关系数平方R2为为0.2121，该值越小，说，该值越小，说明分类越合理。明分类越合理。第第5列列R-squared with 1-R*2 Ratio是由同一横行的数是由同一横行的数据求得：据求得：如：如：(1 0.8166)

48、/(1 0.2121)=0.2327，此值越小，表，此值越小，表明分类越合理。从此列可看出，很多比值较大，说明这明分类越合理。从此列可看出，很多比值较大，说明这10个变量分成个变量分成2类是不太合适的。类是不太合适的。Closest)Next withsquaredR(1Cluster)Own withsquaredR(1*2Ratio*R1STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程 图图8-7给出从标准化变量预测类分量的标准回归系数。给出从标准化变量预测类分量的标准回归系数。若设若设C1、C2分别为第分别为第1和第和第2类分量，则有：类分量，则有：C1=

49、0.356608 BJ+0.377719 JJ 0.353237 BSC2=0.281106 AGE+0.278996 TJ+0.239620 SG 0.120883 XX+0.1567777XS+165498TS+0.260054BSSTATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程图图8-8给出类结构。给出类结构。类结构相当于因子分析中的因子模型，即每个标准化变类结构相当于因子分析中的因子模型，即每个标准化变量可以表示成全部类分量的线性组合。如：量可以表示成全部类分量的线性组合。如：AGE=0.574313C1 0.806650C2。类内相关（图类内相关（图8

50、-9）就是类分量之间的相关系数阵。）就是类分量之间的相关系数阵。这里预告第这里预告第2类将被分裂。类将被分裂。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程 3)第第3步。步。首先给出将首先给出将2类分裂成类分裂成3类时的聚类概要。类时的聚类概要。3个类分别个类分别含含3个、个、4个和个和3个变量，此时能解释的方差为个变量，此时能解释的方差为6.392112，占总方差占总方差10的的63.92，如图，如图8-10所示。所示。接着给出各变量与类间的相关系数平方（图接着给出各变量与类间的相关系数平方（图8-11）STATSTATSTATSTATSASSAS软件与统