第16章非参数检验课件.ppt

1、第16章 非参数检验n前面学过的参数估计和假设检验都是以总体分布已知或对分布作一定假设为前提的，我们称这类统计推断为参数统计。n但在许多实际问题中，我们不知道总体分布的情况，即使对总体的分布进行了假设，但很可能这类假设与真实情况不符。因此参数统计在一些情况下不再适用。n非参数统计：n对总体分布的形式不必做任何限制性假定，不以估计总体参数为目的的推断统计。n这种统计主要用于对某种判断或假设进行检验，故亦称非参数检验。n应当指出，这里所谓的“非参数”，只是指在检验的过程中，未对检验统计量服从的分布及参数做出限制，并不意味着在检验中“不涉及参数”或“不对参数进行检验”。非参数方法适用的数据测量尺度n

2、数据的集中测量尺度：n1.名义尺度（定类）：表示个体属性或类别，可以用数值表示，也可用非数值表示n2.序数尺度（定序）：对观测值排序或排秩，有顺序之分。n3.区间尺度（定距）：数据具有顺序特性，且用于衡量数据间的差异，必须是数值型。n4.比例尺度（定比）：数据具有区间特性，且数据的比例关系有意义，必须是数值型。n非参数检验可用的场合：n1.名义尺度、序数尺度（以上两类数据的方差、均值和标准差计算都没有意义）n2.在无法对总体概率分布做出假定时，用于区间尺度和比例尺度。n非参数检验的优点：n1.检验条件比较宽松，适应性强。n2.检验的方法比较灵活，用途更广泛。n3.检验计算相对简单，易于理解。n

3、非参数检验的缺点：n1.检验功效较低。n2.信息损耗较多。n结论：参数检验与非参数检验是针对不同情况提出的两种统计方法，它们各有优缺点，可互为补充。符号检验n1.定义n忽略具体量的差异，仅用差异的正负号来做判断的一种检验方法。适用于对无法以数字计量的情况进行比较。n2.检验步骤n(1)确定配对样本，分别计算差异正与负的数目，无差异记做0，并将它从样本中删除，相应减少样本容量n。n(2)建立假设：H0:P=0.5;Ha:P0.5n(3)观察样本容量：n若n20,做二项分布处理；若n20,做近似正态分布处理。n(4)设定显著性水平，查表确定临界值，进行判断和比较。n3.符号检验的小样本情形n例：某

4、软饮料公司想了解消费者对目前市场上的两种饮料（Citrus valley和Tropical Orange）的偏好情况，以确定消费者对其中一种是否偏爱。n以p表示消费者总体中偏爱Citrus Valley的比率，以符号来记录消费者个体的偏好。用“+”来表示偏爱Citrus Valley，用“-”来表示偏爱Tropical Orange。n我们检验的假设设定分别为：nH0:p=0.5;Ha:p0.5n若原假设为真，则”+”的个数（记为 ）应服从p=0.5的二项分布。n若令显著性水平定为0.05，拒绝域为？n回忆二项分布的概率函数。n因为n因此，当显著水平设定为5%时，拒绝域为 9。025.0019

5、2.00161.00029.00002.0)2()1()0()9()3(PPPPP025.00729.00537.00161.00029.00002.0)3()2()1()0()8()4(PPPPPPn我们列出样本消费者对这两种饮料的偏好记录：消费者品牌倾向符号记录1Tropical Orange-2Tropical Orange-3Citrus Valley+4Tropical Orange-5Tropical Orange-6Tropical Orange-7Tropical Orange-8Tropical Orange-9Citrus Valley+10Tropical Orange-

6、11Tropical Orange-12Tropical Orange-n以p表示消费者总体中偏爱Citrus Valley的比率，的个数为2，恰好落入了之前分析的拒绝域中，因此拒绝H0的假设。即消费者对两种品牌的偏爱存在差异。消费者更偏爱的品牌是Tropical Orange.n4.大样本情形(n20)n例：60名消费者被随机选出对A、B两种牌子的洗发水打分，规定分数从5到1，分数越高说明评价越好。n收集的数据如下：消费者品牌A的得分品牌B的得分符号记录134-225-342+4330554-6220 我们将配对的样本得分之差做符号记录n汇总的结果：“+”表示A品牌的分数高于B品牌的分数，“

7、-”则相反，若两品牌的得分一致，我们给0值。“”的个数为15个，“”的个数为35个，“0”为10个。n通过这样的整理以后，问两张洗发水受欢迎程度是否不同？n令p表示为得到“”号的概率，表示为号个数n检验的假设设定为：H0:p=0.5;Ha:p0.5n统计量的选择：在大样本下，若H0为真，加号个数 服从正态分布，均值为u=0.5n，标准差为n25.0n因此，在H0为真的情况下，选择Z统计量，n服从标准正态分布。n此时的Z统计量同样可以由下式表示：n n 为样本中正号出现 n 的频率（此时需先删除0差 n 异样本点的影响）nnpnpnpz25.05.0)1(npnppppz/25.05.0)1(p

8、n拒绝规则：n如果|z|Z(a)，拒绝H0。n在本例中，n计算的统计量n或3.050/15,15p83.250250505.01525.05.0)1(.nnpnpnpz83.250/25.02.0/25.05.0)1(npnppppzn在显著水平5%下，由于|z|=2.831.96拒绝H0。认为两个牌子受欢迎程度不同，B品牌洗发水更受消费者青睐。注意例题中的n取值：n=50,而不是60n假设某地区居民在经济改革前的经济状况记作变量X，改革后的经济状况记作变量Y。第j户居民改革前后的经济状况分别 和 。二者之间的变化记作 。n请注意，现在我们不关心具体数值，只关心它的符号。jjjyxdjyjxn

9、如果改革没有引起居民经济情况的变化，那么居民经济情况的前后差异就完全是由于各种随机因素的影响形成的（假定其它重要的影响因素都已控制不变），于是正差值的个数与负差值的个数会大体相等。把0差值舍去后，相当于对总体（正差值与负差值组成的总体）作二项试验，每次试验出现正号的概率是 p=0.5。n相反，如果改革引起了居民经济情况的明显好转，则正差值的个数会比负差值的个数多。对正差值与负差值组成的总体作二项试验，每次试验出现正号的概率是p 0.5。n检验所针对的原假设是：H0:改革没有引起居民经济情况的变化（总体X改革前的经济状况与总体Y改革后的经济状况没有差别），或nH0:p=0.5。n建立原假设为真前

10、提下的下列检验统计量：)1,0(/25.05.0Nnpzp表示为配对样本d为正的频率。n关于中位数的假设检验（运用符号检验对单总体位置特征的实例）n中位数是将总体分成均等两部分的一个分位数，其中50%位于中位数以上，另外50%位于中位数以下。n我们可以利用符号检定来对总体的中位数进行假设检验。n例：在62所新住宅组成的样本中，34所住宅的价格高于13万美元，26所住宅的价格低于13万美元，2所住宅的价格恰好为13美元。要求检验新住宅价格的中位数是否为13万美元？n如何利用符号进行检验？n当样本数据大于所假设的中位数时，我们用正号标注，反之用负号标注，若样本数据恰等于中位数时，我们用0标注，并将

11、其从样本中删除。n关于中位数的假设检验有如下设定：nH0:Median=13;Ha:Median13n大样本下，H0为真的前提下，样本数据大于中位数的个数 近似服从均值为0.5n，方差为0.25n的正态分布。n即选择统计量Z03.160250605.03425.05.0.nnZn根据统计量的抽样分布特点，推知当|z|Z(a)时，拒绝H0，否则，不能拒绝H0。n在显著水平5%下，由于1.031.96，因此我们不能拒绝H0。即不能否定新建住宅价格的中位数为13万美元的论断。n注意：样本容量n=60,而不是62n小结：n符号检验可用于单总体某个位置特征的检验（中位数检验）；也可用于两总体位置分布特征

12、是否相同的检验。n但符号检验的缺点在于：仅利用差异方向或符号的正负做检验，而忽略了对差异多少的量的信息，因此对资料的利用不够充分。Wilcoxon检验n该检验是不做正态分布假定的利用匹配样本检验两总体间差异的方法。n该检验利用的信息：除了匹配样本间的差异符号（方向），同时考虑了差异数值的大小。同一个样本分别对两类方法进行试验，同时产生基于总体1和基于总体2的观察点。n适用性：1.数据类型为区间尺度数据。n2.假设成对观测值的差异总体服从正态分布。n检验步骤：n(1)计算带正、负号的差数dn(2)将d的绝对值按大小排序并编出等级(顺序号)，相邻的等值以其为序的平均数为等级，0差异被剔除。n(3)

13、将差数原来的符号赋予每个等级，确定等级个数。n(4)将所有带符号的等级相加，求秩和并用T表示其值，原假设为T=0。n(5)计算统计量n(6)根据显著水平确定临界值，进行比较和判断。)1,0(6)12)(1(NnnnTTzTTn注意到统计量Z的特点：n在H0为真，即H0:两总体均值相同的前提下，且n至少为10时，T（秩和）的抽样分布近似服从均值为0，方差为n(n+1)(2n+1)/6的正态分布。n例：考察学生某课程的期中与期末考试成绩是否有明显差异？期中71647359859365728775期末82697958858667929472学生编号x1-x2|x1-x2|等级符号等级1-111188

14、2-55443-66554+11115006+776.56.57-22228-2020999-776.56.510+3333T24剔除无差异样本点n检验过程：nH0:期中与期末考试成绩无差异；nHa:期中与期末考试成绩有差异n计算统计量Z：当H0为真时，Z服从标准正态分布n计算得：)1,0(6)12)(1(NnnnTTzTT42.1619109246)12)(1(nnnTzn由拒绝原则，n在显著水平5%下，临界值为1.96.n因为1.42 2)，W将接近它的最大可能值；如果总体1的分布位于总体2的左边(1 2)，W将接近它的最小可能值；如果二总体分布位置相同(1=2)，W将等于中间值，即，(最

15、大可能值+最小可能值)/2。n秩和检验或MWW检验的原假设是：H0:1=2。n1.小样本情形（若两个样本的样本容量小于或等于10，那么就认为是小样本情形）n例：某高中的学生分别来自A初中和B初中，要比较两种生源的学习潜力是否有差异，抽取来自A初中的4名高中生和来自B初中的5名高中生组成随机样本，他们在班级中的名次如下表所示：A初中班级排名B初中班级排名1-A81-B702-A522-B2023-A1123-B1444-A214-B1755-B146n检验的步骤：n1.将两样本数据混合排序，最低值的秩为1，最高值的秩为9.n2.分别计算来自两个总体样本的秩和。n3.根据MWW检验的表查得TL，并

16、根据公式计算得到TU的值。nTU=n1(n1+n2+1)-TLn4.当秩和T严格小于TL或大于TU时，才可拒绝原假设H0:两总体相同的假定。n由于有两个总体样本，因此选择秩和进行检验的时候要注意，两个统计量T都可以选择，只是具体查表时的参数会依据不同的检验秩和T而改变。A初中排名样本秩B初中排名样本秩1-A811-B7042-A5232-B20293-A11253-B14464-A2124-B17585-B1467n先假设使用A初中的秩和，计算得到T=11。若该校生源确实是更为优秀，则T可以取的最小值应为(1+2+3+4=10),若T越接近10，则说明A初中生源确实更为优秀。n若该校生源确实较

17、为不好，那么T可以取的最大值应为(6+7+8+9=30)，即T越接近30，说明A初中的生源状况确实较差。n同理对B初中的秩和T，也有类似的推断过程，可以了解到T的取值范围。n回到我们的假设设定：H0:两总体相同；Ha:两总体不同n若H0为真，两总体中位数相同，则A初中的秩和应接近平均值即(10+30)/2=20nB初中的秩和T应接近平均值(1535)/2=25n现查表得到对应T的临界值TL和TUn当考察A初中学生的秩和进行检验时，n1=4,n2=5,5%的显著水平下，查表得到TL=12,由公式计算得到TU=28，即当TTU时，拒绝H0的假设。即认为两初中生源在学习潜力方面是不同的。n问？若考察

18、B初中学生的秩和进行检验时,是否会得到相同的检验结果？n2.大样本情形（两个样本容量大于10或等于10时）n与小样本不同的是，我们可以采用近似正态分布作为T秩和的抽样分布。n检验步骤与小样本一致：先混合排序，然后赋予各观察点秩值，然后求各总体样本的秩和。n唯一的不同在于：n大样本下，T秩和的抽样分布，在H0为真的情况下（H0:两总体相同），n近似服从均值为n标准差为n的正态分布)1(21211nnnT)1(1212121nnnnTn相应的：检验的规则为，n统计量n若|z|Z(a),拒绝H0，否则，不能拒绝H0TTTzn例：美国第三国民银行的两个分行的账户余额如下表所示：问是否由以上数据可以判断

19、两分行的账户余额总体相同？A行余额秩B行余额秩110952018857295514285043120022391584119521495012.55925958002695012.56750178053786558945118100016987569105018101055191093510111025171297515两个或更多下相同数据，用平均秩赋值n计算各总体样本的秩和nA分行的秩和T=169.5;B分行的秩和T=83.5nH0:两分行的账户余额总体相同；nHa:两分行的账户余额总体不同n使用来自A分行的样本秩和T=169.5n若H0成立，则T的抽样分布在样本容量大于或等于10时近似正态

20、。n由题意计算得到：n统计量n由于|z|1.96，故拒绝H0。认为两银行账户余额同体不同。17.1512/)1(1382/)1(2121211nnnnnnnTT08.217.151385.169TTTz克鲁斯卡尔-沃利斯Kruskal-Wallis检验n适用范围：考察多个总体是否相同的情形n适用数据：用于序数、区间或者比例尺度的数据。n当正态分布假设以及方差相等的检验未能满足时，K-W检验可以作为一种替代统计检验方法用于检验三个或三个以上总体是否相同。方差分析的前提大学A大学B大学C2560507020706030608515809540909035708075例：某公司从3所大学聘用管理人员

21、。最近该公司人事部评出雇员年度表现得分，以确定从三所大学招聘来的管理人员的表现是否有差异？n检验步骤：n(1)将三样本数据混合排序，最低值等级为1，最高值等级为20.n(2)求每个总体样本的等级和n(3)计算相关统计量WnK总体个数，ni为样本i的个数，Ri为样本i的秩和。可证明，在原假设即各个总体相同的前提下，W近似服从自由度为k-1的卡方分布。iR)1(3)1(1212TkiiiTTnnRnnW）（n按照以上规定进行混合排序后得到的结果如下：大学A秩大学B秩大学C秩2536095077012202701260930460985171518015.595204069018.59018.535

22、570128015.57514秩和952788nK-W检验：nH0:来自三所大学的管理人员表现相同nHa:至少两所大学的管理人员表现有差异n由样本计算得到W统计量，在H0为真的前提下，W近似服从自由度为(3-1)的卡方分布92.81203788627795212012)1(3)1(1222212）（）（）（TkiiiTTnnRnnWn由拒绝原则，当W 时，拒绝H0。n在显著水平5%下，卡方分布的临界值为5.9915n由于8.925.9915，因此拒绝H0,因此认为来自不同大学的管理人员，其业绩表现是明显不同的。其中B大学的管理人员表现水平最差，因此有理由减少从B大学招聘员工的数额。)2(2秩相

23、关n之前讨论过的两变量间相关系数的前提是：两随机变量的联合分布是二维正态分布。当随机变量的分布不能满足正态性要求时，或者所要研究的变量不是数量型变量时，通常的相关分析方法不宜使用n这里考虑只能得到顺序数据的两个变量间关系的度量n1.斯皮尔曼秩相关系数n 为变量1的第i项的等级(秩)；为变量2的第i项的等级(秩)。n对X，Y两变量先分别排序，再在此基础上计算相关系数。n斯皮尔曼秩相关系数与应用于序数数据或排序数据的Pearson相关系数是相同的。)1(6122nndrisiiiyxdixiyn样本等级相关系数的取值范围是-1rs1。n当rs=1时，说明样本等级资料完全正相关；n当rs=-1时，说

24、明样本等级资料完全负相关；当rs=0时，说明样本等级资料不相关；n当0 rs 1时，rs越接近1，正相关程度越高；当-1 rs Z(a/2)，则拒绝H0。11nrrZsrrsssn由本例对总体的秩相关系数进行检验：nH0:；Ha:n在H0为真的前提下，且样本容量恰好为10，统计量Z服从标准正态分布，n由拒绝规则，知道2.211.96，因此拒绝H0的假设，认为总体的秩相关系数显著非零。0s0s21.29/173.011nrrZsrrsssn说明：n有时，观察结果出现了相同的等级，这时，须计算这几个观察结果所在位置秩次的简单算术平均数作为它们相应的等级。在这种情形下应用斯皮尔曼等级相关系数计算公式

25、所得之结果显然只是近似的。若相同等级不是太多，可以近似应用上述公式，否则应加以修正。作业n1.股票分析是否有利于股东？SNL证券公司对银行业18个月来的股票分拆进行了一项研究，发现股票分拆会导致个人持股者的股票价格上升。假设某个样本由20个最近的股票分拆案例组成，其中，有14个案例导致股票价值上升，4个案例导致股票价值下跌，2个没有发生任何变化。利用符号检验确定股票分拆是否一致对银行股持有者有利？na:零假设与备选假设nb:在显著水平5%下，给出拒绝规则nC：有何结论？n2.三种汽车在测试中所得的每加仑汽油形程里程。在显著水平5下，利用克鲁斯卡尔沃利斯检验来确定三种汽车的汽油行驶里程是否有显著的不同？AB19192120202219212123n3.1996年职业高尔夫球手击球距离和击球杆数的排秩情况，在显著水平5%下，击球距离和击球杆数间的秩相关系数是多少？选手距离杆数115256341049256761037288399741081