统计学第13讲-第13章-非参数检验课件.ppt

1、第第13章章 非参数检验非参数检验13.1 导言导言 科研中不是所有的变量都可以采用参数检验，如科研中不是所有的变量都可以采用参数检验，如果变量严重偏离已知分布，可考虑采用非参数检验。果变量严重偏离已知分布，可考虑采用非参数检验。即便在小样本情况下，非参数检验仍然和参数检验一即便在小样本情况下，非参数检验仍然和参数检验一样有效。样有效。 在选择检验方法时要小心，如果是试探性的，可在选择检验方法时要小心，如果是试探性的，可选择一些样本，使用多种检验方法进行统计分析，选择一些样本，使用多种检验方法进行统计分析，借以了解不同检验方法的差异。借以了解不同检验方法的差异。 但是要避免下列错误做法：先搜集

2、数据，在但是要避免下列错误做法：先搜集数据，在“货货比三家比三家”后选择一个有利于自己科研结果的，并且能后选择一个有利于自己科研结果的，并且能带来统计显著性的统计方法带来统计显著性的统计方法科研中。虚无假设、备择假设、统计检验、抽样分布科研中。虚无假设、备择假设、统计检验、抽样分布以及显著性水平都必须在数据搜集之前就要确定下来以及显著性水平都必须在数据搜集之前就要确定下来。如果先搜集数据，再。如果先搜集数据，再“货比三家货比三家”地考虑统计分析地考虑统计分析方法，我们会为了方法，我们会为了“差异显著差异显著”而夸大偶然造成的差而夸大偶然造成的差异效应，会增大犯异效应，会增大犯类错误的概率。类错

3、误的概率。13.2 类别变量类别变量分类变量的数据就是计数数据，非参数检验适合小样分类变量的数据就是计数数据，非参数检验适合小样本的计数数据。但是当大样本时，计数数据也可考虑本的计数数据。但是当大样本时，计数数据也可考虑使用参数检验。使用参数检验。测量、等距、比率量表，当样本小并且分布不明朗测量、等距、比率量表，当样本小并且分布不明朗，不服从正态分布，可考虑非参数检验。，不服从正态分布，可考虑非参数检验。13.2.1 二项检验二项检验称名量表的测量水平最低，常用二分类，称名量表的测量水平最低，常用二分类，(two-category)或二分总体或二分总体(dichotomous populati

4、on)请同学举例说明有那些二分总体？请同学举例说明有那些二分总体？男女，对错，正反，阴阳，有无文化男女，对错，正反，阴阳，有无文化.定义：二分总体中，定义：二分总体中， p 为一类所占的比例，为一类所占的比例，q=1p为另一类所占比例。为另一类所占比例。例题：某大学教导主任说，自从学校禁售香烟以来例题：某大学教导主任说，自从学校禁售香烟以来，吸烟学生比例下降到，吸烟学生比例下降到70%以下。但是对其他学校以下。但是对其他学校观察发现，禁售对吸烟影响不大，仍然有观察发现，禁售对吸烟影响不大，仍然有70%的人的人在吸烟。请检验教导主任的说法是否正确。在吸烟。请检验教导主任的说法是否正确。随机抽取随

5、机抽取40名同学，询问发现其中有名同学，询问发现其中有12名吸烟。则名吸烟。则不吸烟的同学数量为：不吸烟的同学数量为： X=28用用 P0 表示总体吸烟比例表示总体吸烟比例 1. 虚无假设：吸烟学生总体比例虚无假设：吸烟学生总体比例P00.72. 备择假设：样本所在总体比例备择假设：样本所在总体比例P00.74. 统计检验统计检验: 二分总体二分总体 , 采用二项式检验采用二项式检验5. 抽样分布抽样分布: 统计量为统计量为 X , 在附表在附表N中列出中列出N50时时,不同不同p,q的单侧临界值。的单侧临界值。3. 显著水平：显著水平：=0.05，单尾检验，单尾检验6. 临界区间：参照表临界

6、区间：参照表N，N=40，p=0.30,q=0.70,发发现现0.05的临界值为的临界值为18，单尾检验。，单尾检验。7. 因为因为X=2818，拒绝，拒绝H0，认为教导主任是对的，认为教导主任是对的N p q 0.010.990.020.980.300.700.490.510.500.5020.010.051112.30.010.051222.400.010.053334.201826282628490.010.053445.212331333134表表N 当当N=249时时, =0.01和和0.05时时,p和和q各种取值下的临界值各种取值下的临界值N=40,=0.05，因为，因为X=281

7、8，拒，拒绝绝H0，认为教导主任是对的，认为教导主任是对的13.2.2 当当N比较大时，二项分布近似正态曲线比较大时，二项分布近似正态曲线当当p=q=0.5，或，或p、q接近接近0.5时，二项分布接近正时，二项分布接近正态分布态分布简便法则：当简便法则：当pq接近接近0或或1时，时，Npq至少等于至少等于9，当，当p=q=0.5时，时，N25。此时，二项变量此时，二项变量XN(Np, ) 的正态分布的正态分布NpqNpqNpXz 13-1z N(0, 1 ) ,X的概率的概率= z 对应的概率对应的概率例题例题 已知已知 X=5，N=20，p=q=0.5,=0.05，双尾检验，双尾检验。计算。

8、计算P(X5) 或或P(X15）23. 224. 2/5555 . 05 . 0205 . 0205 z当当=0.05，双尾检验时，双尾检验时，| z |1.96，所以拒绝，所以拒绝H0如果我们从附表如果我们从附表M中查找，中查找， X=5，N=20，双尾检验，双尾检验，发现：拒绝，发现：拒绝H0需要需要NX15，本题，本题NX=15，所，所以拒绝以拒绝H0。这和利用正态分布计算是一致的。表。这和利用正态分布计算是一致的。表M只列出了只列出了N=50的临界值，建议的临界值，建议N50时才使用正态分时才使用正态分布。布。13.3 单变量的单变量的2 检验检验肥胖与健康问题有关，亚特兰大疾控中心定

9、期进行全肥胖与健康问题有关，亚特兰大疾控中心定期进行全国青少年危机监督调查，对国青少年危机监督调查，对11631名男女青年名男女青年(9到到12年年级）自身体重观的部分调查结果。级）自身体重观的部分调查结果。偏瘦偏瘦正常正常过胖过胖合计合计419340219955816这个问题可以使用单变量这个问题可以使用单变量2 检验或拟合优度检验检验或拟合优度检验(goodness-of-fit test)观测值与虚无假设下的期望值之间是否存在差异？观测值与虚无假设下的期望值之间是否存在差异？观测值分布是否与理论分布相吻合？观测值分布是否与理论分布相吻合？表表13-1 女生的自身体重观女生的自身体重观偏瘦

10、偏瘦正常正常过胖过胖合计合计f1f2f35816H0: f1=f2=f3 kieeofff122)( 如果观察值与期望值比较接近，则如果观察值与期望值比较接近，则2 很小，不拒绝很小，不拒绝H0 , 否者否者2 会增大，会增大， 2 越大，则越有可能拒绝越大，则越有可能拒绝H0.在在 t 分布中，自由度与样本量有关，而分布中，自由度与样本量有关，而2 分布的自分布的自由度与类别由度与类别 k 有关，单变量，有关，单变量，df=k1。此题的。此题的k=3, df=3 1=2判断方法，如果判断方法，如果2 2临界值，则拒绝临界值，则拒绝H0。 表表13-2 2 部分临界值表部分临界值表体重偏低体重

11、偏低体重正常体重正常体重偏重体重偏重合计合计实际值实际值419(7%)3402(58%) 1995(34%) 5816期望值期望值1938.6671938.6671938.6675816 fofe-1519.6671463.66756.3330 (fofe)22309387.702141343.40 3173.41(fofe)2/fe1191.2241104.5441.3702=2297.138 表表13-3 女生对自身体重观念，女生对自身体重观念，H0下的期望值及下的期望值及2 值计算表值计算表因为因为2=2297.138 9.210，拒绝，拒绝H0。34%远远超过远远超过7%，这些，这些女

12、生有女生有80%正在减肥正在减肥13.4 独立类别变量的独立类别变量的2检验检验问题问题1. 不同社会经济背景的儿童，其暴力犯罪的概不同社会经济背景的儿童，其暴力犯罪的概率是否存在差异？率是否存在差异？暴力犯罪与社会经济背景是独立的？还是暴力犯罪暴力犯罪与社会经济背景是独立的？还是暴力犯罪部分取决于社会经济背景。部分取决于社会经济背景。问题问题2. 男女青年对于自身体重观念存在差异吗？男女青年对于自身体重观念存在差异吗？人们对自身体重的观念与性别有关吗？人们对自身体重的观念与性别有关吗？上述诸多问题归纳为两点：上述诸多问题归纳为两点：1. 对两个或多个称名变量的研究对两个或多个称名变量的研究2

13、. 每个类别的变量绘制成交叉表每个类别的变量绘制成交叉表交叉表的缺点：没有明显办法计算期望值交叉表的缺点：没有明显办法计算期望值表表13-4 22列联表，男女青年体重自我感觉列联表，男女青年体重自我感觉自我感觉自我感觉性别性别过轻过轻过重过重合计合计女性女性419(a)1995(b)2414男性男性959(c)855(d)1814合计合计137828504228H0：感觉与性别无关：感觉与性别无关 H1:感觉与性别有关感觉与性别有关如果如果H0是真实的，则预期女性自认为体重过轻的比是真实的，则预期女性自认为体重过轻的比例与行合计认为体重过轻的总比例相同，所以例与行合计认为体重过轻的总比例相同，

14、所以a单元单元格的期望次数为：格的期望次数为：8.7786137842282414 df=(行数行数-1)(列数列数-1)=(2-1)(2-1)=1表表13-5 男女青年体重自我感觉的期望次数男女青年体重自我感觉的期望次数单元格的期望次数单元格的期望次数性别性别过轻过轻过重过重合计合计女性女性786.781627.222414.00男性男性591.221222.781814.00合计合计1378.002850.004228.00表表13-6 每个单元格的体重卡方值每个单元格的体重卡方值(fofe)2/fe的计算的计算因为因为2=594.44 3.8415，拒绝，拒绝H0。性别性别过轻过轻过重过

15、重合计合计女性女性171.9283.122=594.44男性男性228.78110.62注意：使用注意：使用2检验要求每一个观察值或出现的频次都检验要求每一个观察值或出现的频次都与其他观察值相独立。你不可能对同一个体进行多次与其他观察值相独立。你不可能对同一个体进行多次观测，把它看做是不同被试身上得到的，那么造成的观测，把它看做是不同被试身上得到的，那么造成的误差使得误差使得“N增大增大”，导致犯，导致犯类错误。类错误。电影类型电影类型喜剧喜剧悲剧悲剧被试被试1男性男性61被试被试2男性男性40被试被试3女性女性13被试被试4女性女性02例如：研究两男两女例如：研究两男两女4位朋友看电影的情况

16、，位朋友看电影的情况，417，这类数据不能列成交叉表，宜用参数检验，这类数据不能列成交叉表，宜用参数检验电影类型电影类型喜剧喜剧悲剧悲剧合计合计男性男性10111女性女性156合计合计1161713.5 顺序量表变量顺序量表变量非参数检验非参数检验1. 曼曼-惠特尼惠特尼U检验检验(Mann Whitney U test)适用于独立样本，因变量可以是定量的，也可以是适用于独立样本，因变量可以是定量的，也可以是分类的，定量的不服从正态分布，用分类的，定量的不服从正态分布，用U检验代替检验代替 t 检验。检验。2. 符号检验符号检验(Wilcoxon sign test)适用于两组相关样本设计，根

17、据某些标准条件对被试适用于两组相关样本设计，根据某些标准条件对被试进行配对，或者对同一被试进行前后测量，尽管因变进行配对，或者对同一被试进行前后测量，尽管因变量分数是顺序量表，我们并不愿意假设差异具有精确量分数是顺序量表，我们并不愿意假设差异具有精确的属性。因此，忽略分数之间的差异，只是关心这些的属性。因此，忽略分数之间的差异，只是关心这些差异的方向差异的方向(即大于还是小于即大于还是小于)。3. 维尔克松配对符号等级检验维尔克松配对符号等级检验(Wilcoxon signed rank test)适用于配对组设计，并且假设数据是量化适用于配对组设计，并且假设数据是量化的，数据之间的差异可以可

18、以按照差异量的大小进的，数据之间的差异可以可以按照差异量的大小进行排序。行排序。13.6 独立样本设计：曼独立样本设计：曼-惠特尼惠特尼U检验检验例题例题 进行一项研究，目的是探明某药物刺激视觉反应进行一项研究，目的是探明某药物刺激视觉反应时的影响，实验组有时的影响，实验组有8个被试，控制组有个被试，控制组有7个被试，因个被试，因变量是反应时，单位为毫秒变量是反应时，单位为毫秒(ms)，反应时往往是右偏，反应时往往是右偏态的，可考虑选择态的，可考虑选择U检验而不是检验而不是 t 检验。检验。1. 将实验组与控制组放在一个表中从小到大排序将实验组与控制组放在一个表中从小到大排序2.将各组的等级分

19、别相加求和：实验组的等级为将各组的等级分别相加求和：实验组的等级为T1, N1=8，控制组，控制组T2 , N2=7。有两个统计量，有两个统计量，U 和和 都可用来检验都可用来检验H0U 111212)1(RNNNNU 13-3222212)1(RNNNNU 13-4曼曼-惠特尼惠特尼U检验的虚无假设是检验的虚无假设是H0：U =U 换言之，如果两个分布的等级相同，则换言之，如果两个分布的等级相同，则 ,并并且必须假定两组之间无系统误差。假如一组的等级且必须假定两组之间无系统误差。假如一组的等级比较多，则比较多，则 .当我们拒绝虚无假设时，一组的当我们拒绝虚无假设时，一组的等级分数比预期的少，

20、而另外一组比预期的多。等级分数比预期的少，而另外一组比预期的多。UU UU 表表13-7 使用公式使用公式13-3计算曼计算曼-惠特尼惠特尼U检验检验(假设数据假设数据)实验组实验组控制组控制组计算计算时间时间(ms) 等级等级时间时间(ms)等级等级140413011476135215381383160101445165111487170121559171131681219314R1N1=8R2=39N2=78129856 =11=56+36-81111212)1(RNNNNU 检验步骤如下：检验步骤如下：1. H0: 两组等级差异是机遇所致两组等级差异是机遇所致 UU 2. H1： 两组等

21、级差异不是随机的两组等级差异不是随机的 UU 3. 统计检验：曼统计检验：曼-惠特尼惠特尼 U 检验检验4. 显著水平：显著水平：=0.055. 抽样分布：曼抽样分布：曼-惠特尼惠特尼U：N1=8 , N2=76. 拒绝拒绝H0的判别区域：的判别区域：U10 或或 U46,如果如果U在此在此范围之外，就拒绝范围之外，就拒绝H0，否者不拒绝，否者不拒绝H0。因为因为U=1110，所以不拒绝，所以不拒绝H0 。这种药物对反应。这种药物对反应时没有影响。时没有影响。 N1N212345678920 7104689207010曼曼-惠特尼惠特尼U检验的临界值表见统计表检验的临界值表见统计表I,根据根据

22、U和和 的值大小的值大小决定否拒绝决定否拒绝H0。对任意的。对任意的N1和和N2，给定的，给定的水平，表中的值给水平，表中的值给出的是判别值的上下限。所以，统计量出的是判别值的上下限。所以，统计量U下限下限, 或或U U 上限，才能拒绝上限，才能拒绝H0。因为因为U=1110，所以，所以不拒绝不拒绝H0 。这种药物。这种药物对反应时没有影响。对反应时没有影响。13.6.1 具有相同等级的曼具有相同等级的曼-惠特尼惠特尼U检验检验数据中经常会出现几个分数恰好相同的情况，从理数据中经常会出现几个分数恰好相同的情况，从理论上说，如果测量工具精确到小数点几位以后，那论上说，如果测量工具精确到小数点几位

23、以后，那就不应存在相同测量结果。但是数据是连续的，测就不应存在相同测量结果。但是数据是连续的，测量数据大多数比较粗略，常常存在相同数据，好比量数据大多数比较粗略，常常存在相同数据，好比计算计算Spearman等级相关一样，要计算平均等级等级相关一样，要计算平均等级.如果相同等级出现在同一组，倒无所谓。但是，如如果相同等级出现在同一组，倒无所谓。但是，如果相同等级出现在不同的组，那就要采取矫正公式果相同等级出现在不同的组，那就要采取矫正公式。如不能矫正，其结果是检验比较。如不能矫正，其结果是检验比较“保守保守”，就是，就是说，不该拒绝虚无假设的时候却拒绝了虚无假设，说，不该拒绝虚无假设的时候却拒

24、绝了虚无假设，降低了犯降低了犯类错误的概率。只有相同数值比较多，类错误的概率。只有相同数值比较多，以及未加矫正的以及未加矫正的U值接近设定的显著性水平时，才值接近设定的显著性水平时，才建议矫正。建议矫正。13.6.2 N1 和和(或或) N2大于大于20时的曼时的曼-惠特尼惠特尼U检验检验两个样本容量基本相等，并且其中一个大于两个样本容量基本相等，并且其中一个大于20 ，U的分布近似正态分布的分布近似正态分布2)1(211 nnnT 13-512)1(21211 nnnn 13-7TTUZ 13-6假如某研究者完成了一项任务，该研究中假如某研究者完成了一项任务，该研究中N1=22,N2=22,

25、 组组1的等级之和的等级之和=630。=0.05，检验，检验虚无假设，两组来自平均等级相同的总体。虚无假设，两组来自平均等级相同的总体。12)1(21211 nnnn 12)12222(2222 60.421221780 基于基于H0的平均期望之和的平均期望之和2)1(211 nnnT 4952)12222(22 检验统计量检验统计量 z 为：为：17. 360.42495630 z因为因为 z 1.96 ，所以拒绝，所以拒绝H0，结论：两种实验处理，结论：两种实验处理产生了差异。产生了差异。13.7 相关样本的非参数检验相关样本的非参数检验13.7.1 符号检验符号检验重复前面讨论过的问题：

26、假设智力与领导能力是相重复前面讨论过的问题：假设智力与领导能力是相关变量，根据关变量，根据26人的智力进行配对，设立实验组和人的智力进行配对，设立实验组和控制组。在完成培训任务后，由独立观察者根据控制组。在完成培训任务后，由独立观察者根据50点量表进行评定。点量表进行评定。13个对子个对子 12345678910 1112 13实验组实验组4743 36 38 30 22 25 21 14 12 595控制组控制组4038 42 25 29 26 16 18 84735差异符号差异符号 0表表13-8 两个配对被试组的领导能力得分评定成绩两个配对被试组的领导能力得分评定成绩(假设数据假设数据)

27、对等级数据唯一能做的合理假设是：两配对分数之对等级数据唯一能做的合理假设是：两配对分数之间的任意差异仅仅说明差异的方向，不能说明大小间的任意差异仅仅说明差异的方向，不能说明大小差值为零的表示不存在差异，去掉后剩余差值为零的表示不存在差异，去掉后剩余12对，根对，根据虚无假设，有一半是正向变化，另外一半负向变据虚无假设，有一半是正向变化，另外一半负向变化，若化，若H0: p=q=0.5 ,成立，则出现正向变化和负向变成立，则出现正向变化和负向变化化(二分总体二分总体)的概率相等。的概率相等。其中其中12对显示出差异，有对显示出差异，有N+=9，N=3H0: p=q=0.5 , 有有N+=9，N=

28、3，参考下面临界值，参考下面临界值表，在表，在=0.05，双尾检验时，其临界值，双尾检验时，其临界值=10，而，而N+=910，不拒绝，不拒绝H0 , 领导培训课程没有高实验组领导培训课程没有高实验组被试的评定等级被试的评定等级单尾检验单尾检验双尾检验双尾检验N0.050.010.050.0155-98989109109101191010111210111011符号检验的缺点：忽略数据中可能存在的定量信息，符号检验的缺点：忽略数据中可能存在的定量信息，检验把所有的正向差异视为等同的，负向也是如此检验把所有的正向差异视为等同的，负向也是如此(例如例如-8=-7=-6)。如果数据确实允许我们考虑定

29、量性质。如果数据确实允许我们考虑定量性质：如：如“差异差异 876,” ，则使用符号检验会降低检，则使用符号检验会降低检验效力。验效力。13.7.2 Wilcoxon 配对符号等级检验配对符号等级检验如果在研究中同时考虑差异数量和差异方向，则检验如果在研究中同时考虑差异数量和差异方向，则检验更具有效力。更具有效力。Wilcoxon mathced-pairs signed-ranks test对子对子 12345678910111213实验实验 47433638302225211412595控制控制 403842252926161884735差异差异75 613 1 493 6826 0等级等

30、级 95(-)7121(-)4 113710(-)2 7较小等级和较小等级和T=7+4+2=13742表表13-9 两个配对被试组的领导能力得分评定成绩两个配对被试组的领导能力得分评定成绩(假设数据假设数据)H0:带正号的等级和带正号的等级和=带负号的等级和，如果带负号的等级和，如果H0为真为真，则带正号等级和与带负号等级和应该差不多，如果，则带正号等级和与带负号等级和应该差不多，如果差得多，就应该拒绝差得多，就应该拒绝H0。统计量统计量 T =13, 根据下表，根据下表，T13，拒绝，拒绝H0。单尾检验单尾检验0.050.0250.010.005双尾检验双尾检验N0.100.050.020.

31、0155-9853110108531113107512171397结论：领导培训课程确实提高了实验组被试结论：领导培训课程确实提高了实验组被试的评定等级，但是符号检验结论与此相反，的评定等级，但是符号检验结论与此相反，为什么？为什么？13.7.3 Wilcoxon 配对符号检验的理论假设配对符号检验的理论假设第第1假设：数据的测量水平至少要达到顺序水平，假设：数据的测量水平至少要达到顺序水平，即对分数按照大小顺序较小排列。即对分数按照大小顺序较小排列。第第2假设：分数之间的差异可以组成一个顺序量表假设：分数之间的差异可以组成一个顺序量表我们尚不清楚这个假设对任意一组数据都是有效的。我们尚不清楚

32、这个假设对任意一组数据都是有效的。例如在测验情境中，使用人格量表测量焦虑，我们是例如在测验情境中，使用人格量表测量焦虑，我们是否可以说，根据这个量表相差否可以说，根据这个量表相差5点的差异一定大于相点的差异一定大于相差差4点的数据差异？如果不能够得出这个结论，我们点的数据差异？如果不能够得出这个结论，我们就得使用其他的统计方法，哪怕显著性检验不够灵敏就得使用其他的统计方法，哪怕显著性检验不够灵敏、不够有效。、不够有效。再强调一次，科学研究的谨慎使我们宁愿犯再强调一次，科学研究的谨慎使我们宁愿犯类错类错误，也不愿犯误，也不愿犯类错误。类错误。 小结小结1. 数据分为两种相互独立的分类变量时，使用

33、二项检验。数据分为两种相互独立的分类变量时，使用二项检验。适用于分类变量的四种显著性检验方法和涉及顺序变量的五种适用于分类变量的四种显著性检验方法和涉及顺序变量的五种检验方法检验方法2. 单变量卡方检验，即拟合优度检验。单变量卡方检验，即拟合优度检验。3. 两变量卡方检验，确定两个变量时独立的还是相关的。重两变量卡方检验，确定两个变量时独立的还是相关的。重要条件是每个分类的频次必须是独立的，否者会犯要条件是每个分类的频次必须是独立的，否者会犯“N增大增大”的错误。的错误。4. 适用于顺序量表的非参数检验：曼适用于顺序量表的非参数检验：曼-惠特尼独立样本检验，惠特尼独立样本检验，Wilcoxon 相关样本的符号检验，配对样本的符号相关样本的符号检验，配对样本的符号-等级检验等级检验需要牢记的术语需要牢记的术语二分（类）总体二分（类）总体 单变量拟合优度检验单变量拟合优度检验N增大增大 曼曼-惠特尼惠特尼U检验检验符号检验符号检验 Wilcoxon 配对符号等级检验配对符号等级检验