非参数统计分析(最全版)PTT课件.ppt

1、2022-11-271非参数统计分析2022-11-272思考的要点 各种检验方法的思路 各种检验方法统计量的构造 各种检验方法的应用场合 在SPSS与R中如何完成 2022-11-273第一节第一节 卡方检验卡方检验第二节第二节 二项分布检验二项分布检验第三节第三节 单样本的单样本的KSKS检验检验第四节第四节 符号检验符号检验 第五节第五节 Cox-StuartCox-Stuart趋势检验趋势检验 第六节第六节 游程检验游程检验第七节第七节 WilcoxonWilcoxon符号秩检验符号秩检验2022-11-274第一节 Chi-Square test 卡方检验 卡方检验通常称为拟合优度检

2、验。主要是通过样本观测值检验总体是否服从某个分布。如果数据是连续的，需要将连续的分布进行分段，计算每段的期望概率与观测到的频率之间是否差异很大。在SPSS中的Chi-Square test，主要是对离散的总体进行拟合优度检验。2022-11-275 在实际问题中，会遇到必须了解总体的分布函数的时候，这时利用样本资料对总体的分布函数进行检验就成了非常重要的了。我们需要检验总体的分布函数F(x)是否等于某个给定的函数 F0(x)，可以根据经验来确定。其中含有未知参数时，应利用样本资料采用点估计求得后，再进行检验。一、2拟合优度检验2022-11-276【例1】某金融系统贷款的偿还类型有四种，各种的

3、预期还率为80%、12%、7%和1%。在一段时间的观察记录中，A型按时偿还的有380笔、B型偿还有69笔、C型有43笔、D笔有8笔。问在5%显著性水平上，这些结果与预期的是否一致。解：这个问题属于要检验每一类型的出现概率与理论期望概率是否相等，即检验%1%,7%,12%,80:43210ppppH:1H0iipp 2022-11-277根据显著性水平，有 ，由于表明5%的显著水平下，不能拒绝原假设，即观测的比率与期望的比率一致。82.7)3(282.7)3(98.52Q类型A380400-204001.00B69609811.35C43358641.83D85391.80合计500500_5.

4、98if)(iienpiinpf 2)(iinpf iiinpnpf2)(2022-11-278（1）提出统计假设由统计假设出发，将总体取值范围分为m个互不相容的小区间：xFxFH00：10tt，21tt，mmtt，1如果分布是连续的其检验步骤为：区间个数以714为宜。然后，统计出每个区间内样本点的数目fi，再用pi表示变量在第i个区间的概率，2022-11-279 在原假设为真的条件下，这个统计量近似地服从具有m1r个自由度的2 分布，其中r是需要用样本来估计的总体的未知参数的数目，若没有未知参数需要估计，则r为零。（2）选择适当统计量221miiiifnpnp2022-11-2710（3）

5、由给定的显著性水平，查表确定临界值 （这种检验是右侧检验）。rm12（4）利用样本值 计算实际频数 ，再计算经验概率 ，据以计算的值nxxxx，321ifipmiiiinpnpf122（5）作结论，若 ，则拒绝原假设，即认为总体的分布函数不为 ；反之，则接受原假设，即认为总体的分布函数为 。2rm12 xF0 xF02022-11-2711 卡方检验的窗口，SPSS的卡方检验主要用来检验离散随机变量的分布。2022-11-2712卡方检验的窗口。2022-11-2713X X380400.0-20.06960.09.04335.08.085.03.05001234TotalObserved N

6、Expected NResidualTest StatisticsTest Statistics5.9793.113Chi-SquareadfAsymp.Sig.X0 cells(.0%)have expected frequencies less than5.The minimum expected cell frequency is 5.0.a.P值大于，结果说明还贷情况与预期是一致的。2022-11-2714 【练习1】盒中有5种球，重复抽取200次（每次抽1个球）各种球出现的次数见下表。问盒中5种球的个数是否相等？显著水平。种别fi1234535404338442002022-11-2

7、715第二节第二节 二项分布检验二项分布检验2022-11-2716合格品合格品频数频数120052022-11-2717第第1步：步：指定“频数”变量：点击【Data】【Weight-Cases】，将“频数频数”选入【Frequency Variable】【OK】第第2步：步：选择【Analyze】【Nonparametric Tests-Binomial】选项进入主对话框第第3步：步：将待检验的变量选入【Test Variable List】(本例为“合格品”)第第4步：步：在【Test Proportion】中输入检验的概率 (本例为0.9)，点击【OK】(SPSS binomial t

8、est)2022-11-2718SPSS的输出结果 表中的合格品的观察比例为，检验比例为。精确单尾概率为，它表示如果该批产品的合格率为，那么25个产品中合格品数量小于等于20个的概率为。P0.05,不拒绝原假设，没有证据表明该批产品的合格率不是2022-11-2719【练习2】某地某一时期内出生40名婴儿，其中女性12名（定Sex=0），男性28名（定Sex=1）。问这个地方出生婴儿的性比例与通常的男女性比例（总体概率约为）是否不同？2022-11-2720 单样本的K-S检验(Kolmogorov-Smirnov检验)是用来检验抽取样本所依赖的总体是否服从某一理论分布。其方法是将某一变量的累

9、积分布函数与特定的分布进行比较。设总体的累积分布函数为F(x)，已知的理论分布函数为F0(x)，则检验的原假设和备择假设为 H0:F(x)=F0(x)；H1:F(x)F0(x)原假设所表达的是：抽取样本所依赖的总体与指定的理论分布无显著差异。SPSS提供的理论分布有正态分布、Poisson分布、均匀分布、指数分布等。第三节 总体分布类型的KS检验2022-11-2721 检验统计量 当H0成立且无抽样误差时，统计量D等于0。因此：当D的实际观测值较小时，可以认为零假设H0成立；当D的观测值较大时，则零假设H0可能不成立。其中Fn（x）称为经验分布。假定有样本1，1，2，2，2，4，5，5，5，

10、10。其经验分布为|)()(|max0 xFxFDn012121052410()64510951010110nxxxF xxxx2022-11-2722总体分布类型的检验(K-S检验)12.210.812.011.811.912.411.312.212.012.32022-11-2723第第1步：步：选择【Analyze】【Nonparametric Test】【1-Sample K-S】进入主对话框；第第2步：步：将待检验的变量选入【Test Variable List】(本例为“配件长度”)；第第3步：步：点击【Exact】，并在对话框中选择 【Exact】，点击【OK】。总体分布类型的检

11、验(SPSS K-S检验)2022-11-2724正态分布正态分布均匀分布均匀分布指数分布指数分布波松分布波松分布2022-11-27252022-11-2726【练习3】某市记录了91天市区内发生交通事故的分布情况如下：一天发生的事故数0123456及以上天数2035168750 利用SPSS检验该数据可能的分布。用SPSS，在正态、均匀、指数和泊松分布中选择。2022-11-2727符号检验的统计量为B=得正号的个数。符号检验符号检验。设随机变量X1，Xn是从某个总体X中抽出的简单随机样本。且分布函数F(X)在X=0是连续的。假设检验问题00:(HF1）210:(HF1）2检验的统计量可以

12、取B。第四节第四节 符号检验符号检验 在原假设为真的条件下，B服从参数为n和的二项分布b(n,0.5)。由于原假设为真时，B应该不太大，也不太小，如果B太大或太小，应该拒绝原假设。2022-11-2728 精确的符号检验是指检验的p值是由精确的概率给出的。我们我们利用正号和负号的数目，来检验某假设，这是一种最简单的非参数方法。【例4】联合国人员在世界上71个大城市的生活花费指数(上海是44位，数据为63.5)按自小至大的次序排列如下。一、精确中位数的符号检验一、精确中位数的符号检验2022-11-2729 有人说64应该是这种大城市花费指数的中位数，有人说64顶多是低位数（下四分位数），进行检

13、验。数据如下：2022-11-2730Histogram of xxFrequency2040608010012002468102022-11-2731 通常在正态总体分布的假设下，关于总体均值的假设检验和区间估计是用与t检验有关的方法进行的。然而，在本例中，总体分布是未知的。为此，首先看该数据的直方图从图中很难说这是什么分布。假定用总体中位数来表示中间位置，这意味着样本点，取大于me的概率应该与取小于me的概率相等。所研究的问题，可以看作是只有两种可能“成功”或“失败”。2022-11-2732符号检验的思路，记成功：X-0大于零，即大于中位数M，记为“+”；失败：X-0小于零，即小于中位数

14、M，记为“-”。令 S+=得正符号的数目 S=得负符号得数目可以知道S+或S 均服从二项分布B（65，）。则可以用来作检验的统计量。其假设为：0010:HH0010:HH0010:HH2022-11-2733第四节 Cox-Stuart趋势检验如果数据是连续的，需要将连续的分布进行分段，计算每段的期望概率与观测到的频率之间是否差异很大。怎么进行这些检验呢?可以把每一个观察值和相隔大约n2的另一个观察值配对比较；选择的检验统计量为R游程的总数目。310,350,370,375,385,400,415,425,440,195,325,295,250,340,295,365,375,360,385x

15、-c(310,350,370,375,385,400,415,425,440,195,325,295,250,340,295,365,375,360,385)在实际问题中，会遇到必须了解总体的分布函数的时候，这时利用样本资料对总体的分布函数进行检验就成了非常重要的了。Test】【1-Sample K-S】进入主对话框；一、2拟合优度检验检验的统计量的值为，相应的渐近p值，则拒绝原假设。在一个刚刚建成的制造厂内，质检员需要设计一种抽样方法，以保证质量检验的可靠性。例如当我们要考察生产中次品出现是随机的，还是成群的，一个时间序列是平稳的还是非平稳的，模型的随机干扰项是否是白噪声等都可以通过游程检验

16、来确定。选择的检验统计量为R游程的总数目。data:x-8关于非参数检验统计量需要说明的问题各种检验方法统计量的构造用SPSS，在正态、均匀、指数和泊松分布中选择。这两个行业的负债水平是否相等。关于非参数检验统计量需要说明的问题 在非参数检验中，可以得到两个相互等价的统计量，比如在符号检验中，得负号与得正好的个数，就是一对等价的统计量，因为S+S-=N。那么我们在检验时应该用那个呢？我们选择统计量),min(ssk2022-11-273401:64:64HH2871710(28)(0.5)(1 0.5)0.04796iiiip SC(28)0.04796p S假设检验统计量S-=28是得负号的

17、个数得正号的个数43。P-值检验的结果拒绝零假设结论中位数大于642022-11-2735该检验R的代码 x-c(122.4,109.4,105,104.6,104.1,100.6,100,99.3,99.1,98.2,97.5,95.2,92.8,91.8,90.8,90.3,89.5,89.4,86.4,86.2,85.7,82.6,81,80.9,79.1,77.9,77.7,76.8,76.6,76.2,74.5,74.3,73.9,71.7,71.2,67.7,66.7,66.2,65.4,65.3,65.3,65.3,64.6,63.5,62.7,60.8,58.2,55.5,55

18、.3,55,54.9,52.7,51.8,49.9,48.2,47.6,46,45.8,45.2,41.9,38.8,37.7,37.5,36.5,36.4,32.7,32.7,32.2,29.1,27.8,27.8)y=sum(sign(x-64)=1)pbinom(71-y,71,0.50)2022-11-2736二、大样本的情形 当样本容量足够大，我们可以利用二项分布的正态近似来对该问题进行检验。因为计数统计量在原假设为真时，服从b(n,0.5)。且其均值为，方差为。则检验的统计量为 足够大）nnnBz(25.05.02022-11-2737该检验SPSS完成步骤（这里是在借用）2022

19、-11-2738 两相关样本检验的窗口2022-11-2739FrequenciesFrequencies4328071Negative DifferencesaPositive DifferencesbTiescTotalme-71个城市的生活花费指数Nme 71个城市的生活花费指数b.me=71个城市的生活花费指数c.Test StatisticsTest Statisticsa a-1.661.097.096.048.020ZAsymp.Sig.(2-tailed)Exact Sig.(2-tailed)Exact Sig.(1-tailed)Point Probabilityme-71

20、个城市的生活花费指数Sign Testa.SPSS检验的结果：2022-11-2740第四节第四节 Cox-StuartCox-Stuart趋势检验趋势检验 人们经常要看某项发展的趋势但是从图表上很难看出是递增，递减，还是大致持平 【例5】我国自1985年到1996年出口和进口的差额(balance)为(以亿美元为单位)149.0 119.7 37.7 77.5 66.0 87.4 80.5 43.5 122.2 54.0 167.0 122.2 从这个数字，我们能否说这个差额总的趋势是增长，还是减，还是都不明显呢?下图为该数据的点图从图可以看出，总趋势似乎是增长，但1993年有个低谷；这个低

21、谷能否说明总趋势并不是增长的呢?我们希望能进行检验2022-11-2741Case Number10987654321Value VAR0012001000-100-2002022-11-2742三种假设：有增长趋势无增长趋势；:10HH有减少趋势无减少趋势；:10HH有趋势无趋势；:10HH 怎么进行这些检验呢?可以把每一个观察值和相隔大约n2的另一个观察值配对比较；因此大约有n2个对子然后看增长的对子和减少的对子各有多少来判断总的趋势具体做法为取 和 。这里ixcix2022-11-2743问这个地方出生婴儿的性比例与通常的男女性比例（总体概率约为）是否不同？H1:序列具有成群的倾向（左侧

22、检验）有瑕疵的产品是随机出现各种检验方法统计量的构造例如当我们要考察生产中次品出现是随机的，还是成群的，一个时间序列是平稳的还是非平稳的，模型的随机干扰项是否是白噪声等都可以通过游程检验来确定。关于非参数检验统计量需要说明的问题【例9】欧洲10个城镇每人每年平均消费酒类相当于纯酒精数（单位：升）。从这个数字，我们能否说这个差额总的趋势是增长，还是减，还是都不明显呢?下图为该数据的点图从图可以看出，总趋势似乎是增长，但1993年有个低谷；精确双尾概率为，不拒绝原假设。【例9】欧洲10个城镇每人每年平均消费酒类相当于纯酒精数（单位：升）。data:x-320问这个地方出生婴儿的性比例与通常的男女性

23、比例（总体概率约为）是否不同？有瑕疵的产品是成群出现单样本的K-S检验(Kolmogorov-Smirnov检验)是用来检验抽取样本所依赖的总体是否服从某一理论分布。成功：X-0大于零，即大于中位数M，记为“+”；在这个例子中n=12，因而c6。这6个对子为(x1,x7)，(x2，x8)，(x3，x9)，(x4，x10)，(x5，xl1)，(x6，x12)。/2(1)/2nncnn如果 是偶数如果 是奇数2022-11-2744 用每一对的两元素差Di=xi-xi+c的符号来衡量增减。令S+为正Di=xi-xi+c的数目，而令S-为负的Di=xi-xi+c的数。显然当正号太多时，即S+很大时(

24、或S-很小时)，有下降趋势，反之，则有增长趋势在没有趋势的零假设下它们应服从二项分布b(6,0.5)，这里n为对子的数目(不包含差为0的对子)。该检验在某种意义上是符号检验的一个特例。2022-11-2745 类似于符号检验，对于上面1，2，3三种检验，分别取检验统计量K=S+,K=S-和K=min(S+,S-)。在本例中，这6个数据对的符号为 5负1正，所以我们不能拒绝原假设。1094.0)1(SP假设统计量 P值K=min(S+,S-)P(Kk)K=min(S+,S-)P(Kk)K=min(S+,S-)2P(Kk)有增长趋势无增长趋势；:10HH有减少趋势无减少趋势；:10HH有趋势无趋势

25、；:10HH2022-11-2746 【例6】天津机场从1995年1月到2003年12月的108个月旅客旅客吞吐量数据如下：54379 45461 55408 59712 60776 57635 63335 71296 70250 76866 75561 66427 61330 58186 67799 76360 86207 75509 83020 89614 75791 80835 72179 61520 66726 60629 68549 73310 80719 67759 70352 82825 70541 74631 68938 53318 62653 58578 63292 6953

26、5 73379 62859 72873 87260 67559 76647 70590 58935 58161 64057 63051 58807 63663 57367 70854 79949 66992 80140 62260 55942 58367 56673 61039 74958 85859 67263 87183 97575 79988 88501 68600 58442 68955 56835 67021 81547 85118 70145 95080 106186 86103 88548 70090 65550 69223 85138 89799 99513 98114 681

27、72 97366 116820 95665 109881 87068 75362 88268 85183 87909 79976 27687 50178 100878 131788 116293 120770 104958 109603讨论是否存在显著的增长趋势。2022-11-2747020406080100400006000080000100000120000Indexx2022-11-2748SPSS无此检验，我们用R完成该检验，代码如下。x-c(54379,45461,55408,59712,60776,57635,63335,71296,70250,76866,75561,66427

28、,61330,58186,67799,76360,86207,75509,83020,89614,75791,80835,72179,61520,66726,60629,68549,73310,80719,67759,70352,82825,70541,74631,68938,53318,62653,58578,63292,69535,73379,62859,72873,87260,67559,76647,70590,58935,58161,64057,63051,58807,63663,57367,70854,79949,66992,80140,62260,55942,58367,56673

29、,61039,74958,85859,67263,87183,97575,79988,88501,68600,58442,68955,56835,67021,81547,85118,70145,95080,106186,86103,88548,70090,65550,69223,85138,89799,99513,98114,68172,97366,116820,95665,109881,87068,75362,88268,85183,87909,79976,27687,50178,100878,131788,116293,120770,104958,109603)d=x1:54-x55:10

30、8 y=sum(sign(d)=1)pbinom(y,54,0.5)直接得到p值，拒绝无趋势的原假设原假设。2022-11-2749 游程检验是样本的随机性检验，其用途很广。例如当我们要考察生产中次品出现是随机的，还是成群的，一个时间序列是平稳的还是非平稳的，模型的随机干扰项是否是白噪声等都可以通过游程检验来确定。第五节 游程检验2022-11-2750 从生产线上抽取产品检验，是否应采用频繁抽取小样本的方法。在一个刚刚建成的制造厂内，质检员需要设计一种抽样方法，以保证质量检验的可靠性。生产线上抽取的产品可以分成两类，有瑕疵，无瑕疵。检验费用与受检产品数量有关。一般情况下，有毛病的产品如果是成

31、群出现的，则要频繁抽取小样本，进行检验。如果有毛病的产品是随机产生的，则每天以间隔较长地抽取一个大样本。现随机抽了30件产品，按生产线抽取的顺序排列：检验瑕疵的产品是随机出现的吗？有瑕疵的产品是随机出现 有瑕疵的产品是成群出现:0H:1H2022-11-2751 随机抽取的一个样本，其观察值按某种顺序排列，如果研究所关心的问题是：被有序排列的两种类型符号是否随机排列，则可以建立双侧备择假设组为 H0：序列是随机的序列是随机的 H1：序列不是随机的（双侧检验）序列不是随机的（双侧检验）如果关心的是序列是否具有某种倾向，则应建立单侧备择，假设组为 H0：序列是随机的序列是随机的 H1:序列具有混合

32、的倾向（右侧检验）序列具有混合的倾向（右侧检验）H0：序列是随机的序列是随机的 H1:序列具有成群的倾向（左侧检验）序列具有成群的倾向（左侧检验）游程：连续出现的具有相同特征的样本点为一个游程。游程：连续出现的具有相同特征的样本点为一个游程。2022-11-2752 检验统计量。在H0为真的情况下，两种类型符号出现的可能性相等，其在序列中是交互的。相对于一定的m和n，序列游程的总数应在一个范围内。若游程的总数过少，表明某一游程的长度过长，意味着有较多的同一符号相连，序列存在成群的倾向；若游程总数过多，表明游程长度很短，意味着两个符号频繁交替，序列具有混合的倾向。选择的检验统计量为R游程的总数目

33、。2022-11-275322(2)()(1)mnmnnmVar Rmnnm()21nmE Rmn可以证明)1,0()()(NRVarRERZ则2022-11-2754 【例7】，在我国的工业和商业企业随机抽出22家进行资产负债率行业间的差异比较。有如下资料：这两个行业的负债水平是否相等。首先，设“1”为工业，“2”为商业，将两个行业的数据排序，得行业编号得游程：1 1 1 1 1 2 1 1 1 1 2 2 2 1 1 1 2 2 2 2 2 2工业64 76 55 82 59 82 70 75 61 64 73 83商业77 80 80 65 93 91 84 91 84 86 86202

34、2-11-2755游程检验的菜单选择。2022-11-27562022-11-2757Runs Test1.4286129216-2.190.029Test ValueaCases=Test ValueTotal CasesNumber of RunsZAsymp.Sig.(2-tailed)资产负债Meana.游程检验的结果：共有21个个案，12个小于，9个大于等于。游程6个。检验的统计量的值为，相应的渐近p值，则拒绝原假设。2022-11-2758 【例8】公司委托市场调查公司进行随机抽样调查。为了对调查表的真伪进行判断，市场调查公司按顺序抽取了20份问卷。其中消费者每年消费该公司的产品的

35、花费数据如下表，分析问卷数据是否真实。用游程检验。样本编号12345678910消费额405205245465257234445375291291样本编号11121314151617181920消费额2612103052951252572601971601502022-11-2759Runs TestRuns Test258.5010102010-.230.818Test ValueaCases=Test ValueTotal CasesNumber of RunsZAsymp.Sig.(2-tailed)消费支出Mediana.检验结果说明p值，不能拒绝随机数据的原假设。2022-11-27

36、60第七节第七节 单样本的单样本的Wilcoxon符号秩检验符号秩检验 一、Wilcoxon符号秩检验0100:MMHMMH0100:MMHMMH0100:MMHMMH 前面几种推断的方法都只依赖于数据的符号，即方向。没有考虑数据的大小，Wilcoxon符号秩检验是检验关于中位数对称的总体的中位数是否等于某个特定值，检验的假设：2022-11-2761 检验的步骤检验的步骤:1.计算 ，它们代表这些样本点到 的距离；|0MXi0M 2.把上面的n个绝对值排序，并找出它们的n个秩；如果有相同的样本点，每个点取平均秩(如1，4，4，5的秩为1，2.5，2.5，4)，然后分别将得正号的秩和得负号的秩

37、相加。另1(0)niiiWRXM1(0)niiiWRMX(0)iMX指满足括号里的条件等于1,不满足等于零。2022-11-27620010:HMMHMM?右 0010:HMMHMM?左 3.双边检验 在零假设下，和 应差不多因而，当其中之一非常小时，应怀疑零假设；取检验统计量T=min(，)；0100:MMHMMHWWWW2022-11-27631()(0)(0)11(1)224niiiiiE WE RXMnE R EXMnn nn121()(0)1(1)(21)424niiiniVar WVar RXMn nni统计量的均值和方差如下：2022-11-2764 5.根据得到的T值，查Wil

38、coxon符号秩检验的分布表以得到在零假设下P值如果n很大要用正态近似：得到一个与T有关的正态随机变量Z的值，再查表得P值或直接用计算机得到P值。(1)/4(0,1)(1)(21)/24Tn nZNn nn2022-11-2765Wilcoxon符号秩检验表符号秩检验表)(2tTp)(tTpmin(,)TW W)(tTp假设检验的统计量P值 0100:MMHMMH0100:MMHMMHmin(,)TW Wmin(,)TW W0100:MMHMMH2022-11-2766 【例9】欧洲10个城镇每人每年平均消费酒类相当于纯酒精数（单位：升）。人们普遍认为其中位数为8。检验该假设。x-c(4.12

39、,5.81,7.63,9.74,10.39,11.92,12.32,12.89,13.54,14.45)wilcox.test(x-8)2022-11-2767 Wilcoxon signed rank testdata:x-8 alternative hypothesis:true location is not equal to 0 2022-11-2768Test StatisticsTest Statisticsb b-1.886a.059ZAsymp.Sig.(2-tailed)me-beerBased on positive ranks.a.Wilcoxon Signed Rank

40、s Testb.检验的窗口和输出的结果（与R计算的稍有差异是因为R计算的是估计的精确p值。2022-11-2769 【例10】为了了解垃圾邮件对大型公司决策层工作的影响程度，某个网站收集了19家大型公司的CEO每天收到的垃圾邮件件数，得到如下数据：310,350,370,375,385,400,415,425,440,195,325,295,250,340,295,365,375,360,385 检验收到的垃圾邮件的数量的中间位置是否超过了320封。2022-11-2770 x-c(310,350,370,375,385,400,415,425,440,195,325,295,250,340,295,365,375,360,385)wilcox.test(x-320)data:x-320 alternative hypothesis:true location is not equal to 0 感谢观看感谢观看