统计推断课件.pptx

1、统计推断从数据得到对现实世界的结从数据得到对现实世界的结论的过程论的过程估计估计 总体它代表我们所关心的那部分现实世界。总体它代表我们所关心的那部分现实世界。而在利用样本中的信息来对总体进行推断而在利用样本中的信息来对总体进行推断之前人们一般对代表总体的变量假定了分之前人们一般对代表总体的变量假定了分布族。比如假定人们的身高属于正态分布布族。比如假定人们的身高属于正态分布族；对抽样调查假定了二项分布族等等。族；对抽样调查假定了二项分布族等等。这些模型基本上是根据经验来假定的，所这些模型基本上是根据经验来假定的，所以仅仅是对现实世界的一个近似。在假定以仅仅是对现实世界的一个近似。在假定了总体分布

2、族之后，进一步对总体的认识了总体分布族之后，进一步对总体的认识就是要在这个分布族中选择一个适合于我就是要在这个分布族中选择一个适合于我们问题的分布；由于分布族成员是由参数们问题的分布；由于分布族成员是由参数确定的，如果参数能够估计，对总体的具确定的，如果参数能够估计，对总体的具体分布就知道得差不多了。体分布就知道得差不多了。估计估计 一种是点估计一种是点估计(point estimation)，也就是用，也就是用估计量的实现值来近似相应的总体参数。估计量的实现值来近似相应的总体参数。另一种是区间估计另一种是区间估计(interval estimation)；它；它是包括估计量在内（有时是以估计

3、量为中是包括估计量在内（有时是以估计量为中心）的一个区间；该区间被认为很可能包心）的一个区间；该区间被认为很可能包含总体参数。含总体参数。点估计给出一个数字，用起来很方便；而点估计给出一个数字，用起来很方便；而区间估计给出一个区间，说起来留有余地；区间估计给出一个区间，说起来留有余地；不象点估计那么绝对。不象点估计那么绝对。无偏估计无偏估计(大样本性质大样本性质)区间估计的置信度区间估计的置信度(大样本性质大样本性质)估计估计 注意置信区间的论述是由区间和置信注意置信区间的论述是由区间和置信度两部分组成。有些新闻媒体报道一度两部分组成。有些新闻媒体报道一些调查结果只给出百分比和误差（即些调查结

4、果只给出百分比和误差（即置信区间），并不说明置信度，也不置信区间），并不说明置信度，也不给出被调查的人数，这是不负责的表给出被调查的人数，这是不负责的表现。因为降低置信度可以使置信区间现。因为降低置信度可以使置信区间变窄（显得变窄（显得“精确精确”），有误导读者），有误导读者之嫌。如果给出被调查的人数，则内之嫌。如果给出被调查的人数，则内行可以由推算出置信度（由后面给出行可以由推算出置信度（由后面给出的公式），反之亦然。的公式），反之亦然。一个描述性例子一个描述性例子 一个有一个有10000个人回答的调查显示，同意某个人回答的调查显示，同意某种观点的人的比例为种观点的人的比例为70%（有（有7

5、000人同人同意），可以算出总体中同意该观点的比例意），可以算出总体中同意该观点的比例的的95%置信区间为（置信区间为（0.691，0.709）；另一）；另一个调查声称有个调查声称有70%的比例反对该种观点，的比例反对该种观点，还说总体中反对该观点的置信区间也是还说总体中反对该观点的置信区间也是（0.691，0.709）。到底相信谁呢？实际上，）。到底相信谁呢？实际上，第二个调查隐瞒了置信度（等价于隐瞒了第二个调查隐瞒了置信度（等价于隐瞒了样本量）。如果第二个调查仅仅调查了样本量）。如果第二个调查仅仅调查了50个人，有个人，有35个人反对该观点。根据后面的个人反对该观点。根据后面的公式可以算出

6、，第二个调查的置信区间的公式可以算出，第二个调查的置信区间的置信度仅有置信度仅有11%。假设检验假设检验 在假设检验中，一般要设立一个原假设；在假设检验中，一般要设立一个原假设；而设立该假设的动机主要是企图利用人们而设立该假设的动机主要是企图利用人们掌握的反映现实世界的数据来找出假设和掌握的反映现实世界的数据来找出假设和现实的矛盾，从而否定这个假设。在多数现实的矛盾，从而否定这个假设。在多数统计教科书中（除了理论探讨之外）的假统计教科书中（除了理论探讨之外）的假设检验都是以否定原假设为目标。设检验都是以否定原假设为目标。如果否定不了，那就说明证据不足，无法如果否定不了，那就说明证据不足，无法否

7、定原假设。但这不能说明原假设正确。否定原假设。但这不能说明原假设正确。很多教科书在这个问题上不适当地用很多教科书在这个问题上不适当地用“接接受原假设受原假设”的说法，犯了明显的低级逻辑的说法，犯了明显的低级逻辑错误。错误。假设检验的过程和逻辑假设检验的过程和逻辑 首先要提出一个原假设，比如某正态首先要提出一个原假设，比如某正态总体的均值等于总体的均值等于5（m=5）。这种原假）。这种原假设也称为零假设（设也称为零假设（null hypothesis），），记为记为H0。与此同时必须提出对立假设，比如总与此同时必须提出对立假设，比如总体均值大于体均值大于5（m5）。对立假设又称）。对立假设又称为

8、备选假设或备择假设（为备选假设或备择假设（alternative hypothesis）记为记为）记为记为H1或或Ha。假设检验的过程和逻辑假设检验的过程和逻辑 根据零假设根据零假设（不是备选假设！），我（不是备选假设！），我们可以得到该检验统计量的分布；们可以得到该检验统计量的分布；然后再看这个统计量的数据实现值然后再看这个统计量的数据实现值（realization）属不属于小概率事件。）属不属于小概率事件。也就是说把数据代入检验统计量，看也就是说把数据代入检验统计量，看其值是否落入零假设下的小概率范畴；其值是否落入零假设下的小概率范畴；如果的确是小概率事件，那么我们就如果的确是小概率事件，

9、那么我们就有可能拒绝零假设，否则我们说没有有可能拒绝零假设，否则我们说没有足够证据拒绝零假设。足够证据拒绝零假设。假设检验的过程和逻辑假设检验的过程和逻辑 注意：注意：零假设和备选假设在假设检验零假设和备选假设在假设检验中并不对称中并不对称。因检验统计量的分布是。因检验统计量的分布是从零假设导出的，因此，如果发生矛从零假设导出的，因此，如果发生矛盾，当然就对零假设不利了。盾，当然就对零假设不利了。不发生矛盾也不说明备选假设有问题不发生矛盾也不说明备选假设有问题（因为和备选假设无关）。（因为和备选假设无关）。假设检验的过程和逻辑假设检验的过程和逻辑 检验统计量在零假设下等于这个样本的数检验统计量

10、在零假设下等于这个样本的数据实现值或更加极端值的概率称为据实现值或更加极端值的概率称为p-值（值（p-value）。）。显然得到很小显然得到很小p-值意味着小概率事件发生值意味着小概率事件发生了。如果小概率事件发生，是相信零假设，了。如果小概率事件发生，是相信零假设，还是相信数据呢？还是相信数据呢？当然是相信数据。于是就拒绝零假设。但当然是相信数据。于是就拒绝零假设。但小概率并不能说明不会发生，仅仅发生的小概率并不能说明不会发生，仅仅发生的概率很小罢了。概率很小罢了。拒绝正确零假设的错误常被称为第一类错拒绝正确零假设的错误常被称为第一类错误（误（type I error）。）。假设检验的过程和

11、逻辑假设检验的过程和逻辑 有第一类错误，就有第二类错误；那是备有第一类错误，就有第二类错误；那是备选零假设正确时反而说零假设正确的错误，选零假设正确时反而说零假设正确的错误，称为第二类错误（称为第二类错误（type II error）。）。零假设和备选假设哪一个正确，这是确定零假设和备选假设哪一个正确，这是确定性的，没有概率可言。性的，没有概率可言。而可能犯错误的是人。涉及假设检验的犯而可能犯错误的是人。涉及假设检验的犯错误的概率就是犯第一类错误的概率和犯错误的概率就是犯第一类错误的概率和犯第二类错误的概率。第二类错误的概率。负责的态度是无论做出什么决策，都应该负责的态度是无论做出什么决策，都

12、应该给出犯错误的概率。给出犯错误的概率。假设检验的过程和逻辑假设检验的过程和逻辑 到底到底p-值是多小才能够拒绝零假设呢？也值是多小才能够拒绝零假设呢？也就是说，需要有什么是小概率的标准。这就是说，需要有什么是小概率的标准。这要看具体应用的需要。但在一般的统计书要看具体应用的需要。但在一般的统计书和软件中，使用最多的标准是在零假设下和软件中，使用最多的标准是在零假设下（或零假设正确时）抽样所得的数据拒绝（或零假设正确时）抽样所得的数据拒绝零假设的概率应小于零假设的概率应小于0.05（也可能是（也可能是0.01，0.005，0.001等等）。这种事先规定的概率等等）。这种事先规定的概率称为显著性

13、水平称为显著性水平(significant level)，用字母，用字母a a来表示。当来表示。当p-值小于或等于值小于或等于a a时，就拒绝时，就拒绝零假设。所以，零假设。所以，a a是所允许的犯第一类错误是所允许的犯第一类错误概率的最大值。当概率的最大值。当p-值小于或等于值小于或等于a a时，我时，我们说这个检验是显著的们说这个检验是显著的(significant)。假设检验的过程和逻辑假设检验的过程和逻辑 归纳起来，假设检验的逻辑步骤为：归纳起来，假设检验的逻辑步骤为：第一，写出零假设和备选假设；第一，写出零假设和备选假设；第二，确定检验统计量；第二，确定检验统计量；第三，确定显著性水

14、平第三，确定显著性水平a a；第四，根据数据计算检验统计量的实现值；第四，根据数据计算检验统计量的实现值；第五，根据这个实现值计算第五，根据这个实现值计算p-值；值；第六，进行判断：如果第六，进行判断：如果p-值小于或等于值小于或等于a a，就拒绝零假设，这时犯错误的概率最多为就拒绝零假设，这时犯错误的概率最多为a a；如果如果p-值大于值大于a a，就不拒绝零假设，因为证，就不拒绝零假设，因为证据不足。据不足。假设检验的过程和逻辑假设检验的过程和逻辑 实际上，计算机软件仅仅给出实际上，计算机软件仅仅给出p-值，而不值，而不给出给出a a。这有很多方便之处。比如。这有很多方便之处。比如a a=

15、0.05，而假定我们得到的而假定我们得到的p-值等于值等于0.001。这时我。这时我们如果如果采用们如果如果采用p-值作为新的显著性水平，值作为新的显著性水平，即即a a=0.001，于是可以说，我们拒绝零假设，于是可以说，我们拒绝零假设，显著性水平为显著性水平为0.001。拒绝零假设时犯错误。拒绝零假设时犯错误的概率实际只是千分之一而不是百分之五。的概率实际只是千分之一而不是百分之五。在这个意义上，在这个意义上，p-值又称为观测的显著性值又称为观测的显著性水平（水平（observed significant level）。在统计）。在统计软件输出软件输出p-值的位置，有的用值的位置，有的用“

16、p-value”，有的用有的用significant的缩写的缩写“Sig”就是这个道就是这个道理。理。假设检验的过程和逻辑假设检验的过程和逻辑 展示结果的精确性（根据数据减少展示结果的精确性（根据数据减少a a的的值）总是没有害处的。这好比一个身值）总是没有害处的。这好比一个身高高180厘米的男生，可能愿意被认为高厘米的男生，可能愿意被认为高于或等于于或等于180厘米，而不愿意说他高于厘米，而不愿意说他高于或等于或等于155厘米厘米，虽然这第二种说法数，虽然这第二种说法数学上没有丝毫错误。学上没有丝毫错误。假设检验的过程和逻辑假设检验的过程和逻辑 关于关于“临界值临界值”的注：作为概率的显著性

17、水平的注：作为概率的显著性水平a a实际上实际上相应于一个检验统计量取值范围的一个相应于一个检验统计量取值范围的一个临界临界值（值（critical value），它定义为，统计量取），它定义为，统计量取该值或更极端的值该值或更极端的值的概的概率等于率等于a a。也就是说，。也就是说，“统计量的实现值比临界值更极统计量的实现值比临界值更极端端”等价于等价于“p-值小于值小于a a”。使用临界值的概念进行的。使用临界值的概念进行的检验不计算检验不计算p-值。只比较统计量的取值和临界值的大小。值。只比较统计量的取值和临界值的大小。使用临界值而不是使用临界值而不是p-值来判断拒绝与否值来判断拒绝与否

18、是前计算机时代是前计算机时代的产物。的产物。当时计算当时计算p-值不易，只有采用临界值的概念。值不易，只有采用临界值的概念。但从给定的但从给定的a a求临界值同样也不容易，好在习惯上仅仅求临界值同样也不容易，好在习惯上仅仅在教科书中列出相应于特定分布的几个有限的在教科书中列出相应于特定分布的几个有限的a a临界值临界值（比如（比如a a=0.05，a a=0.025，a a=0.01，a a=0.005，a a=0.001等等），或者根据分布表反过来查临界值（很不方便也等等），或者根据分布表反过来查临界值（很不方便也很粗糙）。很粗糙）。现在计算机软件都不给出现在计算机软件都不给出a a和临界值

19、，但都给出和临界值，但都给出p-值和值和统计量实现值，让用户自己决定显著性水平是多少。统计量实现值，让用户自己决定显著性水平是多少。假设检验的例子假设检验的例子 汽车厂商声称其发动机排放标准的一个指标平均汽车厂商声称其发动机排放标准的一个指标平均低于低于20个单位。在抽查了个单位。在抽查了10台发动机之后，得到台发动机之后，得到下面的排放数据：下面的排放数据：17.0、21.7、17.9、22.9、20.7、22.4、17.3、21.8、24.2、25.4。该样本均值为。该样本均值为21.13。究竟能否由此认为该指标均值超过。究竟能否由此认为该指标均值超过20？这次我们的假设检验问题就是这次我

20、们的假设检验问题就是01:20:20HH假设检验的例子假设检验的例子 检验统计量为检验统计量为 我们可以发现我们可以发现p-值为值为0.1243，因此，我们没有证，因此，我们没有证据否定零假设。据否定零假设。01.234/xtsn-5-4-3-2-101234500.050.10.150.20.250.30.350.4t valueDensity of t(9)Tail Probability for t(9)t=1.234p-value=0.1243如果你指挥不了自己，也就指挥不了别人。22.8.622.8.6Saturday,August 06,2022工作使人充实，勤奋使人快乐。5:34

21、:485:34:485:348/6/2022 5:34:48 AM大多数的错误是企业在状况好的时候犯下的，而不是在经营不善的时候。22.8.65:34:485:34Aug-226-Aug-22向往成功的桂冠，就别空费每一天。5:34:485:34:485:34Saturday,August 06,2022竞争是一个人愿意得到别人所有的一种烦恼。22.8.622.8.65:34:485:34:48August 6,2022即使赠品只是一张纸，顾客也是高兴的。如果没有赠品，就赠送“笑容”。2022年8月6日上午5时34分22.8.622.8.6对上以敬，待下以宽。2022年8月6日星期六上午5时3

22、4分48秒5:34:4822.8.6你要明白，你爱的不是那段时光，不是那个念念不忘的人，不是那段经历，你爱的只是当年那个羽翼未丰但依然执迷不悔的自己。2022年8月上午5时34分22.8.65:34August 6,2022天时不如地利，地利不如人和。2022年8月6日星期六5时34分48秒5:34:486 August 2022读书有三到：谓心到，眼到，口到。明朱熹。上午5时34分48秒上午5时34分5:34:4822.8.6只有没出息的思想，没有没出息的工作。22.8.622.8.65:345:34:485:34:48Aug-22心有猛虎，细嗅蔷薇。2022年8月6日星期六5时34分48秒Saturday,August 06,2022君子之交淡如水，小人之交甘若醴。庄子。22.8.62022年8月6日星期六5时34分48秒22.8.6谢谢各位！谢谢各位！