一元线性回归模型的参数估计分析课件.ppt

1、第二节第二节 一元线性回归模型的参数估计一元线性回归模型的参数估计 一元线性回归模型的概念一元线性回归模型的概念 一元线性回归模型的基本假定一元线性回归模型的基本假定 参数的普通最小二乘估计参数的普通最小二乘估计 截距为零的一元线性回归模型的估计截距为零的一元线性回归模型的估计 最小二乘估计量的性质最小二乘估计量的性质 参数估计量的概率分布参数估计量的概率分布 一、一、一元线性回归模型的概念一元线性回归模型的概念 一元线性回归模型一元线性回归模型是最简单的计量经济学模型，在是最简单的计量经济学模型，在模型中只有一个解释变量，其一般形式是：模型中只有一个解释变量，其一般形式是： 01 1,2,i

2、iiYXuin01iiiYXu其中 为被解释变量，为解释变量，与 为待估参数， 为随机误差项。 二二、一元线性回归一元线性回归模型的基本假定模型的基本假定1.为什么要作基本假定？为什么要作基本假定？（1）只有具备一定的假定条件，所作出的估计才只有具备一定的假定条件，所作出的估计才具有较好的统计性质。具有较好的统计性质。对模型中的“线性”有两种解释：1YX（ ）就变量而言是线性的， 是 的线性函数。2Y（ ）就参数而言是线性的， 是 的线性函数。（2）模型中有随机扰动，估计的参数是随机变量，）模型中有随机扰动，估计的参数是随机变量，只有对随机扰动的分布作出假定，才能确定所估计只有对随机扰动的分布

3、作出假定，才能确定所估计参数的分布性质，也才可能进行假设检验和区间估参数的分布性质，也才可能进行假设检验和区间估计。计。2. 基本假定的内容基本假定的内容1iX假定 ：解释变量是确定性变量，不是随机变量(02)iE u假定 ：，即随机误差项的均值或期望为零22(3)iVar u （为假定 ：，即各个随机误差项常数）的方差相同()4,)0(ijCov u uij假定 ：，即不同的随机误差项之间是互不相关的(05,)iiCov X u假定 ：，即解释变量和随机误差项之间也是互不相关的2()60,iuN假定 ：，即每一个随机误差项都服从正态分布 以上假定称为线性回归模型的以上假定称为线性回归模型的经

4、典假定经典假定，满足该假，满足该假定的线性回归模型，称为定的线性回归模型，称为经典线性回归模型经典线性回归模型。 3.Y 3.Y的分布性质：的分布性质：01iiiiiiiYXuuYuY由于， 的分布性质决定了 的分布性质，对于 的一些假定可以等价地表示为对 的一些假定：012( )iiE YX假定 ：零均值假定。23( )iVar Y假定 ：等方差假定。4( ,)0()ijCov Y Yij假定 ：无自相关假定。2015(,)iiYNX假定 ：正态性假定。 三、参数的普通最小二乘估计（三、参数的普通最小二乘估计（OLS）1.OLS的基本思想的基本思想 iiiYYe 最好的直线应使 与 的差，即

5、残差 越小越好 2iiee 因 可正可负，所以取最小2201min()min()iiieYX即2201 ()iiiQeYX记2.最小二乘估计量的推导最小二乘估计量的推导010Q根据微积分中多元函数求极值的方法，求 关于和 的一阶偏导并令其等于 得：0100112()02()0iiiiiQYXQYX X 整理得：整理得：0101()0()0iiiiiYXYX X即：即：01201iiiiiiYnXX YXX以方程组称为以方程组称为正规方程组正规方程组。求解正规方程组得未知参数的求解正规方程组得未知参数的OLS估计式：估计式： _1_222()()()()iiiiiiiiiXX YYnX YXYn

6、XXXX01YX3.3.用离差表示的用离差表示的OLSOLS估计式估计式为表达得更简洁，可以用离差形式表示为表达得更简洁，可以用离差形式表示OLS估计式：估计式：_1_22()()()iiiiiiXX YYx yxXX_01YXiiiixXXyYY其中，由于参数的估计结果是通过普通最小二乘法得到的，由于参数的估计结果是通过普通最小二乘法得到的，故称为故称为普通普通最小二乘估计量最小二乘估计量（ordinary least squares estimators）。 注意：注意：在计量经济学中，往往以小写字母表示对在计量经济学中，往往以小写字母表示对均值的离差。均值的离差。 1(,)X Y（ ）样

7、本回归直线通过点4.4.几个常用的结果几个常用的结果2iiYY（ ）估计值 的均值等于实际观测值 的均值 iYYYn即3ie（ ）剩余项 的均值为零 0ieen即4iiXe（ ）解释变量与剩余项 不相关 0i iX e 即5iiYe（ ）因变量的估计值 与剩余项 不相关 0i iYe 即0101iiYXYX将代入可得1iiyx写成写成离差形式离差形式为：为： iiyYY记5.5.样本回归函数的离差形式样本回归函数的离差形式11iiYYXX整理得整理得1()iiYYXX6.6.注意几个概念的区别注意几个概念的区别随机误差项随机误差项：被解释变量的观测值与它的条件期望：被解释变量的观测值与它的条件

8、期望的差的差残差残差：被解释变量的观测值与它的拟合值的差，是：被解释变量的观测值与它的拟合值的差，是随机误差项的估计值随机误差项的估计值离差离差：样本观测值减去样本平均值：样本观测值减去样本平均值截距为零的一元线性回归模型的一般形式为四、截距为零的一元线性回归模型的参数估计四、截距为零的一元线性回归模型的参数估计iiiYXu这个模型只有一个参数 需要估计，其最小二乘估计量的表达式为2iiiX YX 例例2.2：在上述家庭可支配收入在上述家庭可支配收入- -消费支出例中，消费支出例中，对于所抽出的一组样本数据，参数估计的计算可通对于所抽出的一组样本数据，参数估计的计算可通过下面的表过下面的表2.

9、3进行。进行。 表2.3 参数估计计算表18005946400004752002110063812100007018003140011221960000157080041700115528900001963500520001408400000028160006230015955290000366850072600196967600005119400829002078841000060262009320025851024000082720001035002530122500008855000求和21500156745365000039468400iXiY2iXiiX Y122210 394684

10、0021500 1567410 5365000021500()iiiiiinX YXYnXX0.7770115670.7772150103.172YX 因此，由该样本估计的回归方程为：因此，由该样本估计的回归方程为： iiXY777. 0172.103 五、最小二乘估计量的性质五、最小二乘估计量的性质1.参数估计量的评价标准参数估计量的评价标准1( )E（ ）。设 是参数 的估计量，如果无，则称 是 的偏性无偏估计。*()E( )f*()f估计值估计值偏倚偏倚 概概 率率 密密 度度2( )()( )DDD（ ）。设 ，均为参数 的无偏估计量，若，则称 比有效。如果在 的所有无偏估计量中，最小

11、，则称 为有效有效性估计量。 概 率 密 度 *()f估计值( )f一致性是估计量的一个大样本性质。一致性是估计量的一个大样本性质。3（ ）。如果随着样本容量的增加，估计量越一致来越接近于真值，则称 是性的一致估计。lim1nP即 其中 是一个任意小的正数。2. OLS估计量的统计性质估计量的统计性质 高斯高斯马尔可夫定理马尔可夫定理(Gauss-Markov theorem) 在给定经典线性回归模型的假定下，最小二乘在给定经典线性回归模型的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。估计量是具有最小方差的线性无偏估计量。011iY.，即估计量、 是 线线性性性组合。12222()i

12、iiiiiiiiiix yx YYxYYxxxxx证：20iiiiixkxXXx令，因（），故有12iiiiixYkYx0111()iiiiiiiYXYkY XXk YwYnn01012.，即估计量、 的均值（期望）等于总体回归参数真值性与无偏101()iiiiikYkXu证：22()0 iiiiixXXkxx222()11iiiiiiiiiix Xx Xx xXk Xxxx 01iiiiikk Xk u1111()()( )iiiiEEkuk E u11iik u故故001()iiiiiwYwXu01iiiiiww Xwu1()1iiwXkn1()0iiiiiiiXw XXk XXk XXX

13、nn故故00iiwu0000()()( )iiiiEEwuwE u013.，即在所有的线性无偏估计量有效性（最小中，最小二乘估计量、 具有最方差性）小方差。011（ ）先求与 的方差11()()()iiiiVarVark uVark u222222( )iiiiixk Var uxx22222222221iiiiixnXXXnxnxnx200()()()( )iiiiiiVarVarwuVarwuw Var u22222211(1)2iiinXkXkX knn222212iiixXkXnnx*1假设是其他估计方法得到的关于的线性无偏估计量：*1iicYic其中 为非零常数.则容易证明*11()

14、()VarVar00同理，可证明的最小二乘估计量具有最小的方差.（2）证明最小方差性）证明最小方差性 普通最小二乘估计量普通最小二乘估计量（Ordinary Least Squares Estimators）称为）称为最佳线性无偏估计量最佳线性无偏估计量（Best Linear Unbiased Estimator, BLUE） 六六、参数估计量的概率分布及随机误差项方差的、参数估计量的概率分布及随机误差项方差的估计估计 011.参数估计量和 的概率分布0101iiYY普通最小二乘估计量、分别是 的线性组合，因此，和 的概率分布取决于 的分布。01iiuY在 是正态分布的假设下， 是正态分布，

15、则、也服从正态分布，因此2112,iNx22002,iiXNnx01和 的标准差:122ix0222iiXnx1()f111122.u随机误差项 的方差的估计0122u在估计的参数和 的方差表达式中，都含有随机扰动项 的方差。又称为总体方差。201由于实际上是未知的，因此和 的方差实际上无法计算，这就需要对其进行估计。iiiuue由于随机项 不可观测，只能从 的估计残差出发，对总体方差进行估计。2可以证明，的无偏估计量为222ien201 u在随机误差项 的方差估计出后，参数和 的方差和标准差的估计量分别是：12221iSx的样本方差：121iSx的样本标准差：022220iiSXnx的样本方差：0220iiSXnx的样本标准差：