第二章标准线性回归模型1课件.ppt

1、第二章 标准线性回归模型n回归（regression）的含义 英国统计学家Galton和其学生Pearson研究父母身高与其子女身高的遗传问题，观察了1078对父母，以每对父母身高为x，取他们一个成年儿子的身高为y，将结果绘成散点图，发现趋势近乎一条直线（父母平均身高68吋，成年儿子平均身高69吋）：y=33.73+0.516x 可以发现：x=72吋，y=70.89吋；x=64吋，y=66.75吋；一、回归模型的思想n经济变量之间的关系有两类：确定性关系和非确定性关系，所谓确定性关系是指一个变量的变化能完全决定另一个变量的变化：价格一定时，销量与销售额 利息率一定，存入本金与到期本息 一、回归

2、模型的思想 一、回归模型的思想n更多出现的情况是：存在密切联系但并非完全决定 居民收入与消费密切相关，但不能完全决定消费 广告费支出与销售额密切相关，但不能完全决定销售额一、回归模型的思想n不完全决定的原因在于：v还有其他影响因素 一、回归模型的思想n将数据点的分布理解为如下机制所产生的结果：为随机干扰项为自变量或解释变量为因变量或被解释变量iiiiiiuXYuXY10一、回归模型的思想n随机干扰项的意义 将各种次要变量作了综合处理，保证了分析的可操作性一、回归模型的思想n假定随机干扰项的均值为0，则有：n回归模型的目标就是用样本数据估计出参数的值，据此就可以根据X的变化估计Y的平均变化 ii

3、iiiXXYEXYE1010|一、回归模型的思想二、参数估计方法二、参数估计方法二、参数估计方法n通常采用最小二乘法（Least Square Estimation）来得到参数的估计量n其目标函数是：iiiiiXYXYEY10min|min niiniiieXY02,0210,1010minmin二、参数估计方法(X Xn n ,Y Yn n)(X X1 1 ,Y Y1 1)(X X2 2 ,Y Y2 2)(X Xi i ,Y Yi i)iiiYYeXY10Y X 二、参数估计方法n满足目标函数的参数值记为 ：10，niiiXYniiXXXXXYYYXXlXXlllXY112110,二、参数估

4、计方法n多元回归模型nnknnnniikniiiknknuXXXYuXXXYuXXXYuXXXY 221102211022222211021112211101二、参数估计方法n模型的矩阵表示11112122122212011211 1 kknnnnkknYXuYXXXYXXXYXYXXXuuuu二、参数估计方法YXXX1回归模型iiiiiiiiXYXXYEuXY101010uXYYXXXXYXXYE1三、不确定性的测度n不确定性知识 +所含不确定性量度的知识 =可用的知识 C.R.Rao三、不确定性的测度三、不确定性的测度三、不确定性的测度1）无偏性 假设：X是非随机的设计矩阵n无偏性意味着估

5、计量没有高估或低估的系统倾向 E三、不确定性的测度2）方差n含义：估计量方差与随机项方差、自变量取值范围、样本量等有关 2122012211varvarniiniiXXXnXX三、不确定性的测度 12covXX 121111111111covXXXXXuuEXXXXXXuuXXXEuXXXuXXXEuXXXXuXXXXEYXXXYXXXEE三、不确定性的测度 假设：Gauss-Markov条件 222000000covu 0uE三、不确定性的测度2102200211cov1,XXXXXXlXlXnNlN三、不确定性的测度对回归系数进行检验n检验目标：n检验统计量为：0010iiHH：XXlN2

6、11,2/1ntlstXX三、不确定性的测度 F检验总平方和（SST）=残差平方和（SSR）+回归平方和（SSE）00,0,01210：不全为：HHkSSESSRYYYYYYYYYYYYYYYYYYSSTiiiiiiiiiiiii2222222三、不确定性的测度n如果随机项满足Gauss-Markov条件，则原假设成立时有：11knkFknSSRkSSEF，三、不确定性的测度 1112covcove eu P PuPe eu PuE e eE uIX X XXuxnE XXAn nE x Axtr AAE e etrIX X XXutr IX X XX 是投影阵根据如下定理：设 为 维随机向量

7、，期望和协方差存在，记，若 为常数阵，则三、不确定性的测度11122212kneekneeEknXXXtrXtrIeeE四、假设下估计量的最优性质 最小二乘估计量是所有对总体参数的线性无偏估计量中方差最小的 但并不意味着就是方差最小的估计量BLUE是（Best Linear Unbiased Estimator）四、假设下估计量的最优性质n证明 的最小二乘估计是维向量，是任一，其中无偏估计为的最小方差的任一线性函数时，假定12kcccIYDXYE bXXXXbcXXccbbbYDbYbcXbcXbYbEcYb12122varvar又因为：则有有：则对一切的任一线性无偏估计，是设四、假设下估计量

8、的最优性质 0varvar,varvarvarvar211212122cYbPPPPXXXXIbXXXXIbcYbbXXXXbcXXccbbbYDbYbcXbcXbYbEcYb投影矩阵为非负定阵）为投影矩阵（又因为：则有有：则对一切的任一线性无偏估计，是设模型的基本假定1）如果样本量为n，解释变量数量为k，则2）自变量之间不存在密切的线性关系 存在完全线性关系 1 kn0ijXX模型的基本假定n要获得估计，必须能够求逆，要求：YXXX1 111,min10knkXrkkXXrkBrkArkABrkkXXXX由阶满秩矩阵为模型的基本假定3）Gauss-Markov条件4）随机项服从正态分布5）X是非随机的设计矩阵 222000000covu 0uE模型的基本假定n如果当X取值不同时，随机项的方差不同，出现异方差问题n如果不同期的随机项具有相关关系，出现序列相关问题n如果自变量之间具有密切线性关系，出现共线性问题