多元回归分析导论课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《多元回归分析导论课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多元 回归 分析 导论 课件
- 资源描述:
-
1、Ming-chi Chen社會統計Page.1中級社會統計第十三講複迴歸分析Ming-chi Chen社會統計Page.2複迴歸分析 前面我們學到只有一個自變項的簡單迴歸分析 我們知道一個地區的人均病床數會影響到該地區的平均餘命 我們也知道一個地區的人均教育支出會影響該地區的平均餘命 但是如果教育支出相等的條件下,醫療資源的多寡會不會影響平均壽命?兩者孰輕孰重?控制的概念(在其他條件不變的情況下)Ming-chi Chen社會統計Page.3複迴歸分析 研究兩個或兩個以上的IV對DV的影響的分析方式,稱為複迴歸分析(multiple regression analysis)又稱多元迴歸分析 迴
2、歸方程式ikikiiixxxY2211為迴歸係數。為截距,其中k,1Ming-chi Chen社會統計Page.4多元迴歸Multiple Regression Models 統計成績與努力(所花時間)的關係如下:觀念y成績x1努力451006030050300704006550065600807004520075500304050607080900100200300400500600700800Ming-chi Chen社會統計Page.5多元迴歸Multiple Regression Models 兩者的迴歸線:觀念y成績x1努力451006030050300704006550065600
3、807004520075500X18007006005004003002001000Y908070605040(.012)(5.07)058.033.38iixyMing-chi Chen社會統計Page.6多元迴歸Multiple Regression Models 將學生對於數理科目的興趣納入考量發現:觀念y成績x1努力 x2興趣451001060300205030010704003065500206560020807003045200107550030304050607080900100200300400500600700800 x2=30 x2=20 x2=10Ming-chi Che
4、n社會統計Page.7多元迴歸Multiple Regression Models 如果我們針對具有相同興趣水準的學生來考量努力與成績的關係,則可以分別用三個迴歸線來表達:觀念X18007006005004003002001000Y908070605040X2 30.00 20.00 10.00Ming-chi Chen社會統計Page.8多元迴歸Multiple Regression Models這三條線的斜率似乎沒有原本迴歸線來得大,表示努力與成績的關係有一部份是受到興趣的干擾(confounding):有興趣的學生通常花比較多的時間觀念X1800700600500400300200100
5、0Y908070605040X2 30.00 20.00 10.00TotalMing-chi Chen社會統計Page.9多元迴歸Multiple Regression Models此時利用多元迴歸比簡單迴歸可以算出三條簡單迴歸的平均斜率。觀念X18007006005004003002001000Y908070605040X2 30.00 20.00 10.00Total(.088)(.004)(1.30)0.1025.066.312xxyiiMing-chi Chen社會統計Page.10多元迴歸Multiple Regression Models多元迴歸用來分析一個以上自變數對於依變數的
6、影響,可以看出其他變數不變(常數)的條件下,某一個變數對於依變數產生的淨影響為何?觀念X18007006005004003002001000Y908070605040X2 30.00 20.00 10.00TotalMing-chi Chen社會統計Page.11Partial Derivative偏微分觀念觀念 經濟學說我們對於某商品的需求量與價格及所得有關:),(21xxfy 所得水準商品價格21xx 在所得不變的條件下,商品價格x1變動,對於需求量y有何影響?22110 xBxBByMing-chi Chen社會統計Page.12Partial Derivative偏微分觀念觀念商品需求
7、變動商品價格變動yx1 假設所得固定為100,22110 xBxBBy因為價格變動所造成的商品需求變動可以表為:)100,()100,(111xfxxfy帶入原來的函數:)100()100(2110211110BxBBBxBxBBy111BxyxByiMing-chi Chen社會統計Page.13Partial Derivative偏微分觀念觀念 如果我們將x1切割成很小的單位,則每個極小單為的變動所造成的q變動為:11212,11001)100,()100(lim)(lim11Bxxxfxxxfxyxyxix22110 xBxBBy在x2不變(保持恆定)的情況下,x1的變動所造成y的變動M
8、ing-chi Chen社會統計Page.14Partial Derivative偏微分觀念觀念exBxBBy22110X2所得X1價格y需求yye21110 xBxBBy三個以上的自變數在三度空間上無法表達。二個自變數的多元迴歸分析在於設法找出最合適資料分佈的一個平面。Ming-chi Chen社會統計Page.15多元迴歸的參數推估求多元迴歸x1與x2的係數?YX1X281034952120649178261111331814841815551718exbxbay22112211xbxbay我們可以將所有的觀察值y視為x1與x2的線性函數加上誤差值e多元迴歸的預測值可以表為:Ming-ch
9、i Chen社會統計Page.16The Normal Equation觀念exbxbay2211X2所得X1價格y需求yye求使e2最小的平面2211xbxbayMing-chi Chen社會統計Page.17The Normal Equation觀念exbxbay2211)1()()(2221122xbxbayyyeSSE求 Minimum Q?將(1)式分別對a,b1,b2做偏微分,再將所得之方程式設為零,然後求解聯立方程式即可求得最小值。00021bSSEbSSEaSSEMing-chi Chen社會統計Page.18The Normal Equation觀念00021bSSEbSSE
10、aSSE0)()(2211eyyxbxbay0)()(1112211xexyyxxbxbay0)()(2222211xexyyxxbxbaye總和為零e與x1及x2不相關(uncorrelated)1()()(2221122xbxbayyyeSSEMing-chi Chen社會統計Page.19Basic Rules for Differentiation Rule 8:the chain rule)()(:)(xgfxgxgf複習Ming-chi Chen社會統計Page.20Example of chain rule222222332)2(6)2(32)(3)(2)()()(:)()(2)
11、(;)()()2()(xxxxxfyygxxhxhgxhxhgxfxxhyyygxfxxf:看成由下列兩函數合成我們可以把複習Ming-chi Chen社會統計Page.21微分求迴歸係數0)(0)1)(2)1)(2)1)(2)1)(2)()()()(:)(,1)(,2)()()(,)()()()()()(22112211221122212122121111221122221122221212221211112221122xbxbayxbxbayxbxbayxbxbayxbxbayaSSExhzgaSSExgfxgxgfxhzzgxbxbayxhzzzgxbxbayxbxbayxbxbayxb
12、xbayyyeSSEnnnnnn求最小令Ming-chi Chen社會統計Page.220)()(00)()(0 222112122111xxbxbaybSSExxbxbaybSSE同理,Ming-chi Chen社會統計Page.23The Normal Equation觀念221122110)(xbxbnayxbxbay21221111122110)(xxbxbxayxxxbxbay22221122222110)(xbxxbxayxxxbxbay)1()()(2221122xbxbayyyeSSEMing-chi Chen社會統計Page.24The Normal Equation觀念22
13、11xbxbnay21221111xxbxbxayx22221122xbxxbxayxYX1X28103495212064917826111133181484181555171828012080351510SumAverage1000,1928,1476822212xxy3560,4696,12802121yxyxxxMing-chi Chen社會統計Page.25The Normal Equation觀念21801208280bba21128019281204696bba2110001280803560bbaYX1X28103495212064917826111133181484181555
14、171828012080351510SumAverage1000,1928,1476822212xxy3560,4696,12802121yxyxxx3,2,2521bba213225xxyMing-chi Chen社會統計Page.26The Normal Equation觀念2211xbxbnay21221111xxbxbxayx22221122xbxxbxayxnxbnxbany22112211xbxbay迴歸平面通過中心點:),(21xxyMing-chi Chen社會統計Page.27Normal Equations in Reduced Form觀念2211xbxbay若將所有變數
15、都以離均值來表示求b1,b2等於:2221122)()(XbXbYYYeSSE0,021bSSEbSSE令0)(12211XXbXbY0)(22211XXbXbYYXXXbXb1212211YXXbXXb2222211)()()(222111xxbxxbyy2211xbxbay2211XbXbYMing-chi Chen社會統計Page.28Normal Equations in Reduced Form觀念解聯立方程式:YXXXbXb1212211YXXbXXb2222211212122212211221XXXXXXYXXXYXXb212122211212212XXXXXXYXXXYXXb2
16、122211212122SSSSSSSSSSSSSSyy2122211112211SSSSSSSSSSSSSSyyMing-chi Chen社會統計Page.29Normal Equations in Reduced Form觀念解聯立方程式:21222112121221SSSSSSSSSSSSSSbyy21222111122112SSSSSSSSSSSSSSbyy2222)(ynyyyYSSyy21212112111)(xnxxxXSS22222222222)(xnxxxXSSyxnyxyyxxYXSSy111111)(yxnyxyyxxYXSSy222222)(212122112112)(
17、xxnxxxxxxXXSSMing-chi Chen社會統計Page.30觀念YX1X281034952120649178261111331814841815551718280120803515101000,1928,1476822212xxy3560,4696,12802121yxyxxx21222112121221SSSSSSSSSSSSSSbyy200)100(81000222222xnxSS128)15(819282212111xnxSS496)35)(15(84696111yxnyxSSy760)35)(10(83560222yxnyxSSy80)10)(15(81280212112
18、xxnxxSS26400256006080099200)80(80)200(128)760)(80()4696)(200(1bMing-chi Chen社會統計Page.31一般化迴歸模型的假設條件 依變數Yi為隨機變數,自變數(Xi,i=1,k)為預先選定的變數。Zero Mean:E(ei)=0 Homoscedasticity:e2 is the same for all value of independent variable.Normality:ei為常態分配 No serial correlation:E(eiej)=0,i j Independent of ei and xij
19、:E(eixij)=0iikkiiiexBxBxBBY22110Ming-chi Chen社會統計Page.32一般化迴歸模型的假設條件 No perfect multicollinearity:it is not possible to find a set of numbers c0,c1,ck such thatnixcxcxccikkii,.,2,1every for,022110 樣本數nk+1,在複迴歸模型若有k個自變數,則有k+1(包括截距)個迴歸參數,此時利用樣本來估計迴歸參數時,樣本數必須大於k+1個。Ming-chi Chen社會統計Page.33The General M
20、ultiple Regression Model b0,b1,bk are the least-squares estimates of 0,1,k that minimize the residual sum of squares:iikkiiiexxxY22110ikkiiixbxbxbby2211022211022)()(ikkiiiiixbxbxbbyyyeSSE The Gauss-Markov Theorem:If the basic assumptions hold:b0,b1,bk are the unbiased estimates of0,1,k b0,b1,bk have
21、 the minimum variances among the class of linear unbiased estimators母體迴歸線樣本迴歸線Ming-chi Chen社會統計Page.34Estimated Standard Error of Regression 如同在簡單迴歸中,為了要做假設檢定,我們必須要估計e2。在簡單迴歸中,我們知道S2e=SSE/(n-2)為e2 的不偏估計式。同理,在複迴歸中,S2e=SSE/(n-(K+1)為e2 的不偏估計式。其中n為樣本數,(K+1)為所欲估計的未知數(即K個自變數加上一個常數項)。Ming-chi Chen社會統計Page.
22、35Estimated Standard Error of Regression SSE的一般性公式:22211022)()(ikkiiiiixbxbxbbyyyeSSEiikkiiiiiiyxbyxbyxbybySSE221102Ming-chi Chen社會統計Page.36Partition of Total Sum of Squares觀念多元迴歸中,SST=SSR+SSE仍然成立)()()(yyyyyy22)()()(yyyyyy)(2)()(22yyyyyyyy)(2)()(22yyyyyyyy)(2)(2)()(22yyyyyyyyyy0e)(2)()(221122xbxbayy
23、yyyy 2)()(221122exbexbeayyyye與x1及x2不相關Ming-chi Chen社會統計Page.37Partition of Total Sum of Squares觀念YX1X2y-hat(y-ybar)2(y-yhat)2(yhat-ybar)28103472916961495896116729212063319614444917833196256426111130811625331814534400324841815562401784441551718634006478428012080496816963272SST=SSE+SSRMing-chi Chen社會統
24、計Page.38Sum of Square due to Regression觀念22112211xbxbyaxbxbay代入2211xbxbay22112211xbxbxbxbyy)()(222111xxbxxbyy2211XbXbY以大寫字母來表示與平均值間的差異。212122222121222)(XXbbXbXbYyySSRMing-chi Chen社會統計Page.39Sum of Square due to Regression觀念212122222121222)(XXbbXbXbYyySSRYX1X281034952120649178261111331814841815551718
展开阅读全文