类别因变量回归Logit模型原理及应用课件.ppt

1、有限类别因变量回归分析有限类别因变量回归分析:Logit模型原理及应用模型原理及应用Regression analysis for limited and categorical dependent variables:Logit model and its application2022-12-111一个常被忽视的一个常被忽视的OLS基本假设基本假设v测量假设（测量假设（measurement assumption）所有自变量是定距（interval）、比率（ratio）或类别（categorical）变量，因变量是连续的、无限制的（unbounded）定距或比率变量，并且自变量不存在测量误

2、差类别是以男、女等性别类标进行分类比较的，但不是定距的；定距是大小已定，二者距离是可比较的；按照ols回归，类别不能作为因变量，例如价格对满意度的影响，满意度就是类别的，有限的。2022-12-112一个常被忽视的一个常被忽视的OLS基本假设基本假设v 如果模型因变量是有限的类别变量如果模型因变量是有限的类别变量 在实际分析中，因变量常常都是有限变量例如，个人的收入多数只存在于一个有限的值域范围内，个人的年龄都限制在一定得寿命范围内，个人所受教育亦是有限的 但这些变量取值可以近似于连续，其取值范围虽然有限，但通常范围较大，因此可以将其看成是连续无限的变量然而，有一些变量却明显不是连续的，属于类

3、别变量（无序和有序）例如，个人的性别、个人是否就学某一层级教育，个人对于纳税的意愿 如果以这些变量作为因变量进行OLS回归，就会严重违背OLS有关测量的基本假设（因变量是类别变量，不能ols回归）2022-12-113线性概率模型（线性概率模型（LPM，Linear Probability Model）v 一个案例一个案例 收入对于个人是否购买最新款Apple Ipad是否具有影响，自变量为个人收入，因变量为个人购买Ipad的决定，0表示不购买，1表示购买 如果使用OLS，能形成一个线性概率回归方程：因变量即为个人购买Ipad的条件概率，自变量的估计系数即表示当个人收入每增加一单位，个人购买I

4、pad的概率会上升多少 如此做，似乎也实现了我们的研究目的 是否存在问题呢？iiiiiiiiiiiixxyPxyPxyExexExyE)|1()|1()|()()|(2022-12-114线性概率模型存在的四个问题线性概率模型存在的四个问题v 异方差问题异方差问题若因变量只取值0和1值，那么线性概率模型的残值方差为：残值方差有赖于因变量的条件概率值，而该概率值又是以自变量取值为条件的，因此残值方差势必与自变量相关，为异方差 估计系数标准误非最优，t显著性检验无效v 预测值可能会超出因变量（预测值可能会超出因变量（0,1）的值域范围）的值域范围例如，运用线性概率模型OLS回归的结果如下：y=-0

5、.41+0.064*x，x的值域在（8,29）当x=8时，y=0.1，当x=29时，y=1.45（超出1）v 残值不符合正态分布残值不符合正态分布在小样本下，t显著性检验无效)|0()|1()(iiiiixyPxyPeVar2022-12-115线性概率模型存在的四个问题线性概率模型存在的四个问题v函数识别错误函数识别错误自变量与因变量概率之间的关系应当是非线性还是线性？因变量概率的值域在（0，1）之间，因此随自变量值无限增大或减少，因变量概率值应当会无限接近1或0 如下左图，对于两分类别因变量的分析应使用非线性函数 如下右图，自变量x与因变量y概率之间呈S状变化，曲线上下两端无限趋近于0和1

6、，此图形类似于一种随机变量的累积分布曲线2022-12-116Logistic Regression Model（LRM）v什么是什么是Logistic regression model 以Logistic分布来近似两分类别因变量概率的变化曲线（类别只有2种，买或不买；男或女）Logsitic分布的均值为0，方差等于 。将该分布应用于两分因变量回归的最大好处在于，它能使得累积分布函数最终取得一个简单的函数公式3/22022-12-117Logistic回归原理回归原理v假定有一个连续反应变量假定有一个连续反应变量g（latent variable）表示某一事件发生的可能性，其值域无限。表示某一

7、事件发生的可能性，其值域无限。y事件从事件从不发生（不发生（0）到发生（）到发生（1）的变化需）的变化需g达到一个临界值（假设该临界值为达到一个临界值（假设该临界值为0）g为潜变量为潜变量当g0时，y=1；当g0时，y=0假定g与自变量x之间存在线性关系，有:回归模型回归模型式，亦称为，这就是）（进一步转换，可得代入上式，可得：将接近于，反之无穷小时，无限无限接近于趋近于无穷大时，当残值分布，于是有：为对称的），可以假设它分布具体是什么（应是此时我们需假设残值的，于是有：数为假定残值的累积分布函是有：的分布为对称分布，于假定因变量LogitLogisitcoddsln)1ln(,11)|1(0

8、1)|1()exp(11)|1(Logistic)()|1()()|1(y)()0()|1()(111111iiixiiiiiiiiiiiiiiiiiiiiiiiiiiixppexyPxexyPeexyPxeFxyPFxePxyPxePexPxyPexgi发生比2022-12-118Logistic回归的特点回归的特点v因变量是因变量事件发生与不发生概率之比的对数值因变量是因变量事件发生与不发生概率之比的对数值 两个概率之比称为odds，有多种翻译，包括发生比、概率比、几率等，而log（odds）被称为对数发生比该值越大，说明事件发生的可能性越高该概率比对数值的值域在（正负无穷之间）之间202

9、2-12-119Logistic回归的特点回归的特点v自变量估计系数可以按照参照自变量估计系数可以按照参照OLS回归的方法来回归的方法来解释解释 值得注意，由于因变量是对数概率比，这一数值本身没有太多现实含义，因此，我们一般不用“自变量每变化一单位，某一事件的对数概率比会变化多少”这一方法来解释估计结果，而是比较笼统地用“随自变量变大，某一事件发生的可可能性能性会随之增大或减少”2022-12-1110Logistic回归的特点回归的特点v对数概率比对于参数是线性的，但自变量对事件对数概率比对于参数是线性的，但自变量对事件发生的概率的影响是发生的概率的影响是非线性非线性的（只有非线性才会的（只

10、有非线性才会有边际的存在，线性下，影响是一样的）有边际的存在，线性下，影响是一样的）如果你想得到某一自变量对事件发生概率的影响，该影响必定是边际影响，即你可以测算出在其他自变量取一定数值的条件下，某一自变量由某一特定的值变化一单位，事件发生的概率会变化多少。这需要进行一定转换计算，我们可以利用Stata进行计算，并绘图，之后会有介绍2022-12-1111Logistic模型的估计模型的估计v 最大似然法最大似然法 对数似然函数（log-likelihood function）和迭代计算法 即通过对估计系数和不断的取值，使得对数似然函数值实现最大，具体统计推断参见参考书v 最大似然估计法对样本

11、容量的要求最大似然估计法对样本容量的要求“It is risky to use ML with samples samller than 100,while samples over 500 seem adequate.These values should be rasised depending on characteristics of the model and the data.First,if there are many parameters（参数）,more observations are needed.A rule of at least 10 observations p

12、er parameters seems reasonable.This does not imply that a minimum of 100 is not needed if you have only two parameters.Second,if the data are ill-conditioned(e.g.,or if there is little variation in the dependent variable(e.g.,nearly all the outcoindependent variabless are highly collinear)mes are 1)

13、,a large sample is required.Third,some models seem to require more observations(such as the ordinal regression model or the zero-inflated count models)(Long,1997:54)有序类别回归2022-12-1112如何在如何在Stata中实现中实现Logistic回归分析回归分析v 两分类别变量的逻辑回归两分类别变量的逻辑回归-logit-两分类别变量有两种结果，Stata进行logit回归时默认以赋值小的那个结果作为参照结果（baseoutc

14、ome）例如，我们想探讨性别与受教育年限对农民外出从业可能性的影响，因变量是农民是否外出从业，0为在家从业，1为外出从业。此时逻辑回归的因变量即为：外出从业与在家从业的比率 logit emigrant gender edu)1/(ln()/ln(homemigrantemigranteemigrantpppp2022-12-1113如何在如何在Stata中实现中实现Logistic回归分析回归分析 _cons -2.179571 .1087227 -20.05 0.000 -2.392663 -1.966478 edu .1078544 .0110317 9.78 0.000 .086232

15、7 .129476 gender .4099229 .0800412 5.12 0.000 .2530451 .5668008 emigrant Coef.Std.Err.z P|z|95%Conf.Interval Log likelihood=-1981.9839 Pseudo R2 =0.0352 Prob chi2 =0.0000 LR chi2(2)=144.79Logistic regression Number of obs =3610Iteration 4:log likelihood=-1981.9839 Iteration 3:log likelihood=-1981.98

16、39 Iteration 2:log likelihood=-1981.9849 Iteration 1:log likelihood=-1983.1605 Iteration 0:log likelihood=-2054.3767 .logit emigrant gender edu2022-12-1114如何解释如何解释Logistic回归的估计结果回归的估计结果v用对数概率比进行解释用对数概率比进行解释 由于对数概率比没有实际意义，因此，推荐用趋势方法趋势方法来解释估计结果 如本例，根据逻辑回归估计结果，我们可以说男性外出从业的可能性显著高于女性，受教育程度越高的农民外出从业的可能性越高

17、，而不说，农民个人受教育年限每增加一年，农民外出从业的对数概率比会增加0.112022-12-1115如何解释如何解释Logistic回归的估计结果回归的估计结果v 用概率比进行解释用概率比进行解释 如果自变量是类别变量%100*01/)/(/)/(/20110/10101)ln()1ln()()(01)(1)(0)(之间的概率比会变化相对于取值为单位，因变量取值为表示随自变量每增加一量，那么、如果自变量是连续变倍之间的概率比会变化相对于取值为，因变量取值为变化为表示随自变量由时，当时，当，那么和量，取值分别为、如果自变量是虚拟变iiixiiixiixxxxxiiiiioddxoddexodd

18、xexoddeeeoddoddeoddxeoddxeoddxoddppiii男性外出从业是女性外出从业的男性外出从业是女性外出从业的e的的0.41倍倍自变量变化一单位，因变量概率比变化自变量变化一单位，因变量概率比变化 倍倍2022-12-1116如何解释如何解释Logistic回归的估计结果回归的估计结果v如本例，根据逻辑回归结果如本例，根据逻辑回归结果 男性外出从业相对于在家从业的概率比是女性的1.51倍 个人受教育年限每增加一年，农民外出从业相对于在家从业的概率比会显著增加10.8%在-logit-后面加上or选项，Stata会自动算出各回归系数的 值e2022-12-1117如何解释如

19、何解释Logistic回归的估计结果回归的估计结果v用概率进行解释用概率进行解释 虽然逻辑回归函数是线性函数，但只是有关概率比对数的线性函数，对于事件发生的概率来说，该函数是非线性函数)()(1)1(iixxeeYP2022-12-1118如何解释如何解释Logistic回归的估计结果回归的估计结果v 在在Logistic回归模型中，自变量对于事件发生概率的影响势必会随自回归模型中，自变量对于事件发生概率的影响势必会随自变量的变动而发生变动，也就是说，自变量对事件发生概率的边际影变量的变动而发生变动，也就是说，自变量对事件发生概率的边际影响是变动的。如果自变量是连续变量，那么在我们对估计结果进

20、行概响是变动的。如果自变量是连续变量，那么在我们对估计结果进行概率变动分析时率变动分析时 坚持以自变量对事件发生概率的影响进行文字解释，会面临巨大的计算量，并且作用不大 一个好的策略是借助Stata计算出在每一个自变量取值下因变量事件发生概率的预测值，并利用它绘制出一个随自变量变化，因变量事件发生概率的变动趋势图，这会给读者带来一些有价值的直观感受（next slide）2022-12-1119如何利用如何利用Stata作概率变化图作概率变化图v 利用利用-prgen-命令绘制概率变化图命令绘制概率变化图0.1.2.3.4.5.6.7.8.91pr of nonemigrant and emi

21、grant024681012141618education yearpr_nonemigrantpr_emigrant2022-12-1120Logistic回归模型的整体有效性检验回归模型的整体有效性检验v对模型整体是否有效的对模型整体是否有效的 检验检验先计算出一个只包括截距，所有自变量回归系数强迫其为零的模型的log likelihood（对数似然）值，记为：L（Mintercept）再计算出包括所有自变量的完全模型的log likelihood值，记为：L（Mfull）构造函数：LR=2L（Mfull）-2L（Mintercept）该函数符合 分布，自由度K等于full model中的

22、变量个数卡方检验的零假设为：full model中所有的变量系数都为零，即Mintercept和Mfull无差别Stata实现命令-fitstat-2)(2k2022-12-1121Logistic回归模型的拟合优度（回归模型的拟合优度（Fit of Goodness）vLogsitic回归模型有多种拟合优度的计算指标回归模型有多种拟合优度的计算指标 皮尔逊 检验及其修正Hosmer-Lemeshow拟合优度 信息测量指标（information measures）类拟合优度指标（Pseudo-R2）这些指标均基于对数似然函数进行计算，其原理与OLS拟合优度指标有本质不同，因此称为“类”拟合2

23、2022-12-1122皮尔逊卡方检验及其修正皮尔逊卡方检验及其修正v皮尔逊卡方检验原理皮尔逊卡方检验原理假定Logistic回归模型中的自变量都为类别变量 例如我们想观察性别（男与女）与就读大学层次（重点与非重点）对个人是否能寻找到工作可能性的影响，此时模型自变量都为两分变量，个数为2，那么我们就可以得到4种人群组合，构建Logistic模型如下：通过如上模型回归，我们可以得到每一类人群找到工作的预测概率，将这一预测概率与每类人群人数相乘，就可以得到每类人群找到工作的频数，而皮尔逊卡方检验就是将模型的预测频数与实际观测频数相对比进行检验 通过模型构造，可以得到一个符合卡方分布的统计量，可以进

24、行检验，零假设是预测频数与实际观测到的频数无显著差别，如果皮尔逊卡方检验的卡方值越小，那么卡方检验势必不显著，这也就表明预测频数与观测频数有很好的吻合度，模型拟合度较高univgenderpp21)1ln(2022-12-1123皮尔逊卡方检验及其修正皮尔逊卡方检验及其修正v 皮尔逊卡方检验的缺点皮尔逊卡方检验的缺点 如果模型中除类别自变量外，还有其他连续性自变量，人群分组数量就会变得非常多，而每一类别组内个体数量会变得很少，此时皮尔逊卡方检验就不再适用了。Hosmer和Lemeshow就其进行了修正，HL检验的原理与皮尔逊相同，唯一不同在于检验统计量构造有差别，该方法克服了皮尔逊卡方检验严重

25、依赖自变量为类别变量的缺点HL检验的零假设依然为预测和观测频数无显著差异，检验的卡方值越大，表明预测和观测频数无显著差异Stata的实现命令-estat gof-2022-12-1124皮尔逊卡方检验及其修正皮尔逊卡方检验及其修正 Prob chi2=0.0038 Pearson chi2(35)=61.39 number of covariate patterns=38 number of observations=3610Logistic model for emigrant,goodness-of-fit test.estat gof _cons -2.179571 .1087227 -

26、20.05 0.000 -2.392663 -1.966478 edu .1078544 .0110317 9.78 0.000 .0862327 .129476 gender .4099229 .0800412 5.12 0.000 .2530451 .5668008 emigrant Coef.Std.Err.z P|z|95%Conf.Interval Log likelihood=-1981.9839 Pseudo R2 =0.0352 Prob chi2 =0.0000 LR chi2(2)=144.79Logistic regression Number of obs =3610I

27、teration 4:log likelihood=-1981.9839 Iteration 3:log likelihood=-1981.9839 Iteration 2:log likelihood=-1981.9849 Iteration 1:log likelihood=-1983.1605 Iteration 0:log likelihood=-2054.3767 .logit emigrant gender edu.do C:UsersHuangAppDataLocalTempSTD00000000.tmp2022-12-1125信息测量指标：信息测量指标：AIC和和BICv 该类

28、指标可以用于检验该类指标可以用于检验nested和和nonnested模型之间的优劣模型之间的优劣 AIC（Akaikes Information Criterion）L(Mk)是模型Mk的likelihood值，Pk是模型估计系数（包括截距和自变量估计系数）的个数 如果有两个模型，一个是nonnested模型，一个是nested模型，在前者模型中，有部分自变量是后者模型所不包含的，并且除自变量有差别外，其他条件相同，那么我们可以分别计算出这两个模型的AIC值，AIC值越小，说明该模型的拟合度越高，是better-fitting model AIC统计量的另一个变形是用样本容量N乘以AIC，即

29、为N*AIC BIC（Bayesian Information Crierion）df是L(Mk)的自由度，N为样本容量 BIC通常为负值，越小表明模型拟合度越高。同样假定有两个nested和nonnested模型，将它们的BIC分别算出并相减，如果结果小于0，说明nested模型的拟合度更好，如果大于0，说明nonnested模型拟合度更好 Stata实现命令-fitstat-NPMLAICkk2)(ln2NdfMLBICkkln)(ln22022-12-1126类拟合优度类拟合优度v McFaddens R2 两种模型构建之前的模型整体有效性检验R2MCF值域在（0,1）之间。当full

30、model和intercept model之间无任何差别时，两个模型的log likelihood完全相等，此时R2MCF等于0。R2MCF不可能完全等于1，只能无限接近于1R2MCF的修正该指标由于会随着自变量个数的增加而不断增大，因此需进行调整 Stata的实现命令-fitstat-)(ln)(ln1int2erceptfullMCFMLMLR)(ln)(ln1)(int2erceptfullMCFMLkMLRadjusted2022-12-1127类拟合优度类拟合优度vCox&Snells R2R2MCF又称为Maximum likelihood R2，该指标原理与之前的McFadden

31、s R2类似，其性质基本相同vCragg&Uhlers R2由于Cox&Snells R2最大值不是1，而是因此，标准化后为：vStata实现命令实现命令-fitstat-NerceptML/2int)(1NfullerceptMCFMLMLR/2int2)()(1NerceptNfullerceptMCFMCFUCMLMLMLRRR/2int/2int222&)(1)(/)(1max2022-12-1128Count&adjusted count R2v原理原理假定个人行为有两种结果（例如，找到工作和没找到工作）。根据Logistic回归结果，我们可以为每一个观测单位预测一个概率，假定若该预

32、测概率大于0.5，该观测单位便会采取行动，而若该预测概率小于等于0.5，则不会采取行动。将这一预测的行为结果与实际发生的行为结果进行对比Count R2就是将那些预测正确的case数除以样本总case数的一个比例值，假定njj表示对某一行为结果j预测正确的数量，那么，其公式为：计数拟合指标常常会被视为是评价一个模型预测准确度的指标，但值得注意的是，如果我们对于模型到底应该包含哪些自变量没有太多知识判断的话，那么可能你随便加入一些自变量进行到Logistic回归模型中，也可能会获得很高的预测正确率，特别是在两分逻辑回归中，非此即彼，很容易得到较高的预测正确率，因此提出了一种修正后的计数拟合度指标

33、（adjusted count R2，该指标计算具体计算参见参考书Long&Freese（2006）：111）jjjcountnNR122022-12-1129拟合优度的测算拟合优度的测算BIC used by Stata:3988.542 AIC used by Stata:3969.968BIC:-25582.639 BIC:-128.403AIC:1.100 AIC*n:3969.968Count R2:0.742 Adj Count R2:-0.006Variance of y*:3.526 Variance of error:3.290McKelvey&Zavoinas R2:0.0

34、67 Efrons R2:0.035ML(Cox-Snell)R2:0.039 Cragg-Uhler(Nagelkerke)R2:0.058McFaddens R2:0.035 McFaddens Adj R2:0.034 Prob LR:0.000D(3607):3963.968 LR(2):144.786Log-Lik Intercept Only:-2054.377 Log-Lik Full Model:-1981.984Measures of Fit for logit of emigrant.fitstat.quietly logit emigrant gender edu2022

35、-12-1130如何在如何在Stata中实现多项类别逻辑回归中实现多项类别逻辑回归v 什么是多项类别变量的逻辑回归什么是多项类别变量的逻辑回归 如果因变量不是两分类别变量，而是超过2个结果的多项类别变量，同样也可以运用Logistic模型进行回归分析 如果因变量是n项类别变量，那么以其中一种结果作为参照结果，与其他结果两两对比，可以得到n-1个逻辑回归方程，分别进行回归。每一个方程的因变量是这n-1个结果各自的概率与参照结果概率之比的对数（男与女比，中性与女比）2022-12-1131如何在如何在Stata中实现多项类别逻辑回归中实现多项类别逻辑回归v Stata的实现方法的实现方法-mlog

36、it-mlogit employment gender edu,baseoutcome(1)若不输入选项outcome(#)，Stata默认是以频数最多的结果作为参照结果option rrr将估计系数转换成exp()，注意在-logit-命令中此选项命令为“or”mlogit employment gender edu,baseoutcome(1)rrr，两项回归选项是or2022-12-1132一个多项类别逻辑回归的例子一个多项类别逻辑回归的例子v考察性别与受教育年限对农民从业的影响考察性别与受教育年限对农民从业的影响 农民从业类型分为纯务农从业、混合从业和纯非农从业三种，赋值分别为1、2和

37、3 自变量包括个人性别和受教育年限 以农民纯务农为参照结果，考察农民选择混合从业（相对于纯务农）和选择纯非农从业（相对于纯务农）的可能性会受到个人性别和受教育年限怎样的影响2022-12-1133一个多项类别逻辑回归的例子一个多项类别逻辑回归的例子 _cons .4035717 .0394663 -9.28 0.000 .3331805 .4888346 edu 1.193608 .0137996 15.31 0.000 1.166866 1.220964 gender 2.513006 .2115632 10.95 0.000 2.130754 2.963835 _cons .3177133

38、 .0380686 -9.57 0.000 .2512141 .4018156 edu 1.028294 .0154706 1.85 0.064 .9984152 1.059068 gender 1.898668 .219968 5.53 0.000 1.512983 2.38267 (base outcome)employment RRR Std.Err.z P|z|95%Conf.Interval Log likelihood=-3064.8402 Pseudo R2 =0.0724 Prob chi2 =0.0000 LR chi2(4)=478.37Multinomial logist

39、ic regression Number of obs =3610Iteration 4:log likelihood=-3064.8402 Iteration 3:log likelihood=-3064.8402 Iteration 2:log likelihood=-3064.8414 Iteration 1:log likelihood=-3068.7528 Iteration 0:log likelihood=-3304.023 .mlogit employment gender edu,baseoutcome(1)rrr _cons -.907401 .0977926 -9.28

40、0.000 -1.099071 -.715731 edu .1769809 .0115612 15.31 0.000 .1543213 .1996404 gender .9214798 .0841873 10.95 0.000 .7564758 1.086484 _cons -1.146606 .1198205 -9.57 0.000 -1.38145 -.9117619 edu .0279015 .0150449 1.85 0.064 -.001586 .057389 gender .6411525 .1158538 5.53 0.000 .4140831 .8682218 (base ou

41、tcome)employment Coef.Std.Err.z P|z|95%Conf.Interval Log likelihood=-3064.8402 Pseudo R2 =0.0724 Prob chi2 =0.0000 LR chi2(4)=478.37Multinomial logistic regression Number of obs =3610Iteration 4:log likelihood=-3064.8402 Iteration 3:log likelihood=-3064.8402 Iteration 2:log likelihood=-3064.8414 Ite

42、ration 1:log likelihood=-3068.7528 Iteration 0:log likelihood=-3304.023 .mlogit employment gender edu,baseoutcome(1)2022-12-1134一个多项类别逻辑回归的例子一个多项类别逻辑回归的例子v 估计结果估计结果 男性选择混合从业和纯非农从业（相对于纯务农）的概率比分别是女性的多少倍？1.9倍和2.5倍 个人受教育水平每增加一年，农民选择混合从业（相对于纯务农）的概率比会显著增加百分之几？2.8%（在P=0.1置信水平下）农村选择纯非农从业（相对于纯务农）的概率比会显著增加百分之几？17.7%（在P=0.01置信水平下）2022-12-1135