二元选择模型.ppt

1、二元选择模型第一节 线性概率模型模型第二节 二元Logit离散模型第三节 二元Probit离散模型模型第四节 受限Tobit模型 二元离散选择模型的经济背景 实际经济生活中，人们经常遇到二元选择问题。由于购买住房行为要受到许多因素的影响，不仅有家庭收入、房屋价格，还有房屋的所在环境、人们的购买心理等，所以人们购买住房的心理价位很难观测到，但我们可以观察到是否购买了住房，即 不购买住房不购买住房购买住房购买住房01iY研究家庭是否购买住房。员工是否愿意跳槽到另一家公司，取决于薪资、发展潜力等诸多因素的权衡。员工跳槽的成本与收益是多少，我们无法知道，但我们可以观察到员工是否跳槽，即 不跳槽不跳槽跳

2、槽跳槽01iY分析公司员工的跳槽行为。建议对投票者的利益影响是无法知道的，但可以观察到投票者的行为只有三种，即 弃权弃权反对反对支持支持321iY对某项建议进行投票。从上述被解释变量所取的离散数据看，如果被解释变量只有两个选择，则建立的模型为二元离散选择模型，又称二元型响应模型；如果变量有多于二个的选择，则为多元选择模型。这种二元选择模型或多元选择模型，统称离散选择模型。主要介绍线性概率模型、Probit模型、Logit模型。第一节 线性概率模型一、线性概率模型形式 NiuXYiii,2,110 设家庭购买住房的选择主要受到家庭收入水平的影响，则用如下模型表示其中:Xi为家庭的收入水平，Yi为

3、家庭购买住房的选择 没有购买住房没有购买住房已购买了住房已购买了住房01iY令 那么)1(iiYPP)0(1 iiYPP被解释变量Yi 的分布为Yi 0 1概率概率 1-Pi Pi于是 iiiiPYPYPYE )0(0)1(1)(又因为0)(iuE所以NiuXYiii,2,110 iiiiXPYPYE10)1()(家庭选择购买住房的概率是解释变量-家庭收入的一个线性函数。我们称这一关系式为线性概率函数。根据经典线性回归，我们知道其总体回归方程是条件期望建立的，这使我们想象可以构造线性概率模型 iiiiXYEYPP )()1(),1(21 kiiiiXXXX),(10 k iiikikiiuXu

4、XXY 110Yi的样本值是0或1。线性概率模型只能在 范围内进行估计。01iiPX222()()(1)(1)(1)iiiiiiiE uXPXPPP 现在来分析线性概率模型随机干扰项ui的分布iiikikiiuXuXXY 110 011iiiiiiiYXYXXYu ui概率概率 1-Pi Pi iX iX 10)(iuE随机干扰项ui的方差为随机干扰项ui非正态且存在异方差性 由于随机干扰项具有异方差性。修正异方差的一个方法就是使用加权最小二乘估计。但是加权最小二乘法无法保证预测值 在 之间，这是线性概率模型的一个严重缺陷。iY1,0可能不成立可能不成立1)(0 iiiXYEPiiikikii

5、uXuXXY 110 iX iX-0.20.00.20.40.60.81.01.2051015202530XY 001110 iiiiiXXXXP效用模型 用 表示第 i个个体选择1的效用，表示第 i个个体选择0的效用。其效用均为随机变量，于是有1iU0iU ）（）（21000111iiiiiiuXUuXU 将(1)-(2)，得)()(010101iiiiiuuXUU 记 01*0101*,iiiiiiuuuUUY 则有*iiiuXY 格林称该模型为潜回归 当效用差Yi*不大于零，则Yi 应该选“0”*iiiuXY 这是二元选择模型的切入点。称Yi*为潜在变量。这个变量是不可观测的。当效用差Y

6、i*大于零，则Yi 应该选“1”0001*iiiYYY作为研究对象的二元选择模型Yi 和Yi*的关系为：则)(1)()0()1(*iiiiiXFXuPYPYP 0001*iiiYYY*iiiuXY 很明显，我们要得到事件发生的概率就必须知道随机干扰项ui*的概率分布，通常假定ui*服从下列二种分布，于是我们便得到了Logit、Probit模型：标准正态分布 xdzexxFz2221)()(逻辑分布)()exp(1)exp()(xxxxF 其中 为机会概率比（简称机会比），即事件发生与不发生所对应的概率之比。第二节 二元Logit离散模型在最终的效用模型中，假定ui*的分布为逻辑分布，则该模型称

7、为Logit模型。*iiiuXY Logit模型的另一种表述为：)(1)()0()1(*iiiiiXFXuPYPYP)exp(1)exp()(iiiXXXF （非线性）（非线性）)exp()1(1)1(iiiXYPYP （广义非线性）（广义非线性）iiiXYPYP )1(1)1(ln)1(1)1(iiYPYP逻辑斯蒂回归模型 三、Probit模型在最终的效用模型中，假定ui*的分布为标准正态分布，则该模型称为Probit模型。*iiiuXY Probit模型的另一种表述为：)(1)()0()1(*iiiiiXXuPYPYP izXidzeX2221)(五、Extreme 模型在最终的效用模型中

8、，假定ui*的分布为极值分布，则该模型称为Extreme模型。*iiiuXY 第二节 二元离散选择模型最大似然估计下面我们来构造二元离散选择模型的似然函数。这是二元离散选择模型最关键的问题。我们假设有以Y 轴为对称的概率密度函数f（.），则)()(1)1(iiiXFXFYP )(1)()0(iiiXFXFYP 于是模型的似然函数为 1021)()(1)(iiYiYinXFXFYYYP ，模型的似然函数为 1021)()(1)(iiYiYinXFXFYYYPL ，iiYiYNiiXFXF)()(111 iiYiYiPP 1)1(Yi 0 1概率概率 1-Pi Pi两边同时取自然对数，则 Niii

9、iiXFYXFYL1)(ln)(1ln)1(ln NiiiiiXFYXFYL1)(ln)(1ln)1(ln 对数似然函数最大化的条件是(*)()()(1)()1(ln1 NiiiiiiiiXXFXfYXFXfYL 于是我们选择F不同的形式得到不同的经验模型一、Logit模型的最大似然估计对于Logit模型，我 们有：密度函数)()exp(1)exp()(xxxxF 分布函数)(1)()exp(1()exp()(2xxxxxf (*)()()(1)()1(ln1 NiiiiiiiiXXFXfYXFXfYL 带入(*)式，我们得到：0ln1 NiiiiXXYL)(然后运用迭代法来估计系数 。Log

10、istic回归参数的极大似然估计值有如下性质 （1）极大似然估计为一致估计，当样本容量很大时，模型的参数估计值将比较接近真值;（2）极大似然估计为渐进有效的，当样本容量增大时,参数估计的方差相对缩小,当样本容量 时，极大似然的方差不大于用其它方法得到的参数估计的方差;N （3）极大似然估计为渐进正态的，当样本容量较大时，可以采用正态假设来构造模型参数的显著性检验与估计参数的置信区间等。,参数 的置信区间为:由于超大样本条件下 具有渐进正态分布，因此 j)(/)(jjjSEZ 1j j)(),(22jjjjSEZSEZ 渐进服从标准正态分布，其中)(jSE 是 的标准误差，对于给定的显著性水平二

11、、Probit模型、Extreme 模型的最大似然估计如果是正态分布，则对数似然函数为 NiiiiiXFYXFYL1)(ln)(1ln)1(ln NiiiiiXYXYL1)(ln)(1ln)1(ln Probit模型、Extreme 模型的最大似然估计就是使上式有最大值时的 。具体求解过程这里不再赘述。如果是极值分布，则对数似然函数为 需要指出的是，不同的分布假设虽然给参数估计带来了很大的不同，但对于研究者，他们所感兴趣的估计效应则没有太大的差别。在例子中分析了某种教学方法对学生成绩的有效性。因变量(Grade)表示学生在接受新教学方法后成绩是否得到提高，如果提高，则Grade=1；未提高，则

12、Grade=0。同时使用学生平均学分成绩GPA、调查测试之前学生的期初考试分数SE和个性化教学系统PSI作为学生成绩的预测单元，即解释变量。其中，如果对受调查学生采用新的教学方法，则PSI=1；若没有采用新的教学方法，则PSI=0。学校对32位学生进行了调查，得到表1所示的数据。例1 考虑Greene给出的斯佩克特和马泽欧(1980)的例子。*3210*iiiiiiiuPSISEGPAuXGrade 根据这些解释变量，建立度量学习效果模型其中，是 的不可观测的潜在变量。GradeGradeLogit模型估计结果表达式iiiiPSISEGPAX*379.2*095.0*826.2021.13 )

13、exp(1)exp()1(,)1(1)1(ln iiiiiiXXGradePGradePGradePX 1.Logit模型的建立与估计Probit模型估计结果表达式iiiiPSISEGPAX*426.1*052.0*626.1452.7 )()1(iiXGradeP 2.Probit模型的建立与估计Extreme Value模型估计结果表达式iiiiPSISEGPAX*616.1*060.0*584.1140.7 )exp(1)1(iXieGradeP 3.Extreme Value模型的建立与估计 线性回归模型中的可决系数R2不再适用于测度离散选择模型的拟合优度。原因是离散选择模型的R2不可

14、能接近1(因为Yi的观测值只取0或1，而Yi 的预测值是概率)。目前最常用的是McFadden(1974)提出的McFadden-R2，它是一种替代R2的度量拟合优度的较好方法。第三节 二元离散模型的评价和参数的统计检验一、模型的拟合优度检验（一）McFadden-R2Mcfadden R-squared：麦克法登似然比率指数（likelihood Ratio Index）其被定义为:0lnln1LL 其中：是当前模型对数似然函数的最大值（Log likelihood）；仅仅包含常数项和误差项的零模型估计结果的对数似然函数的最大值（Restr.log likelihood）。Lln0lnL如果

15、极大化过程显示所估计参数的任何变化都不会引起对数似然函数的变化，则 ；如果所估计的似然函数对样本中每一个因变量的预测是完全准确的，则 。如果在方程定义对话框的解释变量列表中不包含常数项，则估计结果中不显示Mcfadden R-squared统计量。1lnln100 LL 0 1 看模型预测值 ,检查一下Y=1或Y=0的概率的正确性来判断模型拟合的好坏。将 与实际的Y值比较，就可以得到模型预测的正确率。当 ，令 ，当 ，令 。（二）期望-预测表检验检验原理：检查的方法是，选取适当的截断值10,PPPPi iY)(iiXFP PPi 1 iY0 iY 对于二元选择模型，与经典模型中采用的变量显著性

16、t 检验类似，可以通过极大似然估计时给出的z 统计量检验系数的显著性。二、参数的显著性检验（一）Z检验对模型中参数显著性检验还可使用Wald检验，其检验统计量为：（二）Wald检验2)(jjseW 在 下，W 渐近服从自由度为1的 分布。因此，可根据 分布表，在给定的显著性水平 下，得到相应的临界值，从而判断参数的显著性。0:0 jH 2 2 统计学上已经证明，在大样本情况下，两个模型之间如果具有嵌套关系，则两个模型之间的对数似然值乘以-2的结果之差近似服从 分布。这一统计量就是似然比统计量。（三）似然比检验2 2 零假设:uXYH 10:备择假设:uXXYH 211:式中X1是保留的变量向量

17、；X2是省略的变量向量。)ln(ln210LLLR 式中：分别为H0情形和 H1情形下的似然函数值的估计量。10LL 和和LR统计量服从 分布，自由度为 中的变量数目。2X例2 仍考虑Greene给出的斯佩克特和马泽欧(1980)的例子。以Logit模型的估计结果为例类似R2类似F检验概率的预测值小于等于截断值0.5的这一组中观测数据共21个，其中分组正确的有18个，分组不正确的有3个；概率的预测值大于截断值0.5的这一组中观测数据共11个，其中分组不正确的有3个，分组正确的有8个。因变量取0的观测值共有21个，根据Logit模型所预测的概率，因变量Grade=0预测正确的观测值是18，模型分

18、组恰当率为85.71%；因变量取1的观测值共有11个，根据Logit模型所预测的概率，因变量Grade=1预测正确的观测值是8，模型分组恰当率为72.73%。同时，Logit模型预测正确的总比率为81.25%截断值P=0.5期望-预测表检验Wald检验第四节 二元离散选择模型系数的解释一、参数估计量 反映解释变量X对潜在变量Y*的边际影响 二元选择模型中所估计的参数不能被解释为自变量对因变量的边际效应，对系数的解释比较复杂。*iiiuXY 解释变量X首先对潜在变量Y*产生影响，Y*的大小影响Y的取值。因此，X是间接影响观察到的Y的取值。0001*iiiYYYGPA系数估计值为2.826，意味着

19、当其他解释变量保持不变时，GPA每增加一个单位，Logit估计值平均增加约2.83个单位，同时GPA的系数为正也表明增加GPA，将增加Grade取1的概率。iiiiPSISEGPAX*379.2*095.0*826.2021.13 例3 以例1的Logit回归模型估计结果为例方程中每个斜率系数都是一个偏斜率系数，它度量了在其余回归元不变的条件下，某个解释变量的值变动一个单位所引起的Logit估计值的变化。二、预测概率解释变量X是直接影响Y 取值时的概率。当 被估计出来之后，我们可以对每个个体i预测其 Yi=1的概率，即)()()1(iiiiiYEPXFPYP 例4 以例1的Logit回归模型估

20、计结果为例模型预测有两种选择：一是因变量的拟合概率(Probability)，即 ；二是潜变量的拟合值，即 的拟合值。)(iiXFP iX 在二元选择模型中，我们并不感兴趣X如何对Y*产生影响，而感兴趣的是X如何对Y 产生影响，即X如何对Y的期望以及Y=1的概率P 产生影响。因此，我们所定义的边际效果为三、边际效果jijjXfXYEXP )()(注意到密度函数是非负的，所以 正值意味增加Xj将会增加Y=1的概率；负值则意味着相反的结果。j f 是密度函数（一）对于Logit模型jXXjijiiiieeXfXYE 2)1()()(2)exp(1()exp()(xxxf 密度函数边际效果（二）对于

21、Probit模型jijijiiXXfXYE )()()()()(xxf 密度函数边际效果（三）对于Extreme模型jeXjijiiiXieeXfXYE )()(xexeexf )(密度函数边际效果例5 以例1的Logit回归模型估计结果为例,分析某种教学方法对学生成绩的有效性。iiiiPSISEGPAX*379.2*095.0*826.2021.13 利用上式，给出当SE保持不变时，新教学法对学生学习成绩影响的概率。调查测试之前学生的期初考试分数SE取均值(21.938)当PSI=0时938.21*095.0*826.2021.13 iiGPAX 当PSI=时379.2938.21*095.0*826.2021.13 iiGPAX 调查测试之前学生的期初考试分数SE取均值(21.938)当PSI=0时)exp(1)exp()()1(iiiiXXXFGradeP 938.21*095.0*826.2021.13 iiGPAX 当PSI=时379.2938.21*095.0*826.2021.13 iiGPAX