第十讲定类或定序因变量回归分析-40800960课件.ppt

1、第十讲第十讲 定类或定序因变量回归分析定类或定序因变量回归分析 n 当因变量是一个定类变量而不是定距变量时，线性回当因变量是一个定类变量而不是定距变量时，线性回归模型受到挑战。归模型受到挑战。n 如政治学中研究是否选举某候选人，经济学研究中涉如政治学中研究是否选举某候选人，经济学研究中涉及的是否销售或购买某种商品，社会学和人口学研究中所及的是否销售或购买某种商品，社会学和人口学研究中所涉及的如犯罪、迁移、婚姻、生育、患病等等都可以按照涉及的如犯罪、迁移、婚姻、生育、患病等等都可以按照二分类变量或多分类来测量。二分类变量或多分类来测量。n 一、问题的提出一、问题的提出n 在研究态度与偏好等心理现

2、象时也经常在研究态度与偏好等心理现象时也经常按类型进行测量的，如按类型进行测量的，如“强烈反对强烈反对”、“反反对对”、“中立中立”、“支持支持”、和、和“强烈支强烈支持持”。n 连续变量转换成类型变量的情形，如在连续变量转换成类型变量的情形，如在分析升学考试的影响因素时，将考生分为录分析升学考试的影响因素时，将考生分为录取线以上和录取线以下。取线以上和录取线以下。n 从统计理论上看，最小二乘法关注正态分布，然而社会经济从统计理论上看，最小二乘法关注正态分布，然而社会经济现象往往有不同于正态分布的其他分布，例如：现象往往有不同于正态分布的其他分布，例如：n（1）二项分布（）二项分布（binom

3、ial distribution）n（2）泊松分布（）泊松分布（Poisson）()(1)!()!yNyNyyNy!yeyy 二、线性概率模型二、线性概率模型n1、模型建立、模型建立 n 以最小二乘法为基础的线性回归方程是估测因变量的平均值，而以最小二乘法为基础的线性回归方程是估测因变量的平均值，而二分变量的均值有一个特定的意义，即概率。用普通线性回归方程估二分变量的均值有一个特定的意义，即概率。用普通线性回归方程估测概率，就是所谓的线性概率回归。用公式表示为：测概率，就是所谓的线性概率回归。用公式表示为：nP = a + i iXi + n 对二项分布线性概率模型的结果解释：对二项分布线性概

4、率模型的结果解释： 在其他变量不变的情形在其他变量不变的情形下，下，x每增加一个单位，事件发生概率的期望将变动每增加一个单位，事件发生概率的期望将变动个单位。个单位。n n 例如，林楠和谢文（例如，林楠和谢文（1988）曾用线性概率）曾用线性概率模型估测入党（政治资本）的概率，模型模型估测入党（政治资本）的概率，模型为：为：nP = -0.39 +0.01A +0.04E +0.03Un 其中：其中：P党员概率，党员概率， A年龄，年龄， E受受教育年限，教育年限， U单位身份单位身份n1）无意义的解释）无意义的解释n 从解释力上看，由于概率的值是有边界的，从解释力上看，由于概率的值是有边界的

5、，在在0与与1之间。但林楠方程很有可能要超过该限之间。但林楠方程很有可能要超过该限制，因变量的估计值可能是负数，也可能大于制，因变量的估计值可能是负数，也可能大于1，因此模型的结果是无意义的。例如，运用林楠因此模型的结果是无意义的。例如，运用林楠方程，我们发现如果年龄为方程，我们发现如果年龄为100岁，受教育程度岁，受教育程度超过超过10年，则入党的概率约等于年，则入党的概率约等于1。n2）非线性关系）非线性关系 2、线性概率模型存在的问题、线性概率模型存在的问题 三、简单对数比率回归三、简单对数比率回归 1、模型建立、模型建立n 既然用线性概率回归存在局限性，能否用比既然用线性概率回归存在局

6、限性，能否用比率做因变量呢？比如用男女比率作因变量，用成功率做因变量呢？比如用男女比率作因变量，用成功与不成功之比做因变量。用比率做因变量存在的问与不成功之比做因变量。用比率做因变量存在的问题是，比率是非对称的题是，比率是非对称的.表1 概率、比率和对数比率概率0.010.100.200.300.400.500.600.700.800.900.99比率0.010.110.250.430.671.001.502.334.009.0099对数比率-4.60-2.20-1.39-0.85-0.410.000.410.851.392.204.60 一一个简单的解决办法就是取对数，结果就是所谓对数比个简

7、单的解决办法就是取对数，结果就是所谓对数比率（率（logit)。若用。若用P代表某事件的概率，则对数比率函数的定义代表某事件的概率，则对数比率函数的定义为为g（P）= log （P/1-P） 以对数比率为因变量对自变量以对数比率为因变量对自变量X1，X2，X3做回归称做回归称为对数比率回归（为对数比率回归（logistic regression），其方程式为：），其方程式为： lo g ()1iiPaXP00exp()()1 exp()KkikkiiKkikkxpx 该模型即为该模型即为logit回归模型。回归模型。logit回归模型是普通回归模型是普通多元线性回归模型的推广，但它的误差项服从

8、二项分多元线性回归模型的推广，但它的误差项服从二项分布，因此需要采用极大似然估计方法进行参数估计，布，因此需要采用极大似然估计方法进行参数估计，参数参数 称为称为logit回归系数，表示当其他自变量取值保持回归系数，表示当其他自变量取值保持不变时，该自变量取值增加一个单位引起的发生比自不变时，该自变量取值增加一个单位引起的发生比自然对数值的变化量。然对数值的变化量。 2、发生比发生比n 发生比是事件的发生频数与不发生频数之间的比，即：发生比是事件的发生频数与不发生频数之间的比，即：nOdds=(事件发生频数事件发生频数)/（事件不发生频数）（事件不发生频数）n n 当比值大于当比值大于1时，表

9、明事件更有可能发生。比如一时，表明事件更有可能发生。比如一个事件发生的概率为个事件发生的概率为0.6，事件不发生的概率为，事件不发生的概率为0.4，发，发生比等于生比等于0.6/0.4=1.5。事件发生的可能性是不发生的。事件发生的可能性是不发生的1.5倍。倍。/(1)kkkoddspp四、四、logistic回归模型的检验与评价回归模型的检验与评价n1、Logistic回归模型估计的假设前提回归模型估计的假设前提 第一、数据来自于随机样本。第一、数据来自于随机样本。n第二、因变量第二、因变量Yi被假设为被假设为K个自变量个自变量Xk（k=1，2，K）的函数。的函数。n第三、正如第三、正如OL

10、S回归，回归，logistic回归也对多重共线性有所回归也对多重共线性有所限制，自变量之间存在多重共线性会导致标准误的膨胀。限制，自变量之间存在多重共线性会导致标准误的膨胀。n Logistic回归模型还有一些与回归模型还有一些与OLS回归不同的假设前回归不同的假设前提：第一，因变量是二分变量；第二，因变量和各自变量提：第一，因变量是二分变量；第二，因变量和各自变量之间的关系是非线性的。之间的关系是非线性的。 2、拟合优度检验、拟合优度检验 如果模型的预测值能够与对应的观测值有较高的一致性，如果模型的预测值能够与对应的观测值有较高的一致性，就认为这一模型能够拟合数据。否则需要对模型重新设置。就

11、认为这一模型能够拟合数据。否则需要对模型重新设置。 因此，模型的拟合优度是指预测值与观测值的匹配程因此，模型的拟合优度是指预测值与观测值的匹配程度。检验拟合优度的指标有皮尔逊卡方检验、对数似然比卡度。检验拟合优度的指标有皮尔逊卡方检验、对数似然比卡方检验等。方检验等。1）皮尔逊卡方检验）皮尔逊卡方检验 皮尔逊卡方检验主要用于检验残差项的大小。计算公皮尔逊卡方检验主要用于检验残差项的大小。计算公式：式： 其中其中yi是观察值（是观察值（0或或1），），pi是估算值的概率，是估算值的概率， i=1，2n，分母是估算值的标准差，自由度为，分母是估算值的标准差，自由度为n-J-1，其中，其中J为为自变

12、量数目。自变量数目。221()(1)niiiiiyppp2）Hosmer-Lemeshow 拟合优度检验拟合优度检验 该方法通常适用于自变量很多，或自变量为连续变量该方法通常适用于自变量很多，或自变量为连续变量的情形。的情形。HL方法根据预测概率的大小将所有观察单位十等方法根据预测概率的大小将所有观察单位十等分，然后根据每一组中因变量的实际值与理论值计算分，然后根据每一组中因变量的实际值与理论值计算Peason卡方，其统计量为：卡方，其统计量为：n其中其中G 代表分组数，且代表分组数，且G 10；ng为第为第g组中的观测值数；组中的观测值数；yg第第g组事件的观测数量；组事件的观测数量；pg为

13、第为第g组的预测事件概率；组的预测事件概率；ngpg为事件的预测值，实际上它等于第为事件的预测值，实际上它等于第g组的观测概率和。组的观测概率和。1()(1)Ggggggggyn pHLn ppn3）对数似然比卡方检验）对数似然比卡方检验n 对数似然比是用较复杂模型与基本模型进行比较。通常将似然对数似然比是用较复杂模型与基本模型进行比较。通常将似然取对数并乘以取对数并乘以-2，即，即-2logL，简称对数似然。，简称对数似然。 n基本模型以独立模型表示：基本模型以独立模型表示：n n用用L0表示独立模型的似然，表示独立模型的似然，L1表示非独立模型的似然，那么对数似表示非独立模型的似然，那么对

14、数似然比定义为：然比定义为：n遵循卡方分布，其自由度为非独立模型的自变量数目，可用于检验遵循卡方分布，其自由度为非独立模型的自变量数目，可用于检验复杂模型中自变量对似然率的增加是否显著，越大越好。复杂模型中自变量对似然率的增加是否显著，越大越好。lo g ()1PaP210102log()( 2log)( 2log)LGLLL 3、logit模型回归系数的假设检验模型回归系数的假设检验n设原假设设原假设H0为：为：k k=0，表示自变量对事件发生的可能性无影响；如果原，表示自变量对事件发生的可能性无影响；如果原假设被拒绝，说明自变量对事件发生的可能性有影响。假设被拒绝，说明自变量对事件发生的可

15、能性有影响。nWald检验检验n在在logit模型中，对回归系数进行显著性检验，通常使用模型中，对回归系数进行显著性检验，通常使用Wald检验，其计检验，其计算公式为：算公式为：n n Wald 统计量实际上就是正态分布统计量实际上就是正态分布Z 统计量的平方。在零假设条件统计量的平方。在零假设条件下，每一个回归系数都等于下，每一个回归系数都等于0。Wald统计量服从卡方分布，其自由统计量服从卡方分布，其自由度为度为n-k-1。2(/)kkWSE五、模型解释五、模型解释n 由于由于logit模型是非线性的，因此不能以传统回归模型中自变模型是非线性的，因此不能以传统回归模型中自变量与因变量之间的

16、关系解释之。通常以发生比率来解释量与因变量之间的关系解释之。通常以发生比率来解释logit回归回归系数。系数。 n 1 12 21 122exp()1k kkkxxxpoddsxxxpeeee六、多项对数比率回归六、多项对数比率回归n 我们研究的现象常是多分类的，如职业的选择等，我们研究的现象常是多分类的，如职业的选择等，这时需要用多项对数比率回归处理。这时需要用多项对数比率回归处理。n 多项对数比率回归是简单对数比率回归的扩展，由多项对数比率回归是简单对数比率回归的扩展，由一组对数比率方程组成。一组对数比率方程组成。n 常用的做法是基准类比法，即先选出基准类，然后常用的做法是基准类比法，即先

17、选出基准类，然后将它的概率与其它各类的概率进行对比。将它的概率与其它各类的概率进行对比。n 假如要研究一个或一组自变量假如要研究一个或一组自变量X如何影响人们对如何影响人们对J类类职业选择，用职业选择，用P1，P2Pj表示各类职业的概率，那么多表示各类职业的概率，那么多项对数比率回归就可表示为项对数比率回归就可表示为: 111222111log()log()log()jjjjjjpaXppaXpPaXP 需要注意的是：1)就系数解释和检验而言，多项对数比率回归和简单对数比率回归相同。2)方程组在统计上不独立，必须同时估算，不可一一求解。nSPSS上的应用上的应用：n1）AnalyzeRegre

18、ssionMultinomial Logistic n2）Dependent用于选入无序多分类的因变量n3）Factor 用于选入分类自变量，可以是有序或无序多分类，系统会自动生成虚拟变量。n4）Covariates用于选入连续型的自变量。n选择系统默认值，点击OK钮，运行所选命令n5）结果解释n 数据汇总与模型的似然比检验。n 拟合优度检验（Pearson，Deviance检验）。n 参数估计结果。七、定序变量对数比率七、定序变量对数比率 当因变量是定序变量，变量值之间具有高低之分时，在设计logit模型时，就应考虑到其中所包含的信息。 通常有三种处理方法：邻类比、升级比和累进比。n1、邻类

19、比、邻类比 邻类比是将所有相邻两类的概率两两相比，如果变量含有J个有序类别，就可得到J-1个不重复对数比率方程。假如用P1，P2Pj表示一个定序变量由低到高各级类别的概率，设X是一个或一组自变量，那么对数邻类比回归就是： 21113222111log()log()log()jjjjpaxppaxppaxpn 对于定序变量，常常假设升级的作用是一样的，即在方程对于定序变量，常常假设升级的作用是一样的，即在方程组中，各个方程的斜率项是相同的，组中，各个方程的斜率项是相同的，1 1= =2 2=j-1 j-1 , ,上式可上式可表示为：表示为：1lo g ()jjjPaxp2、升级比、升级比n 用用

20、P1，P2，Pj表示一定序变量由低到高各级类别的概表示一定序变量由低到高各级类别的概率，那么对数升级比回归就是：率，那么对数升级比回归就是：2311134222111log()log()log()jjjjjjpppaxppppaxppaxpn 例如升学率的研究。将学校依等级高低分为小学、初中、高中例如升学率的研究。将学校依等级高低分为小学、初中、高中和大学四类。初中升高中的比率不仅是初中毕业生和高中毕业生的比和大学四类。初中升高中的比率不仅是初中毕业生和高中毕业生的比率，还应包括大学毕业生，因为他们也完成了初中到高中的升级过程。率，还应包括大学毕业生，因为他们也完成了初中到高中的升级过程。n

21、升级比在统计上是各自独立的，因而可以对照简单对数比率回升级比在统计上是各自独立的，因而可以对照简单对数比率回归一一估算。加总各独立升级比率回归的对数似然比和自由度，即总归一一估算。加总各独立升级比率回归的对数似然比和自由度，即总模型的对数似然比和自由度。模型的对数似然比和自由度。1221jiiGG对数升级比回归的编码示例教育程度升小学升初中升高中升大学小学以下0-小学以下0-小学以下0-小学10-小学10-小学10-初中110-初中110-初中110-高中1110高中1110高中1110大学1111大学11113、累进比2311134221211121log()log()log()jjjjjj

22、pppaxppppaxpppaxppp 对数累进比率回归示例对数累进比率回归示例收入等级分析（收入等级分析（Nee 1991）自变量自变量模型（模型（1）模型（模型（2）进顶层进顶层P1/(p2+p3)避免底层避免底层（p1+p2)/p3进顶层进顶层P1/(p2+p3)避免底层避免底层（p1+p2)/p3截距截距-.525*.865*-8.244*-3.500*教育教育-.238*.155*户首年龄户首年龄-.207*.127*户首年龄平方户首年龄平方-.002*-.001*成年劳动力成年劳动力-.613*.242*子女数目子女数目-.214.204*现任干部现任干部1.515*1.470*1

23、.2631.192前任大队干部前任大队干部1.205-.128.810-.554前任小队干部前任小队干部1.339*.930*1.302*.965*企业家企业家1.697*.905*1.346*.776*样本数样本数576576521521-2logL1053.7869.2自由度自由度818n若假设若假设1 1= =2 2=j-1j-1, , 则对数升级方程组可简化方程如下：则对数升级方程组可简化方程如下：nSPSSSPSS中的（中的（ordinal logistic regression)ordinal logistic regression)就是截矩项都相等的累就是截矩项都相等的累进比对数

24、回归模型。进比对数回归模型。1212log()jjjjjjPPPLaxPPPnSPSS操作程序操作程序n1、选择、选择logistic回归程序：回归程序：n点击主菜单中的点击主菜单中的Analyzen然后点击然后点击Regressionn再点击再点击Ordinal，屏幕上出现对话窗口，屏幕上出现对话窗口n2、选定模型、选定模型nDependent选择一个有序分类因变量。选择一个有序分类因变量。nFactor选择若干分类自变量。选择若干分类自变量。nCovariates用于选入连续型的自变量。用于选入连续型的自变量。n择系统默认值，点击择系统默认值，点击OK钮，运行所选命令钮，运行所选命令n结果解释结果解释n数据汇总与模型的似然比检验。数据汇总与模型的似然比检验。n拟合优度检验（拟合优度检验（Pearson，Deviance检验）。检验）。n参数估计结果。参数估计结果。