逻辑斯蒂回归课件.ppt

1、定性数据的建模定性数据的建模列联表及列联表分析 Logistic回归基本理论和方法 Logistic回归步骤以及SPSS实现 1 2 3列联表及列联表分析列联表及列联表分析研究两个属性变量之间是否有联系研究步骤：通过问卷调查或统计资料获得属性 变量的信息 整理问卷或统计资料获得列联表数据 通过统计假设检验两个属性变量是 否具有独立性女性人口学研究女性人口学研究教育教育婚姻婚姻合计合计合计合计大学大学大学以下大学以下结婚一次结婚一次结婚多次结婚多次5506168114461182512312051436频数列联表频数列联表2pAB合计合计合计合计np3p2p12n1piix11nim1x IiJ

2、jj ij i ijIiJjj ij i ijn n nn n n np pp ppn1121122)()(nN2xnx1N21n事件事件 发生的概率发生的概率A事件事件 与与 同同时发生的概率时发生的概率频率列联表频率列联表2p2p2p2pB合计合计合计合计np3p2p12n2m1mipnmnp2p2NiN1p2pip1事件事件 发生的概率发生的概率2p统计假设与检验统计假设与检验零假设：属性变量A与B相互独立检验统计量及其分布：n足够大 决策规则：对给定的显著性水平 ,若 则拒绝零假设.IiJjjijiijpppppn1122)()1)(1(2 JI )1)(1(22 JI )1)(1(2

3、 JI NoImage检验统计量的计算检验统计量的计算iN零假设：婚姻状态与教育水平没有关系检验统计量及其分布：n足够大 决策规则：对给定的显著性水平0.05 则拒绝零假设，即婚姻状态与教育水平有关联.NoImageNoImageSPSS实现实现SPSS中的数据输入中的数据输入NoImage12nix频数A水平B水平123123111222imNoImage31n拒绝独立假设，即婚姻与教育程度有关。拒绝独立假设，即婚姻与教育程度有关。Logistic回归基本理论和方法回归基本理论和方法研究某一事件发生的概率P=P(y=1)与若干因素之间的关系 qqxxp 110在在0和和1之间之间任意范围之间

4、的数量任意范围之间的数量若干个状态的标量若干个状态的标量logistic变换logistic变换Logistic回归模型 ),(1ln ppqqxxpp 1101ln优势比优势比概率概率p的预测的预测P与多因素之间的关系预测qqqqxxxxeep 1101101)(11011qqxxep qqxxpp 1101lnP与单因素之间的关系图与单因素之间的关系图px1xxeep10101 01 最可能成功范围最可能成功范围最不可能成功范围最不可能成功范围回归系数的含义回归系数的含义优势比(Odds Ratio)事件发生与不发生的概率比优势比与单变量系数之间的关系 qqxxeppOR 1101),()

5、,1,(2121qiqixxxxORexxxxORi 优势比减小优势比减小优势比增加优势比增加00ii Logistic回归回归系数的估计系数的估计(分组数据分组数据)n组观测数据结构：NoImage序号序号x参加调查参加调查总数总数事件出现事件出现次数次数im事件出现事件出现频率频率iiNmLogistic 变换变换12niNoImageNoImageNoImageNoImageNoImageNoImageNoImageNoImageNoImageNoImageNoImageNoImageNoImageNoImageNoImageNoImage)1(lniipp NoImageNoImage

6、NoImageNoImage拟合模型 其中 近似服从iiixp 10NoImage)1(1,0(2 iiippNN ni,2,1 权权(weight)回归模型具有异方差性回归模型具有异方差性转换成经典回归模型(加权最小二乘)iiiiiiiiiiiiiiippNxppNppNpppN )1()1()1()1(10 iiiiuXXz 1100 iu),0(2 N其中 近似服从例题例题 在一次住房展销会上,与房地产商签订初步购房意向书的共有n=325名顾客.在随后的三个月里,只有一部分顾客确实购买了房屋.以顾客的年家庭收入 x(万元)为自变量,建立Logistic回归模型.点击点击exp(0.904

7、0.159)1 exp(0.9040.159)ixpx08x 利用上式可以对购房比例进行预测，如利用上式可以对购房比例进行预测，如exp(0.9040.1598)0.5851exp(0.9040.1598)ipLogistic回归回归系数的估计系数的估计(未分组数据未分组数据)n组观测数据：与 的关系 );,(21iiqiiyxxxiyiqiixxx,21qqqqxxxxiieepyE 1101101)(),1(ipBiy 的分布函数 的似然函数iyiiyiyiippyp 1)1()(nyyy,21 niniyiyiiiippypL111)1()(似然函数的对数表达利用迭代法求解似然函数对数的

8、最大值点就是参数的极大似然估计，记为：niiiiipypyL1)1ln()1(lnln nixxiqqiiiqqiexxy1110)1ln()(110 q ,10拟合的优良性 212)(iiD回归模型的优良性回归系数的显著性-2log(L)Wald=NoImage 零假设：因变量实际分布与预测的分布无差异 决策准则：拒绝零假设 模型不显著Logistic回归步骤以及回归步骤以及SPSS实现实现 不显著，去掉最不显著的不显著，去掉最不显著的月收入变量，重新估计月收入变量，重新估计exp(2.6292.2241 exp(2.6292.224ip性别+0.102 年龄)性别+0.102 年龄)结论：

9、结论：女性乘公交车比例高于男性，年龄越大，女性乘公交车比例高于男性，年龄越大，乘车的比例越高。乘车的比例越高。科研教案科研教案 庞素林庞素林.Logistic回归模型在信用风险中的应回归模型在信用风险中的应用用.数学的实践与认识数学的实践与认识.2006,36(9):129137判别模型建立的基本步骤判别模型建立的基本步骤样本分组样本分组将样本分将样本分成训练样成训练样本组和测本组和测试样本组试样本组建模过程建模过程利用训练利用训练样本建立样本建立分类模型分类模型评价过程评价过程利用测试样利用测试样本评价模型本评价模型的精度的精度第二步第三步第一步摘要摘要 通过运行SPSS,建立Logisti

10、c 回归信用评价模型(credit evaluation model),用来对中国2000年106家上市公司进行两类模式分类,这两类模式是指按照公司的经营状况分为“差”和“正常”两个小组.对每一家上市公司,考虑其经营状况的4 个主要财务指标:每股收益、每股净资产、净资产收益率和每股现金流量.仿真结果表明,Logistic 回归信用评价模型对总体106 个样本,判别准确率达到99.06%.此外,本文的研究结果还发现,当利用SPSS 的Discriminant 给出的模型系数建立的线性判别分析模型和利用SPSS 的Multinomial Logistic 给出的模型参数建立的Logistic 回归

11、模型,Logistic 回归模型的判别结果不如线性判别模型.但如果剔除不合格的样本,或是将样本数据规格化,则可以提高Logistic 回归模型的分类准确率.引言中提及的一些研究结果引言中提及的一些研究结果Martin(1977)用用Logistic模型预测公司模型预测公司破产及违约的概率破产及违约的概率Ohlson(1980)将将Logistic模型应用于信模型应用于信用风险分析用风险分析Madalla(1983)采用采用Logistic模型区别违模型区别违约与非违约贷款申请人约与非违约贷款申请人David West(2000)利用利用5种神经网络种神经网络和和5种统计分类模型种统计分类模型(

12、线性判别分析、Logistic回归分析、K最近邻法、核密度分类法、分类树法)分别对德国和澳分别对德国和澳大利亚两组财务数据进行两类模式分类大利亚两组财务数据进行两类模式分类,研究结果表明：研究结果表明：Logistic模型的判别准模型的判别准确率最高，分别为确率最高，分别为76.3%和和87.25%.一个一般结论一个一般结论数据满足正态分布Logistic 回归模型与判别分析模型具有相同的判别准确率 yesNoLogistic 回归模型的判别准确率高于判别分析模型的判别准确率本研究结论本研究结论当Logistic 回归模型和判别分析模型都通过运行SPSS 软件来估计模型参数并建立相应模型时,线性判别分析模型优于Logistic 回归模型.