spss之统计挖掘第11章缺失值分析课件.ppt

1、IBM-SPSS第第11章章 缺失值分析缺失值分析 背景背景在资料收集过程中，由于各种原因可能导致数据收集不全，就会产生缺失值，且这种情况往往无法避免。因此，缺失值分析是数据处理工作中常见的问题之一，如果处理不当，会导致部分分析过程简单地从分析中丢弃这些有缺失的个案；也可能会使分析结果精度降低,出现偏倚甚至是错误的结论；另外，很多统计过程背后的假设都基于完整的个案，而缺失值可能使所需的理论复杂化，部分分析过程无法完成。缺失值分析有助于解决由不完整的数据造成的若干问题，尽可能全面、有效地利用整个数据库。分类分类按照数据缺失形式分单元缺失：指针对需调查的个案进行调查而没有得到个案信息。这种缺失在数

2、据分析阶段常常无能为力。项目缺失：指在调查内容中某些变量的观测结果有缺失。分类分类按照缺失机制与方式分 完全随机缺失（Missing Completely at Random，MCAR）指已评价的结果或即将要进行的评价结果中，研究对象的缺失率是独立的。即缺失现象完全随机发生，与自身或其他变量的取值无关。随机缺失（Missing at Random，MAR）指缺失数据的发生与数据库中其他无缺失变量的取值有关。某一观察值缺失的概率仅依赖已有的观察结果，不依赖未观察到的结果。MAR是最常见的缺失机制。非随机缺失（Missing Not at Radom，MNAR）指数据的缺失不仅与其他变量的取值有关

3、，缺失率与缺失数据有关，也和自身有关。这种缺失大都不是由偶然因素所造成的，常常是不可忽略的。SPSS中的缺失值处理方法中的缺失值处理方法1删除缺失值删除缺失值 最常见、最简单的处理缺失数据的方法，使用这种方法时，如果任何个案在某一变量含有缺失数据的话，就把相对应的个案从分析中剔除。如果缺失值所占比例比较小的话，这一方法十分有效。然而，这种方法却有很大的局限性，它是以减少样本量来换取信息的完备，会造成资源的大量浪费，丢弃了大量隐藏在这些对象中的信息。SPSS中的缺失值处理方法中的缺失值处理方法2缺失值替代缺失值替代 即“转换”选项卡中的“替换缺失值”菜单过程。此过程将所有的记录看成一个序列，然后

4、采用某种指标对缺失值进行填充，它实际上专门用于解决时间序列模型中的缺失值问题。虽然其中的一些填充方法也可以用于普通数据，但相比之下，如果在非序列数据中使用该过程可能得不偿失，应当谨慎使用。常用的填充方式有算术均数，缺失值邻近点的算术均数，中位数，线性插入等。SPSS中的缺失值处理方法中的缺失值处理方法3缺失值分析缺失值分析 缺失值的描述和快速诊断：用灵活的诊断报告来评估缺失值问题的严重性，用户可以观察到它们在哪些变量中出现，比例为多少，是否与其他变量取值有关，从而得知这些缺失值出现是否会影响分析结论。得到更精确的统计量：提供了多种方法用于估计含缺失值数据的均值、相关矩阵或协方差矩阵,通过这些方

5、法计算出的统计量将更加可靠。用估计值替换缺失值：使用或回归法，用户可以从未缺失数据的分布情况中推算出缺失数据的估计值，从而能有效地使用所有数据进行分析，来提高统计结果的可信度。模块解读模块解读1进入缺失值分析进入缺失值分析单击“分析”|“缺失值分析”命令，弹出缺失值分析对话框，如图11-1所示。定量变量：选入待分析的定量变量。将“年龄”，“住院天数”，“受伤至入院的间隔时间”三个变量纳入定量变量框中。分类变量：选入待分析的分类变量，选入分类变量后，还可以在下方的最大类别处设置允许的最大分类数，超过此临界值的分类变量将不再进入分析，软件默认25。将“性别”纳入分类变量框。个案标签：用以选入标签变

6、量用于对结果进行标识。使用所有变量：单击此按钮，左侧源变量列表的所有变量将进行特定的分析列表框，数值型变量将全部进入定量变量框，字符型等变量全部进入分类变量列表框。模块解读模块解读2“模式模式”按钮按钮单击“模式”按钮，弹出图11-2所示的“缺失值分析：模式”对话框，此对话框是用于设置显示输出表格中的缺失数据模式和范围。模块解读模块解读3“描述描述”按钮按钮单击“描述”按钮，弹出图11-3所示的“缺失值分析：描述统计”对话框，设置要显示的缺失值描述统计变量。模块解读模块解读4“估计估计”选项框选项框：“EM”按钮按钮单击“EM”按钮，弹出“缺失值分析:EM”对话框，如图11-4所示。此对话框用

7、于设置EM算法的相关参数。（3）“回归”按钮单击“回归”按钮，弹出“缺失值分析:回归”对话框，如图11-5所示。此对话框用于设置回归法的相关参数。可以选择残差、普通变量、Studentt变量或无调节。（4）“变量”按钮单击“变量”按钮，弹出“缺失值分析:EM的变量和回归”对话框。如图11-6所示，用于选择指定变量的方式，默认使用所有定量变量。实例详解实例详解例11.1：对某种疾病住院患者的部分调查数据，见例11-1.sav。1操作步骤操作步骤（1）选择“分析”|“缺失值分析”命令，如图11-7所示，弹出图11-1所示的对话框；（2）将“年龄，住院天数，受伤至入院的间隔时间”选入定量变量框，“性

8、别”选入分类变量框；（3）单击“模式”按钮，弹出如图11-2所示，选中输出选项组中的“按照缺失值模式分组的表格个案”复选框，从缺失值模式列表框中选中住院天数和性别两个变量进入附加信息框，其他采取默认设置。单击“继续”，返回主对话框。（4）单击“描述”按钮，弹出如图11-3所示，选择单变量统计量复选框及指示变量统计量选项组中的“使用有指示变量形成的分组进行的t检验”，为分类变量和指示变量生成交叉表。（5）选中“估计”选项框中的“EM和回归”，其余采用默认设置。（6）单击“确定”按钮运行，输出结果。表11-1所示的“单变量统计”表给出了所有分析变量未缺失数据的频数，定量变量的均值、标准差，同时给出

9、了各变量的缺失数量和缺失百分比。提供了数据的一般特征，以住院天数为例，均值为18.88天，标准差为11.258，7.4%的个案缺失住院天数信息，且拥有26个极大值。图11-9、图11-10所示是使用EM法和回归法进行缺失值的估计和替换后，总体数据的均值和标准差的变化情况，其中“所有值”为原始数据特征，另两行分别是采用EM法、回归法得到的统计参数。图11-11所示通过单个方差t 检验有助于标识缺失值模式可能影响定量变量的变量。按照相应变量是否缺失将全部记录分为两组，再对所有连续性变量在这两组间进行t检验。可以看出，年龄信息缺失者受伤至入院的间隔时间短，指示数据可能并未完全随机缺失。THE END