量表的信度与效度分析计算课件.ppt

1、量表的信度与效度分量表的信度与效度分析计算析计算二、效度（二、效度（validity）定义）定义 所测量的是不是研究者所想要的所测量的是不是研究者所想要的 在多大程度上给出了他在多大程度上给出了他/她所想要的她所想要的例如，研究者希望测量电视广告的传播效果例如，研究者希望测量电视广告的传播效果目的：目的：了解广告能否引起目标消费群的购买欲望了解广告能否引起目标消费群的购买欲望 消费者的购物决策是否与观看的电视广告相关消费者的购物决策是否与观看的电视广告相关如果：如果：最终测得的不是广告对消费者购物决策的影响最终测得的不是广告对消费者购物决策的影响 而主要是消费者对广告艺术感染力的评价而主要是消

2、费者对广告艺术感染力的评价结论：结论：所用量表是无效的或是效度很低的所用量表是无效的或是效度很低的 信度高时效度不一定高信度高时效度不一定高 但效度高时信度一定高但效度高时信度一定高从三个方面来分析测量的信度从三个方面来分析测量的信度 稳定性稳定性 (stability) 内在一致性内在一致性 (internal consistency) 等价性等价性 (equivalency)三、信度评价三、信度评价1、稳定性分析、稳定性分析 也叫做测验也叫做测验-再测验法再测验法目的：目的： 考察对于同样的问答题（或测试）考察对于同样的问答题（或测试） 对同一组被访者或受测试者对同一组被访者或受测试者 前

3、后两次测量的结果是否基本一致前后两次测量的结果是否基本一致1、稳定性分析、稳定性分析方法：方法： 用用“再测信度再测信度”来测量稳定性来测量稳定性再测信度：再测信度：两次测量结果间的相关系数两次测量结果间的相关系数 相关系数越接近相关系数越接近 1，表示稳定性越好，表示稳定性越好1、稳定性分析、稳定性分析缺点：缺点：一般应用中很难真正实现一般应用中很难真正实现（人力、财力、时间）（人力、财力、时间）再测信度的应用有局限性再测信度的应用有局限性 第一次的测量可能会影响到第二次第一次的测量可能会影响到第二次（信度偏高）（信度偏高） 两次测量间客观的情况可能有变化两次测量间客观的情况可能有变化（信度

4、偏低）（信度偏低）2、内在一致性分析、内在一致性分析 目的：目的：检验多项目量表中各个项目的一致性检验多项目量表中各个项目的一致性 可信的量表的项目必须具有内在一致性可信的量表的项目必须具有内在一致性2、内在一致性分析、内在一致性分析方法之一：折半法方法之一：折半法 (split-half technique) 将量表中的项目分成两半将量表中的项目分成两半 计算这两部分的总得分的相关系数计算这两部分的总得分的相关系数rh 如果量表具有较高的内在一致性如果量表具有较高的内在一致性 那么这两部分应该是高度相关的那么这两部分应该是高度相关的2、内在一致性分析、内在一致性分析方法之一：折半法方法之一：

5、折半法 (split-half technique)优点：不需要重复的测量优点：不需要重复的测量常用分法：按项目号的前后顺序分常用分法：按项目号的前后顺序分 或按项目号的奇偶性分或按项目号的奇偶性分计算公式：计算公式： ru = 2rh / (1 + rh)2、内在一致性分析、内在一致性分析方法之一：折半法方法之一：折半法 (split-half technique)注意：需先将量表中的反意题作逆向处理注意：需先将量表中的反意题作逆向处理 再分别计算两部分的总得分再分别计算两部分的总得分前提假设：前提假设：两半题项得分方差大致相等两半题项得分方差大致相等 否则可能会低估信度系数否则可能会低估信

6、度系数2、内在一致性分析、内在一致性分析方法之二：方法之二：alpha信度系数法信度系数法 克朗巴哈提出用克朗巴哈提出用系数来测量累加量表的信度系数来测量累加量表的信度 = K (1 - i2/T2)/(K-1) K K 量表中题（项目）的总数量表中题（项目）的总数 i i2 2 第第i i个题（项目）得分的题内方差个题（项目）得分的题内方差 i i2 2 K K个题项的方差之和个题项的方差之和 T T2 2 总得分（所有题项得分之和）的方差总得分（所有题项得分之和）的方差信度系数是评估量表内部一致性的比较常用系数信度系数是评估量表内部一致性的比较常用系数2、内在一致性分析、内在一致性分析方法

7、之三：平均相关系数法方法之三：平均相关系数法缺点：偏重于项目之间的相关缺点：偏重于项目之间的相关 而不是整个量表的信度而不是整个量表的信度 项目越多，平均相关系数就可能越高项目越多，平均相关系数就可能越高提高信度的方法之一：提高信度的方法之一： 增加量表中的测量项目增加量表中的测量项目 因为各个项目的随机误差可能会相互抵消因为各个项目的随机误差可能会相互抵消 2、内在一致性分析、内在一致性分析小结：小结： 信度的高低既依赖于项目的内在一致性信度的高低既依赖于项目的内在一致性 也依赖于量表的长度也依赖于量表的长度因此：因此： 一方面尽量设计内在相关性更高的项目一方面尽量设计内在相关性更高的项目

8、另一方面也可以考虑适当增加项目的数量另一方面也可以考虑适当增加项目的数量3、等价性分析、等价性分析A 当使用两种不同的量表去测量同一概念时，这当使用两种不同的量表去测量同一概念时，这两种量表是否等价？两种量表是否等价？ 方法：在同一时段中，让同一组被访者接受两种量表方法：在同一时段中，让同一组被访者接受两种量表的测试；计算两组得分之间的相关，用于评价信度的测试；计算两组得分之间的相关，用于评价信度B 当两个评分者（或编码员）判断同一现象时，当两个评分者（或编码员）判断同一现象时，评价结果是否一致？评价结果是否一致？ 方法：计算两个评分者评分之间的相关；或计算两个方法：计算两个评分者评分之间的相

9、关；或计算两个编码员编码结果一致的比例，用于评价信度编码员编码结果一致的比例，用于评价信度3、等价性分析、等价性分析 前一种应用前一种应用A比较少见（构造等价的量表比较少见（构造等价的量表非常困难）非常困难） 后一种应用后一种应用B比较常见，也称为比较常见，也称为 评分者内在信度评分者内在信度 (inter-rater reliability) 编码员间信度编码员间信度 (inter-coder reliability)3、等价性分析、等价性分析在内容分析中，要评价编码员间信度在内容分析中，要评价编码员间信度 编码：编码：将分析单位（如单词、符号、主题等）将分析单位（如单词、符号、主题等） 置

10、于各种内容类别中置于各种内容类别中 不同的编码者独立地编码不同的编码者独立地编码 如果能得到比较一致的结果如果能得到比较一致的结果 则信度较高则信度较高3、等价性分析、等价性分析-编码者间信度的计算公式编码者间信度的计算公式霍斯提霍斯提(Holsti)公式公式 假定两个编码员分别同时做了假定两个编码员分别同时做了m1和和m2个个单位的编码，其中一致的编码数为单位的编码，其中一致的编码数为m，则，则 编码者间信度编码者间信度 = 2m / (m1 + m2) 3、等价性分析、等价性分析-编码者间信度的计算公式编码者间信度的计算公式霍斯提霍斯提(Holsti)公式公式优点：计算简单、易于操作优点：

11、计算简单、易于操作缺点：信度的大小可能与编码时所用的类别的数目有关缺点：信度的大小可能与编码时所用的类别的数目有关 类别的数目越少，由于偶然性而造成一致的可能性就越大类别的数目越少，由于偶然性而造成一致的可能性就越大 编码问题都是两个类别时，随机的编码也可能有编码问题都是两个类别时，随机的编码也可能有50%的信度的信度 在五个类别的情况，随机的编码就只可能有在五个类别的情况，随机的编码就只可能有20%左右的信度左右的信度3、等价性分析、等价性分析-编码者间信度的计算公式编码者间信度的计算公式史考特史考特(Scott)指数指数编码员间信度编码员间信度 = (o - e)/(1 - e) = (o

12、 - e)/(1 - e) oo：观测到的观测到的一致性或叫实际一致性（一致性或叫实际一致性（用用霍斯提公式霍斯提公式计算）计算）ee：纯粹由于纯粹由于偶然性偶然性而造成的一致性或叫期望一致性而造成的一致性或叫期望一致性 （等于每个类别出现的相对频率的平方和）等于每个类别出现的相对频率的平方和） 3、等价性分析、等价性分析-编码者间信度的计算公式编码者间信度的计算公式 利用霍斯特公式计算时，一般信度在利用霍斯特公式计算时，一般信度在90%90%或以上或以上 利用史考特公式计算时，信度大都是利用史考特公式计算时，信度大都是75%75%或以上或以上考察编码员内考察编码员内(intra-coder)

13、(intra-coder)信度时信度时 让同一个编码员在不同的时间内对同一个资料编码两次让同一个编码员在不同的时间内对同一个资料编码两次 然后借助以上公式计算编码然后借助以上公式计算编码- -再编码信度再编码信度 将上式中对应两个编码员的数据，将上式中对应两个编码员的数据， 改为同一编码员的两次数据改为同一编码员的两次数据 例例 在一项少儿电视节目内容分析的编码表中，两个编码员在一项少儿电视节目内容分析的编码表中，两个编码员分别同时独立地将分别同时独立地将100100个少儿节目分配到如下三个类别中：个少儿节目分配到如下三个类别中：1 1、单本剧单本剧 2 2、连续剧、连续剧 3 3、系列剧。已

14、知编码不一致的节目共、系列剧。已知编码不一致的节目共计计8 8个；这三个类别的节目数分别占个；这三个类别的节目数分别占30%30%、45%45%和和25%25%。试分别。试分别利用霍斯提和史考特公式，评价这两个编码员编码的等价性。利用霍斯提和史考特公式，评价这两个编码员编码的等价性。解：解： m1= m2 =100, m = 100-8 = 92霍斯提信度霍斯提信度 = 2m/(m1 + m2)=2(92)/(100+100)=0.92 o = 0.92, e = (0.30) o = 0.92, e = (0.30)2 2+(0.45)+(0.45)2 2+(0.25)+(0.25)2 2=

15、0.355=0.355史考特信度史考特信度 = (o - e)/(1 - e) = (o - e)/(1 - e) = (0.92-0.355)/(1-0.355) = 0.876= (0.92-0.355)/(1-0.355) = 0.876效度主要有三种类型：效度主要有三种类型： 内容效度内容效度 (content validity) 效标效度效标效度 (criterion validity) 结构效度结构效度 (construct validity)四、效度评价四、效度评价1、内容效度、内容效度 也叫做表面效度也叫做表面效度(face validity) 用最简单的也是最基本的主观判断的

16、方法用最简单的也是最基本的主观判断的方法 一般根据测量量表所选的题项来判断一般根据测量量表所选的题项来判断 仅从表面上来观察判断其是否能够代表想仅从表面上来观察判断其是否能够代表想 要测量的内容或主题要测量的内容或主题1、内容效度、内容效度 尽量收集和阅读与测量内容有关的资料尽量收集和阅读与测量内容有关的资料 除了研究人员的主观判断之外除了研究人员的主观判断之外 最好再请一些专家来帮助判断最好再请一些专家来帮助判断1、内容效度、内容效度单项与总和相关效度分析法单项与总和相关效度分析法 确定各个具体的题项对整个量表的效度是否确定各个具体的题项对整个量表的效度是否 都有足够的贡献都有足够的贡献 或

17、考察量表内的题项是否具有同质性或考察量表内的题项是否具有同质性 计算每个题项的得分与总分的相关系数计算每个题项的得分与总分的相关系数 如果相关不显著，表示该题项的鉴别力低，最好剔除如果相关不显著，表示该题项的鉴别力低，最好剔除 题项与总和的相关关系越显著，量表的内容效度也越高题项与总和的相关关系越显著，量表的内容效度也越高 1、内容效度、内容效度例如，例如，1993年卜卫等在厦门受众调查问卷中（见年卜卫等在厦门受众调查问卷中（见“媒介媒介人人现代化现代化”），设计了一个四级李克动机），设计了一个四级李克动机量表，以测试厦门受众的媒介使用动机。量表，以测试厦门受众的媒介使用动机。表中的受表中的受

18、众媒介动机量表就是剔除了不合格题项后的量表，众媒介动机量表就是剔除了不合格题项后的量表，表中的各个题项的得分与总分都是显著相关的（概表中的各个题项的得分与总分都是显著相关的（概值值P0.001），说明量表内的各个题项之间具有），说明量表内的各个题项之间具有较好的同质性。较好的同质性。 表表 厦门受众的媒介使用动机厦门受众的媒介使用动机-四级李克动机量表，以及各题项与总和的相关四级李克动机量表，以及各题项与总和的相关 您为什么看电视、报纸或杂志，和听广播呢？下列情况符合您吗？您为什么看电视、报纸或杂志，和听广播呢？下列情况符合您吗？ 不 符合 有点 符合 比较 符合 非常 符合 与总和 的相关

19、1、为了娱乐 1 2 3 4 * 2、为了消遣 1 2 3 4 * 3、满足好奇心 1 2 3 4 * 4、寻求购物参考 1 2 3 4 * 5、寻求解决工作、生活问题的方法 1 2 3 4 * 6、增加新知识、新见闻 1 2 3 4 * 7、了解别人对各种事物的看法 1 2 3 4 * 8、了解各地的事情 1 2 3 4 * 9、了解方针政策 1 2 3 4 * 10、和家人或朋友共享欣赏或阅读乐趣 1 2 3 4 * 11、工作时可以得到调剂 1 2 3 4 * 12、增加谈话资料 1 2 3 4 * 2、效标效度、效标效度 也叫做效标关联效度或独立标准效度也叫做效标关联效度或独立标准效度

20、 效标效标是一个与量表有密切关联的是一个与量表有密切关联的独立标准独立标准 将量表所测特性看成因变量将量表所测特性看成因变量 将效标看成自变量将效标看成自变量 所测特性与效标密切相关的量表所测特性与效标密切相关的量表 才是有效的量表才是有效的量表 2、效标效度的分析方法、效标效度的分析方法 考察所测特性（因变量）与效标（自变量）考察所测特性（因变量）与效标（自变量） 是否有显著的相关是否有显著的相关 (相关分析相关分析) 或是对效标的不同取值，特性的值是否表或是对效标的不同取值，特性的值是否表 现出显著的差异现出显著的差异 (t检验、检验、F检验）检验） 效标的确定并不是一件容易的事效标的确定

21、并不是一件容易的事 选择效标一般要根据某种已知的理论、或选择效标一般要根据某种已知的理论、或 某种已经得到肯定的结论某种已经得到肯定的结论2、效标效度的举例、效标效度的举例 用高考的成绩，作为预测学生大学期间学业成绩的效标用高考的成绩，作为预测学生大学期间学业成绩的效标 （是否有（是否有研究结果表明，这两者之间是有密切相关关系的）研究结果表明，这两者之间是有密切相关关系的） 设计测量人们现代化观念的量表时，媒介接触行为可设计测量人们现代化观念的量表时，媒介接触行为可 能是主要的效标之一能是主要的效标之一 （很难设想不看报、不听广播的人会具有现代化的观念）很难设想不看报、不听广播的人会具有现代化

22、的观念） 可考虑以媒介接触频度、时间、内容等为具体的效标可考虑以媒介接触频度、时间、内容等为具体的效标2、效标效度的举例、效标效度的举例 台湾的台湾的“兰屿民众传播行为与现代化程度之研兰屿民众传播行为与现代化程度之研究究”, 用离岛经验作为测量雅美族人现代化程度用离岛经验作为测量雅美族人现代化程度的效标的效标 有、无离岛经验的雅美族人之间有、无离岛经验的雅美族人之间 现代化程度有明显差异的量表现代化程度有明显差异的量表 才有可能是高效度的量表才有可能是高效度的量表 要剔除那些没有显著差异的低效度的题项要剔除那些没有显著差异的低效度的题项3、结构效度、结构效度 评价量表测量的结果是否与理论假设或

23、框架相关评价量表测量的结果是否与理论假设或框架相关 称能测出结构的量表为具有高的结构效度的量表称能测出结构的量表为具有高的结构效度的量表 因子分析法因子分析法 (factor analysis) 评价量表中的各个题项能否有效地区分研究对象评价量表中的各个题项能否有效地区分研究对象 各题项能否有效地鉴别态度不同的被访者？各题项能否有效地鉴别态度不同的被访者？ 题项内容的难易度是否合适？题项内容的难易度是否合适？ 项目分析法项目分析法 (item analysis)3、结构效度、结构效度-因子分析法因子分析法 因子分析法是一种高级的统计分析法因子分析法是一种高级的统计分析法 将量表中的题项集合成不

24、同的群将量表中的题项集合成不同的群 使每一个群的变量（题项）共享一个公共因子使每一个群的变量（题项）共享一个公共因子 这些公共因子就代表了量表的基本结构这些公共因子就代表了量表的基本结构 考察这些公共因子的意义考察这些公共因子的意义 比较量表的实际结构与理论框架之间的异同比较量表的实际结构与理论框架之间的异同 若两者相吻合，且提取的公共因子有足够的代表性若两者相吻合，且提取的公共因子有足够的代表性 则说明该测量量表具有令人满意的结构效度则说明该测量量表具有令人满意的结构效度 3、结构效度、结构效度-因子分析法举例因子分析法举例 对测量动机的量表进行了因子分析对测量动机的量表进行了因子分析 （参

25、考（参考“媒介媒介人现代化人现代化”） 结果将受众使用媒介动机分成了三类结果将受众使用媒介动机分成了三类 信息寻求动机、娱乐消遣动机、社会功利动机信息寻求动机、娱乐消遣动机、社会功利动机 与研究者设计量表时假设的结构一致与研究者设计量表时假设的结构一致 说明这一动机量表具有很好的结构效度说明这一动机量表具有很好的结构效度表表 6 6- -8 8 厦门受众的媒介使用动机量表的因子分析结果厦门受众的媒介使用动机量表的因子分析结果 公共因子公共因子 媒介使用动机量表中的题项媒介使用动机量表中的题项 负荷量负荷量 有效有效 程度程度 累计有累计有 效程度效程度 增加新知识、新见闻增加新知识、新见闻 0

26、.813870.81387 了解别人对各种事物的看法了解别人对各种事物的看法 0.710110.71011 了解各地的事情了解各地的事情 0.682340.68234 因子一因子一 信息寻求动机信息寻求动机 了解方针政策了解方针政策 0.646710.64671 25.9%25.9% 25.9%25.9% 为了娱乐为了娱乐 0.749050.74905 为了消遣为了消遣 0.773680.77368 满足好奇心满足好奇心 0.564950.56495 和家人共享阅读的乐趣和家人共享阅读的乐趣 0.369280.36928 工作时可以得到调剂工作时可以得到调剂 0.572270.57227 因子

27、二因子二 娱乐消遣动机娱乐消遣动机 增加谈话资料增加谈话资料 0.518670.51867 16.0%16.0% 41.9%41.9% 寻求购物参考寻求购物参考 0.847010.84701 因子三因子三 社会功利动机社会功利动机 寻求解决工作、生活问题的方法寻求解决工作、生活问题的方法 0.795180.79518 11.7%11.7% 53.6%53.6% 3、结构效度、结构效度-项目分析法项目分析法 （难易度）（难易度）量表中各个题项的量表中各个题项的“难易度难易度”和和“鉴别度鉴别度” 难易度难易度=(PH+PL)/2 PH和和PL分别表示高分组和低分组的通过率分别表示高分组和低分组的

28、通过率3、结构效度、结构效度-项目分析法项目分析法 （难易度）（难易度）通过率的计算方法：通过率的计算方法： 将反向题作逆向处理后，计算累加量表的总分将反向题作逆向处理后，计算累加量表的总分 总分按由小到大的顺序排列，划分成人数相等的四个组总分按由小到大的顺序排列，划分成人数相等的四个组 分数最高和最低的两个组分别为分数最高和最低的两个组分别为“高分组高分组”和和“低分组低分组” 计算这两组的被访者在每个题项上的计算这两组的被访者在每个题项上的“通过率通过率” PH和和PL 正向题的通过率正向题的通过率=（“非常同意非常同意”+“比较同意比较同意”）的比例）的比例 逆向题的通过率逆向题的通过率

29、=（“很不同意很不同意”+“不太同意不太同意”）的比例）的比例3、结构效度、结构效度-项目分析法项目分析法 （难易度）（难易度）通过率的意义通过率的意义 对于正向题，表示持肯定、积极态度的比例对于正向题，表示持肯定、积极态度的比例 对于反向题，表示持否定、消极态度的比例对于反向题，表示持否定、消极态度的比例某题项的难易度某题项的难易度=高分组和低分组通过率的均值高分组和低分组通过率的均值 难易度越大，表示该题项越难易度越大，表示该题项越“容易通过容易通过” 态度量表取难易度适中态度量表取难易度适中(0.5左右左右)的情况较多的情况较多3、结构效度、结构效度-项目分析法项目分析法 （鉴别度）（鉴

30、别度） 量表中各个题项对所测特性的区分能力量表中各个题项对所测特性的区分能力 鉴别度鉴别度= PH-PL 3、结构效度、结构效度-项目分析法项目分析法 （鉴别度）（鉴别度）鉴别度的意义鉴别度的意义 某题项的鉴别度越大某题项的鉴别度越大 “高分组高分组”和和“低分组低分组”对某个题项反应的差异越大对某个题项反应的差异越大 持肯定、积极（否定、消极）态度的比例之差越大持肯定、积极（否定、消极）态度的比例之差越大 量表中各个题项的鉴别度高一些为好量表中各个题项的鉴别度高一些为好 考试题最好能将成绩好的和差的学生区分出来考试题最好能将成绩好的和差的学生区分出来 使成绩好的学生大多数都能通过使成绩好的学

31、生大多数都能通过 而成绩差的学生却很少能通过而成绩差的学生却很少能通过例例 对亚运会态度量表的单项与总和相关效度分析（对亚运会态度量表的单项与总和相关效度分析（n=1,220, *表示表示p0.001） 对亚运会的态度量表对亚运会的态度量表 平均值平均值 标准标准差差 与积极态与积极态度方向度方向 相关相关 系数系数 显著显著 程度程度 1、亚运会将显著提高中国的国际声望，树立良、亚运会将显著提高中国的国际声望，树立良好的国际形象好的国际形象 4.35 0.70 相同相同 0.65 * 2、作为中国公民，为亚运会在中国召开自豪、作为中国公民，为亚运会在中国召开自豪 4.45 0.72 相同相同

32、 0.65 * 3、在国家财政困难的情况下不该举办亚运会、在国家财政困难的情况下不该举办亚运会 2.47 0.99 相反相反 -0.54 * 4、只要能开好亚运会，即使影响我的生活、工、只要能开好亚运会，即使影响我的生活、工作秩序也没关作秩序也没关系系 3.37 1.11 相同相同 0.46 * 5、亚运会有利振奋民族精神，激发爱国主义、亚运会有利振奋民族精神，激发爱国主义 4.31 0.74 相同相同 0.63 * 6、亚运会召开能为我国带来可观的经济效益、亚运会召开能为我国带来可观的经济效益 3.16 0.94 相同相同 0.50 * 7、花这么多钱办亚运会，不如把钱用于改善生、花这么多钱

33、办亚运会，不如把钱用于改善生活活 2.42 0.97 相反相反 -0.67 * 8、举办亚运会，充分显示了社会主义优越性、举办亚运会，充分显示了社会主义优越性 3.82 0.92 相同相同 0.62 * 9、亚运会的宣传声势虽大，但有些铺张浪费、亚运会的宣传声势虽大，但有些铺张浪费 2.89 0.99 相反相反 -0.58 * 10、我对亚运会后经济形势的发展感到忧虑我对亚运会后经济形势的发展感到忧虑 2.80 0.94 相反相反 -0.61 * 11、亚运会向老百姓集资，增加了人民负担、亚运会向老百姓集资，增加了人民负担 2.50 0.99 相反相反 -0.67 * 12、展现我国安定团结和改革开放重大成就、展现我国安定团结和改革开放重大成就 4.07 0.84 相同相同 0.67 *