测量信度-PPT课件.ppt

1、测量信度测量信度 信度概述信度概述 什么是信度什么是信度 信度的作用信度的作用 什么是信度什么是信度 稳定性与一致性程度，随机误差大小的反映稳定性与一致性程度，随机误差大小的反映 多次测量结果间的一致性多次测量结果间的一致性 与准确性无关与准确性无关 断尺测长度，信度高，但是不准确断尺测长度，信度高，但是不准确 在教育与心理测验中，重复多次测量不合适，可采在教育与心理测验中，重复多次测量不合适，可采取下面三种等价定义取下面三种等价定义 a. 一个被测团体的真分数的变异数与实得分数的变一个被测团体的真分数的变异数与实得分数的变异数之比异数之比 rxx=sT2/sx2 b. 一个被试团体的真分数与

2、实得分数的相关系数的一个被试团体的真分数与实得分数的相关系数的平方平方 rxx=pTx2 c. 信度乃是一个测验信度乃是一个测验X(A卷卷)与它的任意一个与它的任意一个“平行平行测验测验”(B卷卷)的相关系数的相关系数 rxx=PXX 定义定义a与定义与定义b仅有理论意义（真分数的值无法求仅有理论意义（真分数的值无法求得），只有定义得），只有定义c具有实际意义具有实际意义 信度的作用信度的作用 信度是测量过程中随机误差大小的反映信度是测量过程中随机误差大小的反映 随机误差随机误差大小与方向（、）均不确定，既影响测大小与方向（、）均不确定，既影响测量结果的一致性，也影响测量结果的准确性量结果的一

3、致性，也影响测量结果的准确性 系统误差系统误差大小与方向恒定，不影响测量结果的一致性，大小与方向恒定，不影响测量结果的一致性，但是影响测量结果的准确性但是影响测量结果的准确性 信度可以用来解释个人测验分数的意义信度可以用来解释个人测验分数的意义 SE为测量的标准误，为测量的标准误，Sx为实得分数的标准差，为实得分数的标准差，rxx为测为测量的信度量的信度 通过计算个人分数偏离真分数的大小对个人分数做出通过计算个人分数偏离真分数的大小对个人分数做出解释解释1()xxxSESrXXZSE团体测验 信度可以帮助进行不同测验分数的比较信度可以帮助进行不同测验分数的比较 原始分数不能直接进行比较，必须转

4、化成标准分数进行比原始分数不能直接进行比较，必须转化成标准分数进行比较，即采用较，即采用“差异的标准误差异的标准误”来进行差异的显著性检验来进行差异的显著性检验d2dxxyySESrrXYZSE 信度的种类与估计方法信度的种类与估计方法 重测信度重测信度 复本复本信度信度 内部一致性信度内部一致性信度 评分者信度评分者信度 重测信度重测信度 含义含义 再测信度、稳定性系数再测信度、稳定性系数 同一个量表测同一组被试两次，结果的稳定性程度同一个量表测同一组被试两次，结果的稳定性程度 重测信度计算方法重测信度计算方法 两次测量结果之间的皮尔逊积差相关系数两次测量结果之间的皮尔逊积差相关系数(等距变

5、量等距变量或等比变量，符合正态分布或等比变量，符合正态分布)22()()() ()xxxxyyrxxyyT1T2P154P264P346P455P55655XY， 重测信度使用的前提条件重测信度使用的前提条件 所测的心理特质必须是稳定的所测的心理特质必须是稳定的 人格、智力较稳定，比较适合人格、智力较稳定，比较适合 情绪、年幼儿童的认知能力不稳定，不适合情绪、年幼儿童的认知能力不稳定，不适合 遗忘和练习的效果基本上相互抵消遗忘和练习的效果基本上相互抵消 在两次施测的间隔期内，在所测量的心理特质上没在两次施测的间隔期内，在所测量的心理特质上没有经过专门的学习和训练有经过专门的学习和训练 如果以上

6、条件不能如果以上条件不能满足，就不适宜使满足，就不适宜使用重测信度用重测信度 比如一些推理和创比如一些推理和创造力测验、认知风造力测验、认知风格测验格测验 第一次测验被试第一次测验被试就很容易掌握规就很容易掌握规则则 只有那些不容易受重复使用影响的测验才能用重测只有那些不容易受重复使用影响的测验才能用重测法来估计信度法来估计信度 感觉运动测量感觉运动测量 人格测量人格测量 除了反应规则外，再测法会受练习效应和时间效应除了反应规则外，再测法会受练习效应和时间效应的影响的影响 时间间隔较短时间间隔较短练习效应练习效应 时间间隔过长时间间隔过长成熟、历史等影响成熟、历史等影响 幼儿认知能力幼儿认知能

7、力 特殊的经历特殊的经历 时间间隔的确定要根据测验的目的、性质和被试的时间间隔的确定要根据测验的目的、性质和被试的特点而定特点而定 智力测验的信度智力测验的信度/智力随年龄而产生的变化智力随年龄而产生的变化 后者的间隔时间要长于前者后者的间隔时间要长于前者 相对稳定特质测验的时间间隔长于相对不稳定的特质相对稳定特质测验的时间间隔长于相对不稳定的特质 气质、智力气质、智力 年幼的被试时间间隔要短些年幼的被试时间间隔要短些 无论哪种被试，初测和再测的时间间隔最好不要超过无论哪种被试，初测和再测的时间间隔最好不要超过六个月六个月 由于重测信度受成熟效应、历史效应的影响，测验由于重测信度受成熟效应、历

8、史效应的影响，测验手册应报告重测信度的手册应报告重测信度的时间间隔时间间隔以及在间隔期间以及在间隔期间被被试的经历试的经历 教育、培训、心理咨询与治疗教育、培训、心理咨询与治疗 重测信度并不意味着测验不可信，也可能是由于所重测信度并不意味着测验不可信，也可能是由于所测量的心理特质发展变化测量的心理特质发展变化 复本信度复本信度 复本信度的含义复本信度的含义 使用前提条件使用前提条件 复本信度的含义复本信度的含义 两个平行的测验（两个平行的测验（A卷与卷与B卷）测量同一批被试，被卷）测量同一批被试，被试所得结果的一致性程度试所得结果的一致性程度 两个平行测验之间的皮尔逊积差相关系数两个平行测验之

9、间的皮尔逊积差相关系数 这可以在一定程度上避免重测信度中的一些问题这可以在一定程度上避免重测信度中的一些问题 同一测验与等值测验同一测验与等值测验 根据测试时间间隔的不同，重测信度所表达的含义根据测试时间间隔的不同，重测信度所表达的含义也略有不同也略有不同 两个复本是同时连续施测两个复本是同时连续施测 等值性系数等值性系数两个复本测验题目差别所引起的的变两个复本测验题目差别所引起的的变异，而不是被试心理特质变化造成的异，而不是被试心理特质变化造成的 考试运气考试运气 两个复本是间隔一段时间施测两个复本是间隔一段时间施测 稳定性与等值性系数稳定性与等值性系数 两个复本测验题目之间的差别、两次测验

10、的情境差异、两个复本测验题目之间的差别、两次测验的情境差异、被试的心理发展被试的心理发展 对信度最严格的检验，其值最低对信度最严格的检验，其值最低 使用复本信度应注意的问题使用复本信度应注意的问题 构造出两份或者两份以上真正平行的测验构造出两份或者两份以上真正平行的测验 平行测验就是用不同的题目测量同样的内容且其测验平行测验就是用不同的题目测量同样的内容且其测验结果的平均值和标准差都相同的两个测验结果的平均值和标准差都相同的两个测验测量对测量对象、题目数量、形式、难度、区分度、指导语、时限象、题目数量、形式、难度、区分度、指导语、时限等方面都相同或者相似等方面都相同或者相似 严格的平行测验很难

11、编制严格的平行测验很难编制 被试要有时间、精力接受两个测验被试要有时间、精力接受两个测验 仍会受到练习和记忆的影响仍会受到练习和记忆的影响 基本原理基本原理 解题的策略和技巧解题的策略和技巧 内部一致性信度内部一致性信度 分半信度分半信度 同质性信度同质性信度关注测量题目的同质性，即所有关注测量题目的同质性，即所有的题目均测量同一种特质的题目均测量同一种特质 分半信度分半信度 分半信度的含义分半信度的含义 将一个测验分成对等的两半后，所有被试在这两半上将一个测验分成对等的两半后，所有被试在这两半上所得分数的相关所得分数的相关 等值性系数的特例等值性系数的特例 使用分半信度的原因使用分半信度的原

12、因 重测信度重测信度练习、记忆、疲劳效应（能力测验），练习、记忆、疲劳效应（能力测验），从而影响前后两次测量分数之间的相关，低估测验的从而影响前后两次测量分数之间的相关，低估测验的信度信度 复本信度复本信度编制严格意义上的平行测验代价较高编制严格意义上的平行测验代价较高 对分半信度的理解对分半信度的理解 分半信度等同于等值性系数分半信度等同于等值性系数这两半等于两个平行这两半等于两个平行测验测验 是对测验内部题目的一致性的测量，有时也被称为内是对测验内部题目的一致性的测量，有时也被称为内部一致性系数部一致性系数 使用分半信度应注意的问题使用分半信度应注意的问题 如何将测验分成对等的两半如何将测

13、验分成对等的两半奇数偶数题分半奇数偶数题分半（互（互有牵连的题目放到同一半）；有牵连的题目放到同一半）；不提倡求被试前半部分不提倡求被试前半部分得分与后半部分得分之间的相关得分与后半部分得分之间的相关（练习、疲劳、难度（练习、疲劳、难度等因素的影响）等因素的影响） 分半信度会低估测验的信度（测验越长，信度越高），分半信度会低估测验的信度（测验越长，信度越高），需要使用校正公式进行校正需要使用校正公式进行校正 斯皮尔曼斯皮尔曼布朗公式布朗公式 rnn=nrtt/(1+(n-1)rtt) 表示估计的系数，表示实得系数，表示估计的系数，表示实得系数，n表示测验增加或表示测验增加或者减少的倍数者减少的

14、倍数 25100(n=4)，6030(n=1/2) rxx=2rhh/(1+rhh) rhh为分半信度，为分半信度，rxx为整个测验的信度值为整个测验的信度值 使用斯皮尔曼使用斯皮尔曼布朗公式的前提条件布朗公式的前提条件 两个分半测验的变异量无显著差异两个分半测验的变异量无显著差异( ) 若这一条件不满足，可以选择若这一条件不满足，可以选择弗朗那根弗朗那根(Flanagan)公公式或者式或者卢纶卢纶(Rulon)公式公式22abSS和 弗朗那根弗朗那根(Flanagan)公式公式222222r21() /x xabxabxSSSSSS和表 示 在 两 个 分 半 测 验 上得 分 的 变 异

15、数 （ 方 差 ） ，表 示在 整 个 测 验 上 得 分 的 变 异 数 卢纶卢纶(Rulon)公式公式 rxx=1-Sd2/Sx2 Sd2表示同一组被试在两半测验上得分之差的变异表示同一组被试在两半测验上得分之差的变异数，数，Sx2表示全体被试在整个测验上得分的变异数表示全体被试在整个测验上得分的变异数 分半信度误差主要来源是题目本身分半信度误差主要来源是题目本身 时间因素不对分半信度产生影响时间因素不对分半信度产生影响 信度低主要是由于测验两半之间题目取样不同造成的信度低主要是由于测验两半之间题目取样不同造成的 只有一个影响因素，因此所得到的信度值较高只有一个影响因素，因此所得到的信度值

16、较高 分半信度不适宜用于速度测验，只适用于难度测验分半信度不适宜用于速度测验，只适用于难度测验 速度测验是由简单的题目构成的，所有的人都能做对速度测验是由简单的题目构成的，所有的人都能做对所有的题目，会造成高相关的假象所有的题目，会造成高相关的假象 高高相关是由于题目简单造成的，而不是内容的一致性相关是由于题目简单造成的，而不是内容的一致性造成的造成的 由于将一个测验分成两半的方法很多，因此同一测由于将一个测验分成两半的方法很多，因此同一测验会有多个分半信度值验会有多个分半信度值 奇偶分半、按题目的难度分半、按题目的内容分半奇偶分半、按题目的难度分半、按题目的内容分半 同质性信度同质性信度 含

17、义含义 也称为内部一致性系数，是指测验内部所有题目间的也称为内部一致性系数，是指测验内部所有题目间的一致性程度一致性程度 影响题目一致性的因素影响题目一致性的因素内容取样，所研究行为内容取样，所研究行为的异质性的异质性 同质性信度的作用同质性信度的作用 同质性信度高是测验测得单一特质的充分条件同质性信度高是测验测得单一特质的充分条件 同质性高同质性高测验测量单一心理特质测验测量单一心理特质 若一个测验测的是多个心理特质（职业倦怠），要若一个测验测的是多个心理特质（职业倦怠），要将其分解成多个具有同质性的分测验，然后求各个将其分解成多个具有同质性的分测验，然后求各个分测验上得分的同质性信度分测验

18、上得分的同质性信度 影响同质性信度的因素影响同质性信度的因素 测验内容取样测验内容取样 题目之间的一致性程度题目之间的一致性程度 所研究行为的异质性所研究行为的异质性 行为越异质、复杂，测验同质性信度越低行为越异质、复杂，测验同质性信度越低 文文综试卷综试卷历史试卷历史试卷 同质性信度的估计同质性信度的估计 一个测验所有可能的分半信度值的平均数一个测验所有可能的分半信度值的平均数 实际不可行实际不可行 分半信度个数太多，无法穷尽分半信度个数太多，无法穷尽 为了弥补分半信度的不足，有人提出以下公式为了弥补分半信度的不足，有人提出以下公式由于所有题目间求相关比较繁琐，研究者后来根由于所有题目间求相

19、关比较繁琐，研究者后来根据这一公式导出库德据这一公式导出库德(G. F. Kuder)理查森理查森(W. M. Richardson)信度系数和克伦巴赫信度系数和克伦巴赫(Cronbach)系数系数r/ 1(1)ijijxxijK rKrKr为 一 个 测 验 题 目 的 个 数 ， 为所 有 题 目 间 相 关 系 数 的 平 均 值 KR20公式公式 K为题目数，表示答对第为题目数，表示答对第i题的人数的比例，表示答错题的人数的比例，表示答错第第i题的人数比例题的人数比例 仅仅适用于适用于(0, 1)计分的测验计分的测验 这一系数等于所有不同的分半方法所得出的分半系数这一系数等于所有不同的

20、分半方法所得出的分半系数的平均值的平均值 除非测验项目高度同质，库德除非测验项目高度同质，库德理查森信度系数将低理查森信度系数将低于分半信度于分半信度2r/(1)1 ()/xxiiXKKp qS KR21公式公式 仅适用于按照仅适用于按照(0, 1)计分的项目计分的项目 所有题目难度接近时才使用所有题目难度接近时才使用2/(1)1 ()/xxXrKKK pqSpq和 表示题目的平均通过率和失败率 克伦巴赫系数 适用于非二分法计分的测验222=K/(K-1)1-()/S iixiSS表示所有被试在第 题上的分数变异 荷伊特信度荷伊特信度r1xxMSMS 人 题人 进行探索性因素分析的条件进行探索

21、性因素分析的条件 被试被试数与项目数比值一般数与项目数比值一般要要在在10:1以上以上 巴特利特球形检验，如果巴特利特球形检验，如果 P值小于值小于0.05表明适合做因子分表明适合做因子分析析 表示项目之间的相关显著性表示项目之间的相关显著性 KMO（Kaiser-Meyer-Olkin）检验）检验 KMO取值范围在取值范围在01之间，越接近于之间，越接近于1越适合做因素分析越适合做因素分析 0.9KMO非常适合；非常适合；0.8KMO0.9适合；适合；0.7KMO7，可进行，可进行 检验，检验， ，如果如果 达到显著水平，则达到显著水平，则W也达到显著水平也达到显著水平22= (1) ,1K

22、 NW dfN2 信度信度 含义含义 一致性与稳定性一致性与稳定性 类型类型 重测信度重测信度 间隔时间间隔时间 复本信度复本信度 时间与内容取样时间与内容取样测验得分的测验得分的一致性一致性 内部一致性信度内部一致性信度 分半信度分半信度 内容取样内容取样 间隔时间间隔时间 同质性信度同质性信度测量对象的特点与内容取样测量对象的特点与内容取样项目项目得得分分的一的一致性致性 影响信度的因素影响信度的因素 影响因素影响因素 信度多高才是可靠的信度多高才是可靠的 提高信度的方法提高信度的方法 影响信度的因素影响信度的因素 被试因素被试因素 主试因素主试因素 施测情境因素施测情境因素 测量工具因素

23、测量工具因素 两次测量的间隔时间两次测量的间隔时间影响信度的因素影响信度的因素 被试因素被试因素 团体异质性团体异质性 团体越异质，分数分布范围越大，相关系数越高，信团体越异质，分数分布范围越大，相关系数越高，信度越高度越高 团体平均水平团体平均水平 团体平均水平越低，受猜测的影响越大，信度越低团体平均水平越低，受猜测的影响越大，信度越低 主试因素主试因素 施测过程施测过程 不按指导手册中的规定施测不按指导手册中的规定施测 故意制造紧张气氛故意制造紧张气氛 暗示、协助暗示、协助 评分评分 没有统一的标准答案或者评分标准没有统一的标准答案或者评分标准影响信度的因素影响信度的因素 施测情境因素施测

24、情境因素 通风、光线、天气、设备的好坏等通风、光线、天气、设备的好坏等影响信度的因素影响信度的因素 测量工具测量工具 试题的数量试题的数量 试题的难度试题的难度 试题之间同质性程度试题之间同质性程度影响信度的因素影响信度的因素 试题的数量试题的数量 从理论上讲，同质性题目从理论上讲，同质性题目越多，信度越高越多，信度越高表表1.3 题目数量对测验信度的影响题目数量对测验信度的影响题目数量题目数量1050100200300400500相关系数相关系数.500.830.910.950.968.976.980影响信度的因素影响信度的因素k为改变后的长度与原长度之比，为改变后的长度与原长度之比，rxx

25、为原测验的信为原测验的信度，度， rkk为测验长度是原来的为测验长度是原来的k倍时的信度估计倍时的信度估计r/1 (1)kkxxxxkrkr影响信度的因素影响信度的因素 在实际编制测验时，需要注意两点在实际编制测验时，需要注意两点 新增题目必须与试卷中原有的题目同质新增题目必须与试卷中原有的题目同质 新增题目的数量必须适度新增题目的数量必须适度 疲劳、厌烦疲劳、厌烦影响信度的因素影响信度的因素 试题的难度试题的难度 难度太高或者太低都会使分数分布范围变窄，影响信难度太高或者太低都会使分数分布范围变窄，影响信度度 测验所有试题难度接近正态分布，平均水平控制在中测验所有试题难度接近正态分布，平均水

26、平控制在中等水平等水平影响信度的因素影响信度的因素 试题之间的同质性程度试题之间的同质性程度 同质性题目越多，同一心理特质被测量的机会就越多同质性题目越多，同一心理特质被测量的机会就越多，越能克服随机误差的影响，越能克服随机误差的影响影响信度的因素影响信度的因素 两次测量的间隔时间两次测量的间隔时间 间隔时间越长，越容易受到额外因素的影响，信度间隔时间越长，越容易受到额外因素的影响，信度值越低值越低 成熟效应、历史效应成熟效应、历史效应影响信度的因素影响信度的因素 信度究竟要多高才足够信度究竟要多高才足够“好好” 信度的标准依据测量的目的或用途的不同而不同信度的标准依据测量的目的或用途的不同而

27、不同 测验用作决策测验用作决策必须将误差降到最低，信度值一般必须将误差降到最低，信度值一般要在要在.95以上以上 标准化能力或学绩测验的信度要在标准化能力或学绩测验的信度要在0.90以上以上 人格测量测量信度在人格测量测量信度在0.8以上以上 教师自编测验信度要在教师自编测验信度要在0.6以上以上信度的评定标准信度的评定标准提高信度的方法提高信度的方法 适当增加测验项目数量适当增加测验项目数量 增加的项目要同质增加的项目要同质 项目不宜过多项目不宜过多 因素分析与鉴别力分析因素分析与鉴别力分析 因素分析因素分析 有一个因素解释了大部分的变异有一个因素解释了大部分的变异 在这一因素上没有负荷或者

28、负荷低的题目考虑删除在这一因素上没有负荷或者负荷低的题目考虑删除提高信度的方法提高信度的方法 鉴别力分析鉴别力分析 每个项目同测验总分之间的相关每个项目同测验总分之间的相关 相关低说明该项目与测验中其他项目不同质；或者太相关低说明该项目与测验中其他项目不同质；或者太容易以及太难，所有人得分没有差别容易以及太难，所有人得分没有差别提高信度的方法提高信度的方法 控制测验的难度控制测验的难度 所有试题的难度接近正态分布，平均难度为所有试题的难度接近正态分布，平均难度为0.5 不能使每一个项目的难度都在不能使每一个项目的难度都在0.5，这样会导致测验分数呈，这样会导致测验分数呈(0. 1)分布分布提高信度的方法提高信度的方法 选择适当的被试团体选择适当的被试团体 团体的异质性以及平均水平会影响信度团体的异质性以及平均水平会影响信度 在检验信度时，要根据测验的使用目的选择被试在检验信度时，要根据测验的使用目的选择被试 常模团体的年龄、性别、文化程度等常模团体的年龄、性别、文化程度等提高信度的方法提高信度的方法 主试要严格执行施测规程，减少额外变量的干扰主试要严格执行施测规程，减少额外变量的干扰 评分者要严格按标准计分评分者要严格按标准计分 施测情境要按测验手册的要求进行施测情境要按测验手册的要求进行提高信度的方法提高信度的方法