测验的效度(新教材)课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《测验的效度(新教材)课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 测验 新教材 课件
- 资源描述:
-
1、2023-2-1512023-2-152n定义定义n效度效度(validity),),在心理测验中是指所测量的与在心理测验中是指所测量的与所要测量的心理特点之间吻合的程度。所要测量的心理特点之间吻合的程度。n心理测验的准确性心理测验的准确性n心理测验的有效性(龚耀先)心理测验的有效性(龚耀先)n在编制或修订心理测验时,效度研究是必须的环节,在编制或修订心理测验时,效度研究是必须的环节,效度资料是测验手册里必备的测量学指标。效度资料是测验手册里必备的测量学指标。n在使用心理测验时,没有效度资料的测验也不能使在使用心理测验时,没有效度资料的测验也不能使用。用。2023-2-153测量的效度受随机误
2、差和系统误差的影响测量的效度受随机误差和系统误差的影响n测验分数的总方差(测验分数的总方差(S SX X2 2)=真实方差(真实方差(S ST T2 2)+误差方差(误差方差(S SE E2 2 )n真实方差(真实方差(S ST T2 2)=有关的方差(有关的方差(S SV V2 2有效方差有效方差)+无关但稳定方差(无关但稳定方差(S SI I2 2系统误差)系统误差)nS SX X2 2=S=SV V2+2+S SI I2 2+S+SE E2 2 n信度信度r rxyxy2 2=有效方差有效方差S SV V2 2/总方差总方差S SX X2 22023-2-154n信度和效度的关系信度和效
3、度的关系n信度和效度的差别在于所涉及的误差不同信度和效度的差别在于所涉及的误差不同 信度考虑的是随机误差的影响信度考虑的是随机误差的影响 效度则还包括测验稳定的测量误差(系统误差)效度则还包括测验稳定的测量误差(系统误差)n信度是效度的必要条件而非充分条件信度是效度的必要条件而非充分条件 一个高效度的测验,其信度必然也高;一个高效度的测验,其信度必然也高;一个高信度的测验,其效度不一定高。一个高信度的测验,其效度不一定高。(可信的测验未必有效,而有效的测验必定可信。可信的测验未必有效,而有效的测验必定可信。)n效度受信度的制约效度受信度的制约 效度与信度的关系式:效度与信度的关系式:rxyrx
4、x rxy效度系数效度系数 rxx信度系数信度系数2023-2-155n(一)效度具有相对性(一)效度具有相对性n评价测验效度时,必须考虑其目的与功能评价测验效度时,必须考虑其目的与功能n(二)效度具有连续性(二)效度具有连续性n测验效度只是程度上的不同,而没有测验效度只是程度上的不同,而没有“全全”或或“无无”的区别的区别n评价一个测验,不应该说评价一个测验,不应该说“有效有效”或或“无无效效”,而应该用效度较高或较低来评价,而应该用效度较高或较低来评价n测验有效性是针对测验结果而言测验有效性是针对测验结果而言2023-2-156 指测验条目对有关内容或行为取样的实用性。换句指测验条目对有关
5、内容或行为取样的实用性。换句话说,所选用的条目是否能测到想要测量的行为。话说,所选用的条目是否能测到想要测量的行为。n1、对所测量的心理特征有明确的概念、对所测量的心理特征有明确的概念n2、测验题目应是所界定的内容范围的代表性取、测验题目应是所界定的内容范围的代表性取样样n要求内容效度的测验,不一定要求测验为同质的。要求内容效度的测验,不一定要求测验为同质的。测量单一心理特质的测验要求测验条目有高度的同质性测量单一心理特质的测验要求测验条目有高度的同质性 测量一组不同心理特质的成套量表,不要求各分测验之间具测量一组不同心理特质的成套量表,不要求各分测验之间具有同质性。有同质性。2023-2-1
6、571、专家判断法、专家判断法请有关专家对条目进行审定(逻辑效度)请有关专家对条目进行审定(逻辑效度)审定步骤审定步骤 定义测验总体范围,描述相关知识与技能及定义测验总体范围,描述相关知识与技能及所用材料的来源。所用材料的来源。编制双向细目表,确定各种内容所占比例,编制双向细目表,确定各种内容所占比例,标出每个条目设计所测内容。(见表)标出每个条目设计所测内容。(见表)制定一个相应的评定量表来评价效度,如测制定一个相应的评定量表来评价效度,如测验包括的内容、技能、材料的重要程度、条目验包括的内容、技能、材料的重要程度、条目对内容的实用性等。请每位评定者对各方面进对内容的实用性等。请每位评定者对
7、各方面进行评价,然后总合所有评定者的评价。行评价,然后总合所有评定者的评价。2023-2-158高中化学标准测验双向细目表高中化学标准测验双向细目表识记识记了解了解应用应用分析分析综合综合评估评估合计合计第一章第一章8210第二章第二章10621028第三章第三章3624722第四章第四章291265640合计合计52528142261002023-2-1592、统计分析法、统计分析法计算两个评分者之间一致性计算两个评分者之间一致性克伦巴赫推荐的方法:克伦巴赫推荐的方法:先编出两个测验复先编出两个测验复本(取自同样内容范围),在同一组被试本(取自同样内容范围),在同一组被试中实测,然后计算其相
8、关。中实测,然后计算其相关。再测法:再测法:学习前先测验一次,学习后在测学习前先测验一次,学习后在测试一次,计算两次相关。试一次,计算两次相关。3、经验推测法、经验推测法通过实践来检验通过实践来检验如检验儿童发展量表的效度,观察不同年如检验儿童发展量表的效度,观察不同年龄阶段儿童通过率是否随年龄的增长而增龄阶段儿童通过率是否随年龄的增长而增加。加。2023-2-1510n1、不是普遍适用,根据具体情况分析;、不是普遍适用,根据具体情况分析;n2、有时间上的特定性,适合过去总体的代表性测验,、有时间上的特定性,适合过去总体的代表性测验,未必符合现在的总体。未必符合现在的总体。n3、不同类型的测验
9、对表面效度的要求是不同的不同类型的测验对表面效度的要求是不同的n是由外行对测验做表面上的检查,不反映测验实际是由外行对测验做表面上的检查,不反映测验实际测量的东西,只是指测验表面上看来好象是测量所测量的东西,只是指测验表面上看来好象是测量所要测的东西。要测的东西。n考虑题目与测量目的之间明显的、直接的关系。考虑题目与测量目的之间明显的、直接的关系。n编制测验,表面效度是一个必须考虑的特性。编制测验,表面效度是一个必须考虑的特性。需要被试者在测验中尽最大努力的测验要求较高的表面效度需要被试者在测验中尽最大努力的测验要求较高的表面效度 需要被试这尽可能按自己实际情况回答的测验要求较低的表需要被试这
10、尽可能按自己实际情况回答的测验要求较低的表面效度面效度2023-2-1511n二、构想效度(二、构想效度(constructrelated validity)(一)什么是构想效度(结构效度)?(一)什么是构想效度(结构效度)?指测验能够测量理论上的构想或特质的程度,亦即指测验能够测量理论上的构想或特质的程度,亦即测验的结果能否证实或解释某一理论的假设、术语测验的结果能否证实或解释某一理论的假设、术语或构想,解释的程度如何。或构想,解释的程度如何。构想效度一般要回答以下几个问题:构想效度一般要回答以下几个问题:测量了什么心理构想?测量了什么心理构想?对这构想测量得有多好?对这构想测量得有多好?测
11、验分数中有多少比例的变异来自测验所欲侧之构想?测验分数中有多少比例的变异来自测验所欲侧之构想?(二)(二)构想效度构想效度估计方法估计方法 1、对测验本身的分析、对测验本身的分析测验的内容效度可以作为构想效度的证据测验的内容效度可以作为构想效度的证据测验的内部一致性指标(同质性信度)指标,测验的内部一致性指标(同质性信度)指标,如分半相关、如分半相关、系数等系数等分析被试对条目的反应特点分析被试对条目的反应特点2023-2-15122、测验间的相互比较、测验间的相互比较与经典、成熟的同类测验相比较:与经典、成熟的同类测验相比较:计算新测验与经典测验之间分数计算新测验与经典测验之间分数的相关。相
12、关系数的平方即两测验分数共同解释的变异大小,又称的相关。相关系数的平方即两测验分数共同解释的变异大小,又称为相容效度为相容效度(congruent validity)。)。区分效度(区分效度(discriminate validity):):一个有效的测验不仅应一个有效的测验不仅应与其他测量同一构思的测验成绩有相关,还必须与测量不同构思的与其他测量同一构思的测验成绩有相关,还必须与测量不同构思的测验成绩无相关,后者就是区分效度。测验成绩无相关,后者就是区分效度。因素分析方法(因素分析方法(factor analysis):):对一组测验进行因素分析,对一组测验进行因素分析,找出影响测验分数的共
13、同因子,这种因素可能就是我们要测量的心找出影响测验分数的共同因子,这种因素可能就是我们要测量的心理特征。理特征。3、用效标效度做证明、用效标效度做证明根据效标选择不同的被试群体,比较不同组测验成绩的差异根据效标选择不同的被试群体,比较不同组测验成绩的差异利用心理素质的变化关系,如儿童年龄增长与能力发展的关系。利用心理素质的变化关系,如儿童年龄增长与能力发展的关系。4、实验法和观察法、实验法和观察法观察实验前和实验后测验分数的差异观察实验前和实验后测验分数的差异2023-2-1513n三、效标效度三、效标效度(criterionrelated validity)(一)什么是效标效度?(一)什么是
14、效标效度?效标效度又称实证效度,反映的是测验预测个体在效标效度又称实证效度,反映的是测验预测个体在某种情景下行为表现的有效性程度。某种情景下行为表现的有效性程度。被预测的行为是检验效度的标准,简称效标。被预测的行为是检验效度的标准,简称效标。同时效度:测验所得分数与效标同时验证,与心理同时效度:测验所得分数与效标同时验证,与心理特征的评估及诊断有关特征的评估及诊断有关 预测效度:效标资料需要一段时间后才可收集,用预测效度:效标资料需要一段时间后才可收集,用于选拔、分组的测验有关。于选拔、分组的测验有关。2023-2-1514n1 最有效地反映测验的目标;最有效地反映测验的目标;n2 具有较高的
15、信度,稳定可靠,不随时间等因具有较高的信度,稳定可靠,不随时间等因素变化;素变化;n3 可客观得加以测量,用数据或等级来表示;可客观得加以测量,用数据或等级来表示;n4 测量方法简单、省时省力、经济实用。测量方法简单、省时省力、经济实用。n学业成绩、教师评定学业成绩、教师评定智力测验效标智力测验效标n有经验精神科医师的诊断、教师或其他人员的评有经验精神科医师的诊断、教师或其他人员的评判判个性问卷或精神科症状评定量表效标个性问卷或精神科症状评定量表效标n特殊课程或特殊训练的成绩特殊课程或特殊训练的成绩能力倾向测验效能力倾向测验效标标2023-2-1515(二)效标效度的评估方法(二)效标效度的评
16、估方法1、相关法:最常用相关法:最常用求测验分数与效标资料间的相关求测验分数与效标资料间的相关最常用的是积差相关,根据资料的特征也可最常用的是积差相关,根据资料的特征也可用等级相关、二列相关、点二列相关等方法用等级相关、二列相关、点二列相关等方法。2023-2-1516 2、区分法、区分法 区分法是检验测验分数能否有效地区分由效标所定义的区分法是检验测验分数能否有效地区分由效标所定义的团体的一种方法团体的一种方法 公式(公式(t 检验公式)检验公式)t 检验统计量检验统计量XH 高分组平均值高分组平均值XL 低分组平均值低分组平均值SH2 高分组方差高分组方差SL2 低分组方差低分组方差NH
17、高分组样本人数高分组样本人数NL 低分组样本人数低分组样本人数LLHHLHNSNSXXt222023-2-1517举例(例举例(例7):):用能力倾向测验给工作成功用能力倾向测验给工作成功(N=60)和工作失败()和工作失败(N=40)两组工人测试,)两组工人测试,工作成功组平均得分工作成功组平均得分6.05,方差为,方差为3.31;工作失;工作失败组平均得分败组平均得分4.25,方差为,方差为1.69,问两组得分差,问两组得分差异是否具有显著意义?异是否具有显著意义?无效假设:假设两组得分的差异是由抽样误差所造成无效假设:假设两组得分的差异是由抽样误差所造成自由度自由度(df)=NH+NL2
18、=60+402=98查查t 值表:值表:t(0.01)=2.66,本例,本例5.792.66,所以,所以p0.01结论:无效假设成立的概率结论:无效假设成立的概率0.01,差异有非常显著意义。,差异有非常显著意义。79.54069.16031.325.405.622LLHHLHNSNSXXt2023-2-1518能力倾向测验与工作成绩的分布(例能力倾向测验与工作成绩的分布(例7)工作成绩工作成绩能力倾向测验得分能力倾向测验得分12345678910合计合计工工作作成成功功101190812375121961252411552633216413524116工工作作失失败败314692123252
19、231211214011合计人数合计人数131317212396521002023-2-1519 从从t 检验方法中可以发现差异显著性与样本大小检验方法中可以发现差异显著性与样本大小有密切关系,当样本较大时,平均数之间的小差有密切关系,当样本较大时,平均数之间的小差异也有显著性,但这种差异用于区分团体时实际异也有显著性,但这种差异用于区分团体时实际价值很小。价值很小。重叠计算法重叠计算法 如果如果 t 检验有显著差异,进一步求两个分部的重叠量,检验有显著差异,进一步求两个分部的重叠量,以解决上述缺点。以解决上述缺点。一组(一组(A组)内被试超出另一组(组)内被试超出另一组(B组)平均值的人组)
20、平均值的人数与该组(数与该组(B组)内部平均值以上人数之比。如果该组)内部平均值以上人数之比。如果该比例越低,说明两组差异越大。比例越低,说明两组差异越大。举例:前例中以举例:前例中以6分为界,失败组有分为界,失败组有7人人6分,分,而成功组有而成功组有38人人6分,其比例为分,其比例为738。计算两组分布共同区的百分比,重叠量越大,说明分计算两组分布共同区的百分比,重叠量越大,说明分数差异越小,测验效度越差。数差异越小,测验效度越差。举例:前例中两组分布重叠范围从举例:前例中两组分布重叠范围从27分,共分,共86的人分布在此区域。的人分布在此区域。2023-2-1520 3、命中率法、命中率
21、法 用测验结果作为取舍依据时,用其正确决定的比例作为效度用测验结果作为取舍依据时,用其正确决定的比例作为效度指标的一种方法。指标的一种方法。计算命中率时除有测验分数外,还需具备某种效标资料。计算命中率时除有测验分数外,还需具备某种效标资料。效标成绩效标成绩测验预测测验预测 失败()失败()成功(成功(+)成功(成功(+)(A)失误失误 (B)命中命中 失败()失败()(C)命中命中 (D)失误失误 命中率计算命中率计算总命中率总命中率(PCT)=命中命中(命中命中+失误失误)=(B+C)(A+B+C+D)正命中率正命中率(PCP)=测验与效标皆成功人数测验成功人数测验与效标皆成功人数测验成功人
22、数 =B(A+B)举例:举例:上例测验成绩以上例测验成绩以6分为界,工作成绩以分为界,工作成绩以4分为界。分为界。A=22,B=38,C=33,D=7总命中率总命中率(PCT)=(38+33)(22+38+33+7)=71%正命中率正命中率(PCP)=38(22+38)=63%2023-2-1521n总命中率与正命中率一般情况下完全一致总命中率与正命中率一般情况下完全一致n正命中率高低,随划分测验分数成功与失败的临正命中率高低,随划分测验分数成功与失败的临界分数的高低而变化界分数的高低而变化n临界分数越高临界分数越高正命中率越高正命中率越高n临界分数越低临界分数越低正命中率越低正命中率越低20
23、23-2-1522n一、预测误差一、预测误差 决定性系数决定性系数 效度系数的实际意义常常以决定性系数来表示,即相关系数效度系数的实际意义常常以决定性系数来表示,即相关系数的平方,它表示测验正确预测或解释的效标的方差占总方差的平方,它表示测验正确预测或解释的效标的方差占总方差的比例。的比例。举例:高考英语成绩与入大学后第举例:高考英语成绩与入大学后第1学年英语课考试成绩的学年英语课考试成绩的相关为相关为0.8,正确预测的比例是,正确预测的比例是64%,其余,其余36%无法预无法预测。测。估计的标准误(估计的标准误(Sest):):指预测效度分数时预测误差大指预测效度分数时预测误差大小的估计值。
24、小的估计值。Sest=SDy1r2xy SDy 效标成绩的标准差效标成绩的标准差 r2xy 效度系数的平方,即决定性系数效度系数的平方,即决定性系数 预测误差的判断预测误差的判断 与信度一样,当与信度一样,当r2xy=1.0时,效度完美,估计标准误也为时,效度完美,估计标准误也为0,测验分数可完全代表效标。,测验分数可完全代表效标。当当r2xy=0时,测验分数完全不能代表效标。时,测验分数完全不能代表效标。2023-2-1523 预测效标分数的可信区间预测效标分数的可信区间 估计标准误可用于估计真正效标分数的可信区间。估计标准误可用于估计真正效标分数的可信区间。公式:公式:YT=YZSestY
25、 为某人的具体得分为某人的具体得分Z 置信区间的概率水平置信区间的概率水平Sest 估计标准误估计标准误 真正效标分数落在预测效标分数:真正效标分数落在预测效标分数:1Sest 有有68%可能性可能性 1.96Sest 有有95%可能性可能性 2.58Sest 有有99%可能性可能性2023-2-1524 如果如果X与与Y两变量呈直线相关,只要确定出二者的回两变量呈直线相关,只要确定出二者的回归方程,就可以从一个变量推估出另一个变量。归方程,就可以从一个变量推估出另一个变量。一般常从测验分数来预测效标成绩一般常从测验分数来预测效标成绩 公式(回归方程)公式(回归方程):为预测的效标分数为预测的
展开阅读全文