Ⅴ效度-心理测量课件.ppt

1、第五章第五章 测验的效度测验的效度 效度的含义与类型；效标关联效度；内容效度与构想效度第一节第一节 效度的含义与类型效度的含义与类型一、效度的意义 效度是指测验分数的正确性。测验能够测量到它所想要測量的特质的程度。一个测验在使用目的上的有效性（Noll,Scannell,&Craig,1979)测验能够达到某种目的的程度(Mehrens&Lehmann 1991)一个测验能够提供适切的资料以做決定的程度(Thorndike&Hagen 1997;Chase 1978)二、效度的特性 效度无法直接测量，但可从其他资料推论。因此使用者必須审慎判断效度的证据是否适当或令人满意。效度的判断，主要依据测

2、验分数的使用目的，或测验结果的解释。因此，效度是属于测验的结果，而非测验工具本身。效度是程度上的差別，而非全有或全无的问题。效度在使用的目的和情境方面具有特殊性，不宜视为普遍性的特质。三、效度的理论 一个测验的总变异量包含三个部分：S2X=S2V+S2I+S2E S2X实得分数方差 S2V有效方差（由测验所要测量的特质引起的方差）S2I系统误差（或恒定误差）的方差 S2E随机误差的方差S2ES2IS2VS2X三、效度的理论 效度可界定为有效方差占总方差的比率。rxy=S2V/S2X 比较信度：S2X=S2T+S2Erxx=S2T/S2XS2T真分数的方差四、信度与效度之关系 信度是效度的必要条

3、件，而非充分条件。信度系数的平方根是效度系数的最高限度，即：xxxyrr 信度是效度的必要條件而非充分條件信度是效度的必要條件而非充分條件有信度有效度有信度但無效度無信度又無效度 当两个测验（x、y）信度很低时，用它们的相关系数求其效度有低估现象，校正公式为：（rcrxy）rxy实际所得的效度系数；rc校正后的效度系数；rxx，ryy为两测验的信度系数。yyxxxycrrrr xxxyyyxxyyxxxycyyxxcxyrrrrrrrrrrrr)1(1五、效度的种类 测验效度既然要视测验达到其使用目的的程度而定，评估一个测验的效度因而不能只看效度的高低，尚需考虑资料是否适合使用的目的。美国心理

4、学会（APA，1974）依目的分为：內容效度（content validity）效标关联效度（criterion-related validity）构想效度（construct validity）第二节第二节 效标关联效度效标关联效度一、效标关联效度的含义 效标关联效度(criterion-related validity)是以经验性的方法，研究测验分数与一些外在效标间的关系，故又可称为经验效度或统计效度(empirical or statistical validity)。如果测验分数和外在效标的相关愈高，表示测验愈能有效预测外在效标。外在效标指测验所要预测的某些行为或量数。学业性向测验以学

5、校的学业成绩作为效标。同时效度(concurrent validity)指测验分数与实施测验同一个时间所取得的效标之间的相关，旨在使用测验分数估计个人在效标方面的目前实际表现。新编职业测验目前工作成绩新编英语成就测验在校英语期考成绩 易于取得，故较易于检验。此种效度可用来取代收集资料的复杂方法。预测效度(predictive validity)指测验分数与实施测验后一段时间所取得的效标之间的相关，旨在使用测验分数预测个人在效标方面的未来表现。新编职业测验录取后一段时间后的工作成绩 预测效度对于人员选择与分类的测验最为适当。性向测验、智力测验、成就测验二、效标（测量）的特性 相关性:效标资料应该

6、能反映出测验所欲测量的重要特征。可靠性:效标资料本身须具有可靠性。抗偏性:良好的效标必须能避免偏差和效标污染。可用性:效标的取得是否容易和方便。效标的种类學業成就學業成就 智力測驗智力測驗特殊化的訓練成績性向測驗特殊化的訓練成績性向測驗實際的工作成績性向測驗實際的工作成績性向測驗對照團體對照團體 性向測驗性向測驗精神病學的診斷精神病學的診斷 人格測驗人格測驗評定成績評定成績(Rating)(Rating)人格測驗人格測驗先前有效的測驗先前有效的測驗 新編測驗新編測驗三、效标关联效度的估计方法 1、相关法（效度系数）（1）（2）（3）（4）选择适当 测验 处理 效标测量 的团体 （预测原）（5）

7、求相关系数（rxy）求积差相关 求点二列相关效度系数的解释与比较 比较；方差比例；平均效标作为水平的增益比；预测效标分数与预测误差预测误差（残差）预测的标准误 预测的置信区间：eestestMSSnyyS2.2.22.1xyrSSyest.96.1estSyyyyxbayyiiyxid)(线性回归分析实例线性回归分析实例 某班50名学生分别在学期初和学期末进行了两次测验，结果如下：学期初测验：平均分=45.0分，S=6.0分 学期末测验：平均分=52.0分，S=7.2分 r=0.60 如果某学生学期初测验得60分，预测他学期末可能得到的分数，并说明推测的可靠性。第一步：建立回归方程 第二步：求

8、Y的估计值Yc 第三步：求估计标准误SYX 第四步：求Y的置信区间72.00.62.76.0XYSSrb6.194572.052XbYa8.626072.06.19bXaY76.56.012.7122rSSYYX09.7451.5176.596.18.6296.1YXSYY三、效标关联效度的估计方法 2、组的分类含义：含义：一个测验（预测原）的效度如何，要看它能否区分由效标作为所定义的团体。计算方法：计算方法：独立样本平均数差异的显著性检验。asasasaassasnnnnnnSnSnSESExxt2)1()1(22三、效标关联效度的估计方法 3、取舍正确性含义：含义：以正确决定的比例作为测验

9、有效性的指标。取舍正确性的指标取舍正确性的指标正确决定比例的计算：（1）正确决定的比例（总命中率）PcT（2）录取正确率（正命中率）Pcp订分段分数分段分数：就是介于对受测者作分类，从而使正确决定的数目达到最高的预测原的分数。（3）录取率三、效标关联效度的估计方法 4、功利率考虑以下三方面费用和利润：雇用一个成功的工人对公司带来的平均利润（B）；雇用一个后来被证明为不成功的工人所支出的费用（C）；实施招工、选拔计划所支出的费用（S）。功利率功利率B B（N Ns s）C C（N Nu u）S SNs成功工人数；Nu失败工人数（与经济利益挂钩，但实施比较困难）三、效标关联效度的估计方法 5、预期

10、表是一种双向表格，其中一个维度（变量）表示预测原分数，另一维度表示效标测量的成绩。表中的数据可以是人数，也可以是人数的百分比。预期表没有一个综合的效度指标，但效度的高低反映在表的结构上。若从左下角到右上角这条对角线上的各个数所占的百分比越高，则效度就越高。预期表智力智力6060以下以下 61-7061-7071-8071-8081-9081-909090以上以上总数总数120120以上以上2 28 81010110-119110-1196 616163 3252590-10990-1094 424241212404080-8980-896 613131 120207979以下以下5 55 5预

11、期表百分比智力智力6060以下以下61-7061-7071-8071-8081-9081-909090以上以上120120以上以上20208080110-119110-11924246464121290-10990-10910106060303080-8980-89303065655 57979以下以下100100四、影响效度指标的因素 包括效度本身与关于效度的计算：测验长度 效标的选择 预测原与效标测量的信度受测者样本 基础率 录取率第三节第三节 内容效度与构想效度内容效度与构想效度作为样本的测验作为样本的测验内容效度内容效度显示性测验显示性测验作为符号的测验作为符号的测验构想效度构想效度预

12、测性测验预测性测验 效标关联效度效标关联效度 当测验题目来自于内容范围明确的总体时，那么测验作为样本的测验；当所要测量的内容、范围是开放的时候，就作为符号的测验。一、内容效度的意义 內容效度(content-related validity)是指测验內容的代表性或取样的适切性。如良好的学习成就测验编制必需考虑教材內容及教学目标二、判断内容效度的方法 主要采逻辑的分析方法列出教材內容的主题及所预期的行为改变判断每一个主题的相对重要性建立双向细目表依据双向细目表编写符合主题及行为改变的题 又称逻辑效度(logic validity)专家判断 复本的编制两组人编制两套试题，如果两份內容大致符合，則表

13、示测验內容适当。双向细目表范例双向细目表范例教材內容教材內容知识知识理解理解应用应用合计题数合计题数一、一、整数整数的加法的加法二、二、整数整数的減法的減法三、三、整数整数的乘法的乘法四、四、因子与因子与倍數倍數五、五、分数分数的的四则运四则运算算合计题数合计题数三、內容效度的应用 內容效度最适合于成就测验的效度检验。因为內容效度可以解答成就测验效度的基本问题:测验是否涵盖特定的技能与知识的代表性样本?测验成绩是否不受无关因素的影响?此外，成就测验具有独特的教材內容与学习经验，测验內容从中选择出来，较易从事逻辑的分析和合理的判断。四、表面效度（face validity）表面效度缺乏系统的逻辑

14、分析，它只是指测验给人的第一个印象好像测量什么东西，而不是指测验事实上能测量到什么东西。一般而言，具有內容效度的测验，通常也具有表面效度，反之却不尽然。但表面效度对一个测验来说，仍然是很重要的，因为具有表面效度，可使受试者感到亲切感，并愿意合作。五、构想效度的意义 构想效度（Construct Validity）指测验能够测量到理论上的构念或特质的程度。易言之就是指测验分数能够依据某种心理学的理论构想加以解释的程度。因此凡是根据心理学的构念，对测验分数的意义所做的分析和解释，即为构想效度。五、构想效度的意义 考察构想效度的宗旨是要回答下面的问题：一个测验测量什么心理构想？对这构想测得有多好？测

15、验分数中有多少比例的变异数是来自测验所欲测的构想？然而，如何评价一个测验的构想效度，目前还没有单一的指标。会聚效度和区分效度是构想效度的两个重要指标。六、确定构想效度的基本过程 1.根据构念的理论分析，发展一套测量的題目。构念 行为 题目 2.提出可检验构念与其他变量间关系的预测。3.从事实证性的研究以验证上述的预测。4.淘汰和理论的构念相反的题目，或重新从预测开始修正。若再得负向支持，则可能测验真的缺乏效度或理论有问题。新编智力测验的构想效度之检验方法 从智力这个构念的有关理论可预测1.测验分数在发展成熟之前，隨年龄增长。2.测验分数可预测学业成就。3.测验分数和教师评定的智力等级有正相关。

16、4.测验分数可以鉴別不同能力的团体，如天才或智能不足者。5.测验分数受直接教学影响不大。七、收集构想效度资料的方法 测验内的方法：1、通过建立测验的内容效度来提供有关测验构想效度的证据。2、分析受测者解答题目的过程。3、研究测验的同质性，也即以测验内部的一致性作为构想效度的指标。4、测验内的相关系数。七、收集构想效度资料的方法 测验间的方法：1、相容效度2、会聚效度与区分效度3、因素分析（因素效度）相容效度 一个新编的测验与另一个现有的效度较高的同类测验分数之间的相关，就称为相容效度（会聚效度的一种）。注意：这两个测验必须测量相同的结构；已知的测验必须被公认是有效的。会聚效度与区分效度 一个测

17、验要有一定的构想效度，则它的分数不仅要和测量相同构念的其他测验分数有高相关；同时，还要和测量不同构念的其他测验分数有低相关。前者叫会聚效度(Convergent Validity)，后者叫区分效度(Discriminant Validity)。多质多法相关矩阵（Multitrait-multimethod Matrix,MTMM）MTMM方法（1）Campbell和Fiske（1959）认为，任何一个测验都是用所给的方法去测量所要的特质，可看作一个特质方法单位。因此，每个测验上的分数都有三个变异来源：特质、方法、特质方法（所测特质与所用方法的交互作用）。MTMM方法（2）为了搞清楚被试在测验上

18、的反应究竟是由特质决定的，还是由方法决定的，只用一种方法测一种特质是达不到目的的。只有用多种方法测多种特质并加以分析比较，才能将特质、方法以及它们之间的交互作用这三种效果分开。为了达到这个目的，他们在1959年提出了多元特质多重方法矩阵（MTMM）的研究方法。MTMM方法（3）MTMM是一种系统性的实验设计，目的是从双重途径上考察会聚效度和区分效度。其“方法”的概念比较宽泛，可以是几个不同的评价者进行评价（得到多质多评价者相关矩阵），可以是测量同样一些特质的不同测验，也可以是不同评价方法，例如主试评定、测验分数、甚至某项观察指标等的结合。MTMM方法（4）Campbell和Fiske设想用相关

19、方法计算MTMM数据，并根据某些标准观察相关的模式直接得出测验或研究的会聚效度和区分效度。传统的MTMM方法4类相关方法方法1方法方法2方法方法3特质特质A1B1C1A2B2C2A3B3C3方方法法1A1r11B1r21r22C1r31r32r33方方法法2A2r41r42r43r44B2r51r52r53r54r55C2r61r62r63r64r65r66方方法法3A3r71r72r73r74r75r76r77B3r81r82r83r84r85r86r87r88C3r91r92r93r94r95r96r97r98r99位于主对角线上的数值，是用同样方法测得相同特质所得的相关，称为同质同质同法

20、相关同法相关：如r11，它相当于稳定性或等值性系数，因此是信度指标。传统的MTMM方法4类相关方法方法1方法方法2方法方法3特质特质A1B1C1A2B2C2A3B3C3方方法法1A1r11B1r21r22C1r31r32r33方方法法2A2r41r42r43r44B2r51r52r53r54r55C2r61r62r63r64r65r66方方法法3A3r71r72r73r74r75r76r77B3r81r82r83r84r85r86r87r88C3r91r92r93r94r95r96r97r98r99实线三角形内的数值，是用同样的方法测不同的特质所得的相关，称为异质同法相关异质同法相关：如r21

21、、r31；一般情况下，此相关低，说明测验的区分效度区分效度高。传统的MTMM方法4类相关方法方法1方法方法2方法方法3特质特质A1B1C1A2B2C2A3B3C3方方法法1A1r11B1r21r22C1r31r32r33方方法法2A2r41r42r43r44B2r51r52r53r54r55C2r61r62r63r64r65r66方方法法3A3r71r72r73r74r75r76r77B3r81r82r83r84r85r86r87r88C3r91r92r93r94r95r96r97r98r99虚线三角形内的数值，是用不同方法测不同特质所得的相关，称为异质异法相关异质异法相关：如r42、r53；

22、此值一般较低，反映了特质与方法的相互作用对测验分数的影响。传统的MTMM方法4类相关方法方法1方法方法2方法方法3特质特质A1B1C1A2B2C2A3B3C3方方法法1A1r11B1r21r22C1r31r32r33方方法法2A2r41r42r43r44B2r51r52r53r54r55C2r61r62r63r64r65r66方方法法3A3r71r72r73r74r75r76r77B3r81r82r83r84r85r86r87r88C3r91r92r93r94r95r96r97r98r99在虚线三角形之间的两条对角线上的数值是用不同方法测相同特质所得的相关，称为同质同质异法相关异法相关：如r4

23、1、r52；此相关高，说明被试的反应主要是由特质决定的，与方法关系不大，即测验的会聚效度会聚效度高。传统的MTMM方法4条法则 1.具有相同特质，由相同方法测得的变量间应该是高相关；2.同质异法相关应该高于和它位于同一列或行的异质异法相关；3.对于每一个观测变量来说，特质造成的影响应该比方法造成的影响大。也就是说，一个观测变量跟和它同特质异方法的相关应该大于跟它异特质同方法的变量的相关。4.无论是同特质或是异特质子矩阵中，相关之间的相对大小保持不变。MTMM矩阵的相关含义及理想模式 上表整理了MTMM矩阵下不同相关的含义及理想的标准，可以在理解MTMM数据的时候作为参考。特质特质方法方法变异来

24、源变异来源相关大小相关大小同质同法相关同质同法相关相同相同随机最高同质异法相关同质异法相关相同不同方法次高异质同法相关异质同法相关不同相同特质较低异质异法相关异质异法相关不同不同特质&方法最低传统的MTMM方法示例 例如，采用用人格量表和教师评定两种测量方法，测量学生的三种特质：成就性(A)、社会性(B)、独立性(C)。传统的MTMM方法示例传统的MTMM方法示例 相同方法測量相同特質(信度係數)：.77,.81,.92,.71,.78,.83 相同方法測量不同特質(辨別效度)：.40,.31,.29,.37,.18,.25 不同方法測量相同特質(輻合效度)：.59,.63,.68 不同方法測

25、量不同特質(辨別效度)：.29,.18,.27,.09,.11,.12 此例就是最理想的構念效度，就是1,3所得相關比2,4所得相關為高CampbellFiske方法的局限性 1.以包含测量误差的观测变量之间的相关为基础，来对潜在的结构进行解释，而实际上测量误差每次都是不一致的，从而会影响到相关系数，进而影响对潜在结构解释的准确性。CampbellFiske方法的局限性 2.传统的MTMM方法没有提供会聚效度和区分效度的统计检验方法，使得研究者对于相关矩阵的解释只能凭个人经验，从而使这种方法的客观性大打折扣。CampbellFiske方法的局限性 3.MTMM数据也不宜使用探索性因素分析，因为

26、不同方法的测量，其信度或误差是各不相同的，不同信度水平的量数的相关，并非变量之间的纯真相关。因素分析 因素分析（EFA）实质是，运用统计的步骤决定需要多少因子（结构）来解释一组测验（或者是分测验或项目）之间的互相关联，可以提供以下三种信息：1、因子的数目和性质；2、因素载荷（factor loadings）；3、共同度（communality，又称公因子方差）未旋转的因素载荷矩阵变量因素F1F2F3F4h2(4h)h2(2h)v1.7632-.6096.0240.21301.0000.9541v2.6636.6825.3061.0104.9999.9062v3.8283-.5154.0144-

27、.21921.0000.9517v4.7409.5928-.3151.01631.00009004特征值2.25791.4545.1938.0938贡献率.5645.3636.0485.0235未旋转的因素载荷矩阵 几点说明：共同度h2等于该行因素载荷的平方和；而特征值（eigenvalue）等于该列因素载荷的平方和。贡献率特征值/变量数特征值小于1的因素可舍掉特征值之和，及共同度之和约等于变量数。测验v1、v2之间的相关系数等于叉积之和：根据公式：rij=ai1aj1+ai2aj2+aimajm可得：r12=0.7632 0.6636+(-0.6096)0.6825+.0240 0.3061+0.2130 0.0104影响效度的因素 测验品质指导语、措辞、題目难度、暗示 测验实施物理条件、心理条件 受试者的因素身心状况、反应(答题)模式 效标的品质效标与测验分数的关系效标的可靠性(信度)团体的性质同质性太高=低效度标准 多大的效度是可取的（可接受的）：1、效度系数rxy在统计学上必须是显著的；2、用测验必须比依靠基础率产生更多的正确决定；3、测验必须有一定的功利率；4、测验的有效性必须大于其他现成的工具。