心理测量第七章测验的项目分析课件.ppt

1、导导 学学 项目分析是在组成测验之前，通过预测被试对项目分析是在组成测验之前，通过预测被试对组成测验的各个题目（项目）的反应进行的分析。组成测验的各个题目（项目）的反应进行的分析。它是编制和修订测验的重要环节。它是编制和修订测验的重要环节。n 通过本章的学习可解决三个问题：通过本章的学习可解决三个问题：n 一、掌握什么是测验的难度，如何计算测验的难一、掌握什么是测验的难度，如何计算测验的难度（重点）度（重点）n 二、掌握什么是测验的区分度，如何计算测验的二、掌握什么是测验的区分度，如何计算测验的区分度，难度和区分度的关系怎样（重点）区分度，难度和区分度的关系怎样（重点）n三、掌握项目分析的其他

2、特殊形式三、掌握项目分析的其他特殊形式 第一节第一节 难难 度度 n一、难度的定义一、难度的定义n二、难度的计算二、难度的计算n三、难度水平的确定三、难度水平的确定n四、测验的难度与测验分数的分布四、测验的难度与测验分数的分布 五、常态化等距难度量表五、常态化等距难度量表 n一、项目的难度一、项目的难度n 难度，是指项目的难易程度。在能力难度，是指项目的难易程度。在能力测验中通常需要一个反映难度水平的指标，测验中通常需要一个反映难度水平的指标，在非能力测验中，类似的指标是在非能力测验中，类似的指标是“通俗通俗性性”，即取自相同总体的样本中，能在答，即取自相同总体的样本中，能在答案上回答该题的人

3、数。案上回答该题的人数。n二、难度的计算二、难度的计算n 难度通常以答对百分比作指标。难度通常以答对百分比作指标。（一）二分法记分的项目（一）二分法记分的项目n 若试题为二分法记分项目（即答对给若试题为二分法记分项目（即答对给1分，答分，答错记错记0分）时分）时,难度的指标通常以通过率表示，即难度的指标通常以通过率表示，即以答对或通过该题的人数的百分比来表示以答对或通过该题的人数的百分比来表示：n P=R/N 100%n 式中，式中，P代表项目的难度，代表项目的难度，N代表全体被试代表全体被试者人数，者人数，R为答对或通过该项目的人数。为答对或通过该项目的人数。（二）非二分法计分的项目（二）非

4、二分法计分的项目n 当测验项目是问答题或其他不能用二分当测验项目是问答题或其他不能用二分法计分的形式时，常常对部分正确的反应法计分的形式时，常常对部分正确的反应也给一定的分数。对于这类型题目，一般也给一定的分数。对于这类型题目，一般用下面的公式计算难度：用下面的公式计算难度：n P=X/Xmax100%n 式中式中X为全体受测者在该题上的平均为全体受测者在该题上的平均分，分，Xmax为该题的满分。为该题的满分。n（三）分组法（三）分组法n 当被试人数较多时，则可根据测验总成绩将当被试人数较多时，则可根据测验总成绩将被试分成三组：分数最高的被试分成三组：分数最高的27%被试者为高分组被试者为高分

5、组（NH）,分数最低的分数最低的27%被试者为低分组（被试者为低分组（NL）。）。分别计算高分组和低分组的通过率，以两组通过分别计算高分组和低分组的通过率，以两组通过率的平均值作为每一题的难度。其公式为：率的平均值作为每一题的难度。其公式为：n P=(PH+PL)/2n 式中式中P代表难度，代表难度，PH和和PL分别代表高分组分别代表高分组和低分组通过率。和低分组通过率。n（四）难度的校正（四）难度的校正n 由于选择题允许猜测，所以通过率可能因机由于选择题允许猜测，所以通过率可能因机遇作用而变大。备选答案的数目越少，机遇的作遇作用而变大。备选答案的数目越少，机遇的作用越大，越不能反映测验的难度

6、。为了平衡机遇用越大，越不能反映测验的难度。为了平衡机遇对难度的影响，吉尔福特提出了一个难度的校正对难度的影响，吉尔福特提出了一个难度的校正公式：公式：n CP=(KP1)/(K1)n 式中式中CP为校正后的通过率，为校正后的通过率，P为实际得到的为实际得到的通过率，通过率，K为备选答案的数目。为备选答案的数目。n三、难度水平的确定三、难度水平的确定n 进行难度分析的主要目的是为了筛选项目，进行难度分析的主要目的是为了筛选项目，项目的难度多高合适，取决于测验的目的、性质项目的难度多高合适，取决于测验的目的、性质以及项目的形式。以及项目的形式。n 在教育工作中，有些测验的目的是为了考察在教育工作

7、中，有些测验的目的是为了考察学生对某方面的知识、技能是否掌握，此时可以学生对某方面的知识、技能是否掌握，此时可以不考虑难度。不考虑难度。n 当测验用于选人时，应该比较多的采用那些当测验用于选人时，应该比较多的采用那些难度值接近录取率的题目。难度值接近录取率的题目。n对于选择题来说，对于选择题来说，P值一般应大于概率水平。值一般应大于概率水平。P值等于概率，说明题目可能过难或题意不值等于概率，说明题目可能过难或题意不清，被试者凭猜测作答；清，被试者凭猜测作答；P值小于概率无意值小于概率无意义，说明题目质量有问题。义，说明题目质量有问题。n四、测验的难度与测验分数的分布四、测验的难度与测验分数的分

8、布n 测验的难度直接依赖于组成测验的项目的难测验的难度直接依赖于组成测验的项目的难度。通过考察测验分数的分布，可以对测验的难度。通过考察测验分数的分布，可以对测验的难度做出直观检验。度做出直观检验。n 由于人的心理基本上是呈常态分布的，而我由于人的心理基本上是呈常态分布的，而我们目前所采用的统计方法大都以正态分布为前提，们目前所采用的统计方法大都以正态分布为前提，因此大多数测验在设计时希望分数呈现常态分布因此大多数测验在设计时希望分数呈现常态分布的模型。如果被试样本具有代表性，对于中等难的模型。如果被试样本具有代表性，对于中等难度的测验，其测验总分应接近常态分配。度的测验，其测验总分应接近常态

9、分配。n五、常态化等距难度量表五、常态化等距难度量表n 以通过率作为难度指标，实际上是以顺序量以通过率作为难度指标，实际上是以顺序量表来表示难度，它仅仅能指出题目难度的顺序或表来表示难度，它仅仅能指出题目难度的顺序或相对难度高低。相对难度高低。n 因此美国教育测验服务社建议用转换过的分因此美国教育测验服务社建议用转换过的分数来表示试题难度值。其转换公式为数来表示试题难度值。其转换公式为=13+4Z，(为难度指标，为难度指标，Z为标准分数，为标准分数，13为转换公式的为转换公式的平均值，平均值，4为转换公式的标准差为转换公式的标准差)由于由于Z分数通常只分数通常只取取3之间的数值，因此可知之间的

10、数值，因此可知:n P=0.9987时时,Z=3,故故=13+4(3)=1n P=0.9772时时,Z=2,故故=13+4(2)=5 n P=0.8413时时,Z=1,故故=13+4(1)=9n P=0.5000时时,Z=0 ,故故=13+4(0)=13n P=0.1587时时,Z=+1,故故=13+4(+1)=17n P=0.0228时时,Z=+2,故故=13+4(+2)=21n P=0.0013时时,Z=+3,故故=13+4(+3)=25 n 由此可见，常用的由此可见，常用的值域介于值域介于125之间，之间，值值越大，试题越难；越大，试题越难；值越小，试题越容易。值越小，试题越容易。第二节

11、第二节 区分度区分度 n一、区分度的定义一、区分度的定义n二、确定区分度的方法二、确定区分度的方法n三、区分度的相对性三、区分度的相对性 四、区分度与难度的关系四、区分度与难度的关系 n 一、区分度的定义一、区分度的定义n 区分度是指测验项目对所测量的心理区分度是指测验项目对所测量的心理特性的区分程度或鉴别能力。若区分度高，特性的区分程度或鉴别能力。若区分度高，则水平高者得分高，水平低者得分低。若则水平高者得分高，水平低者得分低。若区分度低，则无鉴别力。区分度低，则无鉴别力。n（一）相关法（一）相关法n即以某一项目分数与效标分数（或测验总即以某一项目分数与效标分数（或测验总分）的相关作为该项目

12、区分度的指标。相分）的相关作为该项目区分度的指标。相关越高，区分能力越好。关越高，区分能力越好。n（二）鉴别指数（二）鉴别指数n 区分度分析的一种简便方法是比较测验总分区分度分析的一种简便方法是比较测验总分高和总分低的两组被试在项目通过率上的差别：高和总分低的两组被试在项目通过率上的差别：n D=PHPLn 式中式中PH为高分组在某项目上的通过率，为高分组在某项目上的通过率，PL为为低分组在某项目上的通过率。二者通过率之差为低分组在某项目上的通过率。二者通过率之差为鉴别指数鉴别指数D。D值越大，项目的区分度越高，即项值越大，项目的区分度越高，即项目越有效。目越有效。n三、区分度的相对性三、区分

13、度的相对性n 区分度的值亦具有相对性，这表现在以下四区分度的值亦具有相对性，这表现在以下四个方面：个方面：n （一）采用不同的计算方法区分度的值不同（一）采用不同的计算方法区分度的值不同n （二）用相关法计算的区分度值受样本大小影（二）用相关法计算的区分度值受样本大小影响响n （三）用两个极端组通过率的差异作为区分度（三）用两个极端组通过率的差异作为区分度的指标，其值受分组标准的影响。的指标，其值受分组标准的影响。n （四）区分度的大小与样本的同质性有关。（四）区分度的大小与样本的同质性有关。n 四、区分度与难度的关系四、区分度与难度的关系n 区分度与难度有密切关系。例如，某项目的区分度与难度

14、有密切关系。例如，某项目的通过率为通过率为1.00或或0，则说明高分组与低分组在通过，则说明高分组与低分组在通过率上不存在差异，因此鉴别指数率上不存在差异，因此鉴别指数D为为0。假如，项。假如，项目的通过率为目的通过率为0.50，则可能是高分组的所有人都，则可能是高分组的所有人都通过了，而低分组却无人通过，这样通过了，而低分组却无人通过，这样D的最大值的最大值为为1.00。从上面的分析中可以看出，难度越接近。从上面的分析中可以看出，难度越接近0.50，项目的潜在区分度越大，难度越接近，项目的潜在区分度越大，难度越接近1.00或或0时，项目的潜在区分度越小。时，项目的潜在区分度越小。n 但是在实

15、际编制测验中，不能要求所有但是在实际编制测验中，不能要求所有项目的难度均为项目的难度均为0.50。事实上，如果测验。事实上，如果测验的所有项目都是中等难度，只有项目的内的所有项目都是中等难度，只有项目的内在相关为零时，整个测验才能产生正态分在相关为零时，整个测验才能产生正态分布。考虑到一般测验项目之间都有某种相布。考虑到一般测验项目之间都有某种相关，难度的分布广一些，梯度多一些，是关，难度的分布广一些，梯度多一些，是合乎需要的。合乎需要的。n 难度与区分度都是相对的，是针对一定团体而难度与区分度都是相对的，是针对一定团体而言的。一般来说，较难的项目对高水平被试区分言的。一般来说，较难的项目对高

16、水平被试区分度高，较易的项目对低水平被试区分度高，中等度高，较易的项目对低水平被试区分度高，中等难度的项目对中等水平的被试区分度高。由于人难度的项目对中等水平的被试区分度高。由于人的多数心理特征呈正态分布，所以当需要人作最的多数心理特征呈正态分布，所以当需要人作最大程度的区分时，项目难度的分布也以正态为好，大程度的区分时，项目难度的分布也以正态为好，即特别难与特别容易的项目较少，越接近中等难即特别难与特别容易的项目较少，越接近中等难度的项目越多，而所有项目的平均难度为度的项目越多，而所有项目的平均难度为0.50。第三节第三节 项目分析的特殊形式项目分析的特殊形式 n一、备选答案的反应模式一、备

17、选答案的反应模式n二、速度测验的项目分析二、速度测验的项目分析n三、标准参照测验的项目分析三、标准参照测验的项目分析n四、项目四、项目团体的相互作用团体的相互作用n五、有效性与可靠性的矛盾五、有效性与可靠性的矛盾 n一、备选答案的反应模式一、备选答案的反应模式n 对于选择题，除了分析其难度和区分度外，对于选择题，除了分析其难度和区分度外，还要分析被试对每个备选答案的反应情况。一般还要分析被试对每个备选答案的反应情况。一般主要做以下分析：主要做以下分析：n （一）如果正确的备选答案被所有被试选择，（一）如果正确的备选答案被所有被试选择，则说明该题目太容易或者题目中可能提供了某种则说明该题目太容易

18、或者题目中可能提供了某种暗示：暗示：n （二）如果某个错误答案没有一个被试选择，（二）如果某个错误答案没有一个被试选择，说明该项目不具迷惑性，错得过于明显；说明该项目不具迷惑性，错得过于明显；n（三）如果所有被试都选择了同一错误答（三）如果所有被试都选择了同一错误答案，可能是编制测验时把答案定错了，也案，可能是编制测验时把答案定错了，也可能是在教学中发生了错误；可能是在教学中发生了错误；n（四）如果高分组被试的选择集中在两个（四）如果高分组被试的选择集中在两个答案上，二者选择率相近，说明该题可能答案上，二者选择率相近，说明该题可能有两个正确答案或另一个答案也有一定道有两个正确答案或另一个答案也

19、有一定道理；理；n（五）如果高分组对正确答案的选择与低（五）如果高分组对正确答案的选择与低分组相等或低于后者，说明所考察的东西分组相等或低于后者，说明所考察的东西与水平无关；与水平无关；n（六）如果一个题目被试未答人数过多或（六）如果一个题目被试未答人数过多或选择各个备选答案人数相等，则说明题目选择各个备选答案人数相等，则说明题目过难或题意不清，使得被试无法做答或凭过难或题意不清，使得被试无法做答或凭猜测做答。猜测做答。n二、速度测验的项目分析二、速度测验的项目分析n 就难度来说，速度测验前部的项目通过率高，就难度来说，速度测验前部的项目通过率高，后部的项目通过率低，即使后边的项目比前边容后部

20、的项目通过率低，即使后边的项目比前边容易，也会出现这种情况。易，也会出现这种情况。n 就区分度来说，速度测验前部的项目几乎人就区分度来说，速度测验前部的项目几乎人人都能通过，因此鉴别力很低；测验后部的项目人都能通过，因此鉴别力很低；测验后部的项目只有能力强、反应快或总分高的被试才能通过，只有能力强、反应快或总分高的被试才能通过，因而鉴别力被高估。因而鉴别力被高估。n由此看来，在速度测验中，不管项目本身由此看来，在速度测验中，不管项目本身性质如何，只要出现在测验前部，只有较性质如何，只要出现在测验前部，只有较低的难度和区分度，而出现在测验后部，低的难度和区分度，而出现在测验后部，便有较高的难度和

21、区分度。便有较高的难度和区分度。n三、标准参照测验的项目分析三、标准参照测验的项目分析n 在标准参照测验中，只要研究者和测验在标准参照测验中，只要研究者和测验编制者认为是重要的项目，不管其通过率编制者认为是重要的项目，不管其通过率和鉴别力如何，都可以包含在测验中。对和鉴别力如何，都可以包含在测验中。对这种测验最好通过比较前测与后测的结果这种测验最好通过比较前测与后测的结果来进行项目分析。来进行项目分析。n四、项目四、项目团体的相互作用团体的相互作用n 不同的团体具有不同的文化背景，因而不同的团体具有不同的文化背景，因而在知识技能上也有某种差异。这些差异会在知识技能上也有某种差异。这些差异会在测

22、验分数上反映出来。由此带来的一个在测验分数上反映出来。由此带来的一个问题是，同样的项目对于不同的团体可能问题是，同样的项目对于不同的团体可能有不同的通过率，这不但会影响难度的绝有不同的通过率，这不但会影响难度的绝对值，还可能影响难度的等级顺序。对值，还可能影响难度的等级顺序。n 在测验编制中也有另外一种情况，不是选择在测验编制中也有另外一种情况，不是选择团体间差异尽可能小的项目，而是选择使团体差团体间差异尽可能小的项目，而是选择使团体差异尽可能大的项目。异尽可能大的项目。n 由于项目由于项目团体相互作用的复杂性，所以对团体相互作用的复杂性，所以对项目的选择标准不能做刻板的规定。对于引起一项目的

23、选择标准不能做刻板的规定。对于引起一定团体的显著差异的项目是保留还是淘汰，取决定团体的显著差异的项目是保留还是淘汰，取决于编制测验的目的。并且，对测验分数的解释时，于编制测验的目的。并且，对测验分数的解释时，一定要了解该测验的选题依据。一定要了解该测验的选题依据。n五、有效性与可靠性的矛盾五、有效性与可靠性的矛盾n 有效性与可靠性的矛盾是由信度和效度的复有效性与可靠性的矛盾是由信度和效度的复杂性引起的。信度有多种，效度也有多种。同质杂性引起的。信度有多种，效度也有多种。同质性（跨项目间的一致性）信度是构想效度的必要性（跨项目间的一致性）信度是构想效度的必要条件，稳定性（跨时间的一致性）信度是预

24、测效条件，稳定性（跨时间的一致性）信度是预测效度的必要条件。这两个目标在某些方面不能共存。度的必要条件。这两个目标在某些方面不能共存。前者要求项目之间有高度相关，后者却要求很低前者要求项目之间有高度相关，后者却要求很低的相关；前者要求项目有同等难度，后者却要求的相关；前者要求项目有同等难度，后者却要求项目难度广泛分布。项目难度广泛分布。n 一个测验在追求一个目标时，必须在另一个一个测验在追求一个目标时，必须在另一个目标上有所牺牲。对于多数心理测验来说，项目目标上有所牺牲。对于多数心理测验来说，项目间中等程度的相关，便可使二者调和，获得较为间中等程度的相关，便可使二者调和，获得较为满意的信度和效度。满意的信度和效度。n 测验的信度、效度受项目的难度、区分度、测验的信度、效度受项目的难度、区分度、内部一致性等多种因素的交互影响，所有这些指内部一致性等多种因素的交互影响，所有这些指标间的关系是非常复杂的，因此不能把它们割裂标间的关系是非常复杂的，因此不能把它们割裂开来分析。开来分析。