第三章-测评标准体系的建构课件.ppt

1、第三章 测评标准体系的建构Chapter3 Building an assessment standardization system第一节第一节 确定测评指标权重确定测评指标权重第二节第二节 素质测评指标及其构成素质测评指标及其构成第第三三节节 测评标准体系测评标准体系构建的步骤构建的步骤第一节第一节 确定测评指标权重确定测评指标权重 权重，即测评指标在测评体系中的重要权重，即测评指标在测评体系中的重要性或测评指标在总分中所应占的比重。性或测评指标在总分中所应占的比重。一、加权的基本形式一、加权的基本形式二、加权的方法二、加权的方法 1纵向加权纵向加权 即对不同的测评指标给予不同的权数值。其

2、目的是使不同的测评指标的得分可以进行纵向比较，或者说使各测评指标的分数计量单位相等。2横向加权横向加权 即给每个指标分配不同等级分数。其目的是使不同的测评客体在同一测评指标上的得分可以比较。3综合加权综合加权 即纵向加权与横向加权同时进行，其目的是使不同的测评客体在不同的测评指标上的得分可以相互比较。一、加权的三种基本形式二、加权的方法：二、加权的方法：1主观加权法主观加权法 所谓主观加权法，即加权者依据自己的所谓主观加权法，即加权者依据自己的经验权衡每个测评指标的轻重直接加权。经验权衡每个测评指标的轻重直接加权。2德尔斐法德尔斐法(又称专家咨询法又称专家咨询法)德尔斐法是美国兰德公司于德尔斐

3、法是美国兰德公司于1964年首年首先用于技术预测的。它是请专家先用于技术预测的。它是请专家“背靠背背靠背”反复填写对权重设立的意见，不断反馈信反复填写对权重设立的意见，不断反馈信息以期专家意见趋于一致，得出一个较为息以期专家意见趋于一致，得出一个较为合理的权重分配方案。合理的权重分配方案。向专家函询向专家函询回收意见整理回收意见整理根据决策目标组织专门小组根据决策目标组织专门小组拟定调查提纲设计调查表拟定调查提纲设计调查表轮番征询意见轮番征询意见整理结果，提出报告整理结果，提出报告德尔斐法过程德尔斐法过程特点：匿名性轮番征询统计性 优点：避免了权威、职称、职务、口优点：避免了权威、职称、职务、

4、口才以及人数优势对确定权重的干扰，集中才以及人数优势对确定权重的干扰，集中了大多数人的正确意见。了大多数人的正确意见。缺点：是由于最后不再考虑少数人的缺点：是由于最后不再考虑少数人的意见，容易失去一部分信息，同时也缺乏意见，容易失去一部分信息，同时也缺乏科学的检验手段。科学的检验手段。弥补的方法：检验各个测评指标的计弥补的方法：检验各个测评指标的计分与总分的相关性。分与总分的相关性。3、层次分析法、层次分析法 步骤：步骤：首先，将素质测评目标分解为一个首先，将素质测评目标分解为一个多多级指标级指标；然后，在同一层次上根据然后，在同一层次上根据斯塔相对重斯塔相对重要性等级表要性等级表，列出两两比

5、较矩阵；，列出两两比较矩阵；最后按照最后按照如下公式如下公式计算出每项指标的计算出每项指标的相对优先权重。相对优先权重。模块结构模块结构项目项目品性（品性（30）需求和动机（需求和动机（10）工作态度工作态度 （5）人际交往人际交往 （10）情绪情绪 （5）知识（知识（18）基本知识基本知识 （2）营销知识营销知识 （6）市场知识市场知识 （6）计算机知识（计算机知识（4）能力（能力（30）沟通协商沟通协商 （7）洞察力洞察力 （7）应变力应变力 （7）创造力创造力 （2）自我管理能力自我管理能力 （7）技能（技能（17）营销技术营销技术 （10）计算机操作技能（计算机操作技能（7）身体（身体

6、（5）外貌外貌 （2）健康健康 （1）体质体质 （2）海尔电脑销售人员测评指标体系 见教材相对重要相对重要 程度程度定定 义义说说 明明1同等重要同等重要两者对所属测评目标贡献相等两者对所属测评目标贡献相等3略为重要略为重要据经验一个比另一个测评结果据经验一个比另一个测评结果稍为重要稍为重要5基本重要或高度基本重要或高度重要重要据经验一个比另一个测评结果据经验一个比另一个测评结果更为重要更为重要7确实重要确实重要一个比另一个测评结果更为重一个比另一个测评结果更为重要，其优势已为实践证明要，其优势已为实践证明9绝对重要绝对重要明显重要程度可以断言为最高明显重要程度可以断言为最高 2，4，6，8以

7、上两相邻程度以上两相邻程度中间值中间值需要折衷时采用需要折衷时采用3、层次分析法、层次分析法Wi：该项典型指标的权重；：该项典型指标的权重；n:标准体系中指标的个数；标准体系中指标的个数；i:行号；行号；j:列号；列号；aij:相对重要性等级相对重要性等级niijnjijiaanW11)/(1两两比较矩阵计分方法两两比较矩阵计分方法 A 与与B相比，若认为相比，若认为B比比A 略为重要，则在略为重要，则在 B 行行A列交叉处给列交叉处给B记记3，在，在A 行行B列交叉处给列交叉处给A记记1/3;A 与与C相比，若认为相比，若认为C比比A确实重要，则在确实重要，则在C行行A列交叉处给列交叉处给C

8、记记7，在，在A 行行C列交叉处给列交叉处给A记记1/7；如此类推，直到全部比较完为止如此类推，直到全部比较完为止例，有例，有A，B，C，D，E 5个指标，根据斯塔相对重个指标，根据斯塔相对重要性等级表，将测评指标两两比较，写成矩阵形式：要性等级表，将测评指标两两比较，写成矩阵形式：指标指标 权重权重指标指标ABCDEWiA11/21/31/31/2B211/41/42C34117D34117E21/21/71/71niija111 10 2.7 2.7 17.511 10 2.7 2.7 17.50.080.120.360.360.084、对偶比较法 层次分析法有一种变形称为对偶比较法，它层

9、次分析法有一种变形称为对偶比较法，它根据以下规定来分配权重：根据以下规定来分配权重：设设A与与B是被比较的两个指标，是被比较的两个指标，若若A比比B重要得多，则将重要得多，则将A记为记为4分，分，B记为记为0分；分；若若A较较B略重要，略重要，则将则将A记为记为3分，分，B记为记为1分；分；若若A与与B同等重要，则将同等重要，则将A记为记为2分，分，B记为记为2分。分。注意：给注意：给A A记的分要记在记的分要记在A A的列上，区别于层次分的列上，区别于层次分析法析法对偶比较法实例对偶比较法实例有有A，B，C，D，E 5个指标，要确定它们各自的权重。个指标，要确定它们各自的权重。指标指标指标指

10、标ABCDEABCDE34441444002300230011总总 分分1513552 权重权重 wi0.3750.3250.1250.1250.05 指标指标指标指标品性品性素质素质知识知识素质素质能力能力素质素质技能技能素质素质身体身体素质素质品性素质品性素质1210知识素质知识素质3321能力素质能力素质2110技能素质技能素质3231身体素质身体素质4343 总总 分分1271272 权重权重 wi0.30.1750.30.1750.05对偶比较法的应用：对偶比较法的应用：海尔电脑销售人员一级指标比较矩阵海尔电脑销售人员一级指标比较矩阵第二节第二节 素质测评指标及其构成素质测评指标及其

11、构成一、素质测评指标体系一、素质测评指标体系 素质测评指标素质测评指标是受测者素质特征状态的一种是受测者素质特征状态的一种表现形式，单个的素质测评指标反映考评对象某表现形式，单个的素质测评指标反映考评对象某一方面的特征状态；一方面的特征状态；素质测评指标体系素质测评指标体系就是由反映考评对象各个就是由反映考评对象各个方面特征状态的指标所构成的有机整体或集合。方面特征状态的指标所构成的有机整体或集合。二、测评指标的构成二、测评指标的构成 人员素质测评指标是对人事测评对象素质特征人员素质测评指标是对人事测评对象素质特征状态的一种表现形式。状态的一种表现形式。测评指标测评指标=测评要素测评要素+测评

12、标志测评标志+测评标度测评标度测评要素测评要素=测评对象的基本单位测评对象的基本单位测评标志测评标志=揭示测评要素的关键可辨特征揭示测评要素的关键可辨特征测评标度测评标度=测评要素或要素标志的程度差异与状测评要素或要素标志的程度差异与状态的顺序和刻度态的顺序和刻度 表表41 逻辑思维能力考评指标逻辑思维能力考评指标 测评测评要素要素测评标志测评标志水平标度水平标度逻辑逻辑思维思维能力能力1、回答问题层次是、回答问题层次是否清楚否清楚清楚清楚一般一般混乱混乱2、论述问题是否周、论述问题是否周密密周密周密一般一般不周密不周密3、论点、论据照应、论点、论据照应是否连贯是否连贯连贯连贯一般一般不连贯不

13、连贯表表42 感召力考评指标感召力考评指标 测评测评要素要素测评标志测评标志状态标度状态标度感召感召力力1、擅长说服，善于赢得支持、擅长说服，善于赢得支持2、能调整表情以吸引听众、能调整表情以吸引听众3、能运用间接影响等复杂手、能运用间接影响等复杂手段造声势、兴舆论，赢得他段造声势、兴舆论，赢得他人支持人支持4、能策划引人注目的事件，、能策划引人注目的事件，以说明问题的要点以说明问题的要点A精通精通 B善于善于 C尚可尚可 D一般一般 E很差很差A精通精通 B善于善于 C尚可尚可 D一般一般 E很差很差A精通精通 B善于善于 C尚可尚可 D一般一般 E很差很差A精通精通 B善于善于 C尚可尚可

14、 D一般一般 E很差很差（一）测评要素的构成（一）测评要素的构成 测评要素反映受测者各个方面的素质内容，测评要素反映受测者各个方面的素质内容，它因岗而异。它因岗而异。如如:公务员的测评要素公务员的测评要素:一般采用德、能、勤、绩模式。一般采用德、能、勤、绩模式。如：海尔销售员人员以及指标体系：如：海尔销售员人员以及指标体系：品性素质、知识素质、能力素质、技能素质、品性素质、知识素质、能力素质、技能素质、身体素质身体素质 （二）测评标志的形式（二）测评标志的形式评语短句式评语短句式设问提示式设问提示式方向指示式方向指示式 （二）测评标志的形式（二）测评标志的形式评语短句式评语短句式 它是一种对所

15、考评的要素，作出优劣、好坏、它是一种对所考评的要素，作出优劣、好坏、是非、大小、高低等判断与评论的句子。是非、大小、高低等判断与评论的句子。测评要素：测评要素：用词准确性用词准确性 测评标志：没有用词不当的情形；偶有用词不测评标志：没有用词不当的情形；偶有用词不 当的情形；多次出现用词不当的情形当的情形；多次出现用词不当的情形 设问提示式设问提示式以问题形式提示考评者把握考评要素的特征表表43 协调性测评指标协调性测评指标 测评要素测评要素 测评标志测评标志 测评标度测评标度 优优 良良 中中 可可 差差协调性协调性1.合作意识怎么样？合作意识怎么样？2.见解、想法不固执吗？见解、想法不固执吗

16、？3.自我本位感不强吗？自我本位感不强吗？方向指示式方向指示式 只规定从哪些方面去考评，并没有规定具体考评的标志与标度。表表44 业务经验测评指标业务经验测评指标 测评要素测评要素 测评标志测评标志 测评标度测评标度 业业 务务 经经 验验 主要从应聘者所主要从应聘者所从事的业务年限、从事的业务年限、熟悉程度、有无熟悉程度、有无工作成果等方面工作成果等方面进行考评进行考评 根据具体情况根据具体情况把握把握（三）测评标度的形式（三）测评标度的形式量词式标度量词式标度 等级式标度等级式标度数量式标度数量式标度 4 定义式标度定义式标度 5 综合式标度综合式标度 （三）测评标度的形式（三）测评标度的

17、形式量词式标度量词式标度 这种标度是用一些带有程度差异的形容词、这种标度是用一些带有程度差异的形容词、副词、名词等修饰的词组刻画与揭示有关副词、名词等修饰的词组刻画与揭示有关考评标志状态、水平变化与分布的情形。考评标志状态、水平变化与分布的情形。例如：多、较多、一般、较少、少例如：多、较多、一般、较少、少 （三）测评标度的形式（三）测评标度的形式等级式标度等级式标度 这种标度是用一些等级顺序明确的字词、这种标度是用一些等级顺序明确的字词、字母或数字揭示考评标志状态、水平变化字母或数字揭示考评标志状态、水平变化的刻度形式。的刻度形式。例如：优、良、中、差例如：优、良、中、差 数量式标度。数量式标

18、度。这种标度是以分数来揭示考评标志水平变这种标度是以分数来揭示考评标志水平变化的一种刻度。化的一种刻度。有有离散点标式离散点标式标度和标度和连续区间式连续区间式标度两种。标度两种。（三）测评标度的形式（三）测评标度的形式表表45 离散点标式标度示例离散点标式标度示例考评要素考评要素 考评标志考评标志考评标度考评标度综合分析综合分析 能力能力能抓住实质，分析透彻；能抓住实质，分析透彻；接触实质，分析较透彻；接触实质，分析较透彻；抓不住实质，分析不透彻抓不住实质，分析不透彻10分分5分分0分分表46 连续区间式标度示例考评考评要素要素 考评标志与标度考评标志与标度54.5分分4.44分分3.93.

19、5分分3.43分分 3分分协作协作性性合作合作无间无间肯合作肯合作尚能尚能合作合作偶尔偶尔合作合作我行我行我素我素（三）测评标度的形式（三）测评标度的形式 4定义式标度定义式标度测评要素测评要素三级标度定义三级标度定义测评测评结果结果序序号号要素描述要素描述ABC1次废品率次废品率基本无基本无很少有很少有很多次很多次2作业快慢作业快慢能完成能完成有时能有时能较慢较慢3爱惜设备爱惜设备能爱惜能爱惜能注意能注意会乱来会乱来4成绩如何成绩如何基本达标基本达标靠近目标靠近目标差远了差远了5合作共事合作共事乐于帮忙乐于帮忙能帮则帮能帮则帮帮不了帮不了6缺勤情况缺勤情况很少发生很少发生不算多不算多经常出现

20、经常出现7热心工作热心工作干得出色干得出色不感兴趣不感兴趣讨厌讨厌8敬业精神敬业精神工作踏实工作踏实说得过去说得过去马马虎虎马马虎虎5综合式标度。综合式标度。综合式标度一般是综合上述两种或多种综合式标度一般是综合上述两种或多种标度形式来揭示测评标志不同状态与水平标度形式来揭示测评标志不同状态与水平变化的情况。变化的情况。（三）测评标度的形式（三）测评标度的形式一、测评指标确立的原则一、测评指标确立的原则二、确定考评要素的基本方法二、确定考评要素的基本方法三、测评标准体系建构的步骤三、测评标准体系建构的步骤 第三节第三节 测评标准体系的建构测评标准体系的建构一、测评指标确立的原则一、测评指标确立

21、的原则 与测评对象同质原则与测评对象同质原则 测评指标与标志特征同所测评的对象特征相一致。测评指标与标志特征同所测评的对象特征相一致。可测性原则可测性原则 设立的指标应可以辨别、可以比较、可以测评。设立的指标应可以辨别、可以比较、可以测评。如：如：“工作经验工作经验”本身难以测评，但把它表征为本身难以测评，但把它表征为“工作工作实际年限实际年限”时，就能直接测评。时，就能直接测评。普遍性原则普遍性原则 即设立的指标从内容到形式，要能适合所有的测评对象，即设立的指标从内容到形式，要能适合所有的测评对象，有足够的代表性。有足够的代表性。独立性原则独立性原则 设立的指标在同一层次上应相互独立，没有交

22、叉。设立的指标在同一层次上应相互独立，没有交叉。完备性原则完备性原则 设立的测评指标体系在总体上要能全面地反映测评对设立的测评指标体系在总体上要能全面地反映测评对象的主要特征，即少而精、少而全。象的主要特征，即少而精、少而全。结构性原则结构性原则 即要求所设立的测评指标体系在总体上要有条件、过即要求所设立的测评指标体系在总体上要有条件、过程与结果三个方面的指标，防止程与结果三个方面的指标，防止“短期行为短期行为”。一、测评指标确立的原则一、测评指标确立的原则二、确定考评要素的基本方法二、确定考评要素的基本方法（一）个案研究法（一）个案研究法（二）专题访谈法（二）专题访谈法（三）问卷调查法（三）

23、问卷调查法（四）经验总结法（四）经验总结法（五）工作分析法（五）工作分析法 二、确定考评要素的基本方法二、确定考评要素的基本方法（一）个案研究法（一）个案研究法 对某一个体、群体或某一组织在较长时间里对某一个体、群体或某一组织在较长时间里连续进行调查研究，期望从典型个案中推导普遍连续进行调查研究，期望从典型个案中推导普遍规律的研究方法称为个案法。规律的研究方法称为个案法。1、典型人物或（事件）研究、典型人物或（事件）研究2、资料研究、资料研究 优点：个案是现实生活中的典型，它真优点：个案是现实生活中的典型，它真实、可信，所以由此产生的要素既有针对实、可信，所以由此产生的要素既有针对性，又有较为

24、全面的整体构思。性，又有较为全面的整体构思。缺点：研究周期长，研究结果具有描述缺点：研究周期长，研究结果具有描述性，容易受研究者的经验、知识、能力等性，容易受研究者的经验、知识、能力等个人因素的影响。个人因素的影响。（二）专题访谈法（二）专题访谈法 研究者通过面对面的谈话，用口头信息沟通的途径直研究者通过面对面的谈话，用口头信息沟通的途径直接获取有关专题信息的研究方法。专题访谈法有个别访谈接获取有关专题信息的研究方法。专题访谈法有个别访谈法和群体访谈法两种。法和群体访谈法两种。专题访谈的交谈内容主要围绕下述三个问题展开：专题访谈的交谈内容主要围绕下述三个问题展开：（1）你认为具备什么条件的人最

25、适合担任）你认为具备什么条件的人最适合担任职务？职务？（2）职务的工作的主要特点是什么？职务的工作的主要特点是什么？（3）职务的工作成效检验的主要指标是什么？职务的工作成效检验的主要指标是什么？优点：专题访谈法简单、易行、研究内容集优点：专题访谈法简单、易行、研究内容集中，便于迅速取得第一手材料等，因而在实践中中，便于迅速取得第一手材料等，因而在实践中广泛运用。广泛运用。缺点：专题访谈法谈话无统一规范，容易使缺点：专题访谈法谈话无统一规范，容易使信息的获取与加工都要受到研究者个人条件的影信息的获取与加工都要受到研究者个人条件的影响。响。（三）问卷调查法（三）问卷调查法 问卷调查法是指运用内容明

26、确、表达正确的问卷调查法是指运用内容明确、表达正确的问卷量表，让被调查者根据个人的知识与经验，问卷量表，让被调查者根据个人的知识与经验，自行选择答案的研究方法。自行选择答案的研究方法。问卷形式按答案的标准化程度可以分为问卷形式按答案的标准化程度可以分为开放开放式问卷式问卷和和封闭式问卷封闭式问卷两种。两种。开放式问卷无标准化答案和回答程序，被调开放式问卷无标准化答案和回答程序，被调查者可以根据自己的真实想法，自由回答。查者可以根据自己的真实想法，自由回答。例如，某油田科技拔尖人才评价量表的调查问例如，某油田科技拔尖人才评价量表的调查问卷中如下两题：卷中如下两题：（1）你认为拔尖人才主要应当具备

27、什么条件？）你认为拔尖人才主要应当具备什么条件？（2）你认为）你认为“草案草案”中提供的中提供的10项能力是否合项能力是否合理？要增加或删减吗？理？要增加或删减吗？开放式问卷可以广泛了解民意，大量收集信息，开放式问卷可以广泛了解民意，大量收集信息，适合于要素选择的初级阶段运用适合于要素选择的初级阶段运用。1、开放式问卷2、封闭式问卷、封闭式问卷 封闭式问卷意味着有标准的答题方式。一般封闭式问卷意味着有标准的答题方式。一般包括是非法、选择法、等级排列法等。包括是非法、选择法、等级排列法等。（1）是非法 例如，教师需要有很强的口头表达能力吗？例如，教师需要有很强的口头表达能力吗？是是 否否（2）选

28、择法 例如：研究人员应当有合作精神例如：研究人员应当有合作精神 研究人员应当有民主作风研究人员应当有民主作风（3）等级排列法。要求被调查者对多种可供选择）等级排列法。要求被调查者对多种可供选择的方案，按其重要程度排列出名次。的方案，按其重要程度排列出名次。例如，现代领导者应该具有事业性、责任性、例如，现代领导者应该具有事业性、责任性、坚韧性、原则性、民主性这六项品德特性，试按坚韧性、原则性、民主性这六项品德特性，试按重要性依次排列这六个特性。重要性依次排列这六个特性。封闭式问卷答案规范，便于统计分析，适合封闭式问卷答案规范，便于统计分析，适合于素质的分析判断及要素体系的总体规划。于素质的分析判

29、断及要素体系的总体规划。（四）经验总结法（四）经验总结法 众多专家通过总结经验，提炼出规律性的研究方法众多专家通过总结经验，提炼出规律性的研究方法称为经验总结法。称为经验总结法。（1）个人总结法个人总结法是请人事专家或组织人事干部回顾自是请人事专家或组织人事干部回顾自己的过去工作，己的过去工作，通过分析最成功或最不成功的人事决策来通过分析最成功或最不成功的人事决策来总结经验总结经验，并在此基础上，并在此基础上提出提出评定人员素质的评定人员素质的要素目录要素目录。（2）集体总结法集体总结法是请若干人事专家或组织人事干部是请若干人事专家或组织人事干部（610人）集体回顾过去的工作，分析人）集体回顾

30、过去的工作，分析杰出人才和一般杰出人才和一般员工的差异员工的差异，列出长期来传统考核人员素质的，列出长期来传统考核人员素质的常用指标常用指标，并在此基础上提出并在此基础上提出评定要素评定要素。（五）工作分析法（五）工作分析法工作分析法的应用程序工作分析法的应用程序（1）根据素质测评目的与需要，确定需要进行）根据素质测评目的与需要，确定需要进行调查的职调查的职位范围位范围，制定，制定调查提纲与计划调查提纲与计划（2）广泛）广泛收集收集有关某一职位任职主要素质条件与绩效指有关某一职位任职主要素质条件与绩效指标的标的素材素材（3）定性筛选，形成内容全面的）定性筛选，形成内容全面的素质调查表素质调查表（4）在更大范围内调查，调查表内容评价与补充，调查）在更大范围内调查，调查表内容评价与补充，调查结果统计分析，形成结果统计分析，形成职位素质标准体系职位素质标准体系（5）试测并修改试测并修改三、测评标准体系建构的步骤三、测评标准体系建构的步骤 人员素质测评指标体系的设计与建构是一个系统工程。人员素质测评指标体系的设计与建构是一个系统工程。主要有以下六个步骤：主要有以下六个步骤：确定测评项目明确测评的客体与目的试测并完善测评指标体系确定测评指标的计量方法确定测评指标权重确定测评指标体系结构案例