第3章教育评价方案设计课件.ppt

1、问题：为什么要设计教育评价方案？问题：为什么要设计教育评价方案？教育评价活动必须预先进行周密的计划与教育评价活动必须预先进行周密的计划与设计，才能确保教育评价活动的方向性、设计，才能确保教育评价活动的方向性、计划性与系统性，才能收集到可靠、有效计划性与系统性，才能收集到可靠、有效的评价资料，从而对教育活动做出正确的的评价资料，从而对教育活动做出正确的价值判断。价值判断。问题：什么是教育评价方案？问题：什么是教育评价方案？根据教育评价的目的、遵循教育活动根据教育评价的目的、遵循教育活动及评价活动的规律、对教育评价的目标、及评价活动的规律、对教育评价的目标、范围、方法、手段、过程以及评价的组织范围

2、、方法、手段、过程以及评价的组织管理工作进行规定与规范的文件。管理工作进行规定与规范的文件。第三章教育评价方案的设计第三章教育评价方案的设计第一节教育评价方案概述第一节教育评价方案概述 第二节教育评价内容的设计第二节教育评价内容的设计第三节权集合及构造第三节权集合及构造 第四节第四节 教育评价的标准与量表教育评价的标准与量表第一节第一节 教育评价方案概述教育评价方案概述一、一、“教育评价方案教育评价方案”的概念（的概念（P48P48）在教育评价活动中，为实现一定评价目的在教育评价活动中，为实现一定评价目的对评价的依据标准、方法途径、实施程序等对评价的依据标准、方法途径、实施程序等所作的设计和安

3、排。所作的设计和安排。是评价工作的先行内容和操作指南。是评价工作的先行内容和操作指南。教学评价方案的制订实例教学评价方案的制订实例一项完整的教育评价方案由哪些基本内一项完整的教育评价方案由哪些基本内容构成？容构成？1、评价目的与指导思想、评价目的与指导思想2、评价内容与评价标准、评价内容与评价标准3、评价方法与工具手段、评价方法与工具手段4、评价实施程序与组织、评价实施程序与组织5、附录部分（评价使用的工具、量表等、附录部分（评价使用的工具、量表等等）等）关于教育评价方案内容构成的具体说明：关于教育评价方案内容构成的具体说明：1、评价目的与指导思想、评价目的与指导思想它们规定了评价的目的、对象

4、、功能、它们规定了评价的目的、对象、功能、原则，为评价活动规定了基本方向与规范。原则，为评价活动规定了基本方向与规范。2、评价内容与评价标准、评价内容与评价标准评价的内容评价的内容规定了评价对象的具体属性，为规定了评价对象的具体属性，为评价信息资料的收集指明了具体方向。评价信息资料的收集指明了具体方向。l例如，要评价学校办学条件是否达到了国家规定的办学标例如，要评价学校办学条件是否达到了国家规定的办学标准（评价目标），就要说明办学条件具体涵盖哪些内容准（评价目标），就要说明办学条件具体涵盖哪些内容（评价内容），诸如资金投入、师资队伍、基本设施等等，（评价内容），诸如资金投入、师资队伍、基本设施

5、等等，这样，评价信息资料的收集就可以有的放矢地进行了。这样，评价信息资料的收集就可以有的放矢地进行了。评价标准评价标准规定了评价内容的程度或水平，为规定了评价内容的程度或水平，为获得评价结果、做出价值判断提供了标准。获得评价结果、做出价值判断提供了标准。评价内容与评价标准融合起来构成了完整的评价评价内容与评价标准融合起来构成了完整的评价目标目标规定了评价对象在特定的评价内容上达到的规定了评价对象在特定的评价内容上达到的程度或水平，为评价活动提供了评价资料收集的依程度或水平，为评价活动提供了评价资料收集的依据与价值判断的标准或尺度。因此，据与价值判断的标准或尺度。因此，评价目标实际评价目标实际上

6、涵盖评价内容与评价标准两个部分上涵盖评价内容与评价标准两个部分。3、评价方法与工具手段、评价方法与工具手段即说明收集评价资料的具体方法、工即说明收集评价资料的具体方法、工具手段，体现了对评价活动的技术要求。具手段，体现了对评价活动的技术要求。例如，文献查阅线索与范围、考试试卷或例如，文献查阅线索与范围、考试试卷或调查问卷的编制、访谈提纲与程序规定等调查问卷的编制、访谈提纲与程序规定等等。等。4、评价的实施程序与组织工作、评价的实施程序与组织工作5、附录部分（评价使用的工具、量表等、附录部分（评价使用的工具、量表等等）等）如何制订一份教育评价方案呢？如何制订一份教育评价方案呢？1、确定评价的目的

7、与用途（功能）、确定评价的目的与用途（功能）评价的目的、用途（功能）决定了评评价的目的、用途（功能）决定了评价的目标、内容与方法；评价用途（评价价的目标、内容与方法；评价用途（评价结果用来做什么）显然是评价指导思想的结果用来做什么）显然是评价指导思想的核心。核心。例如，形成性评价与总结性评价目的例如，形成性评价与总结性评价目的与功能不同，方案就不同。与功能不同，方案就不同。2、设计评价内容与评价标准、设计评价内容与评价标准评价内容评价内容评价内容既可以以评价内容既可以以“评评价指标系统价指标系统”的方式呈现，还可以的方式呈现，还可以“概括概括性问题性问题”的方式呈现，这取决于评价的目的方式呈现

8、，这取决于评价的目的、用途。的、用途。评价标准评价标准呈现方式包括行为式、呈现方式包括行为式、评语式、数量式、量尺式。评语式、数量式、量尺式。3、设计评价资料收集的方法工具、资料、设计评价资料收集的方法工具、资料处理的方法、结果解释的方法。处理的方法、结果解释的方法。4、确定评价实施的具体程序、步骤、组、确定评价实施的具体程序、步骤、组织管理要求。织管理要求。例如大学英语四、六级考试的实施程例如大学英语四、六级考试的实施程序与标准化管理。序与标准化管理。教育评价方案的制订需要遵循哪些质量教育评价方案的制订需要遵循哪些质量要求？要求？1、目的性、目的性评价方案评价方案要具有明确的目的性要具有明确

9、的目的性例如，形成性评价与总结性评价目的不同，必须加以明确。例如，形成性评价与总结性评价目的不同，必须加以明确。2、可行性、可行性评价方案评价方案要具有操作的便利性要具有操作的便利性为此，必须做到评价过程容易实施、评价指标要切合实际、为此，必须做到评价过程容易实施、评价指标要切合实际、评价条件（人、财、物、时间等）与技术要求要切合实际。评价条件（人、财、物、时间等）与技术要求要切合实际。3、规范性、规范性实施过程实施过程要具有统一性、规范性要具有统一性、规范性为此，必须确保按照评价方案的统一规定展开评价活动。为此，必须确保按照评价方案的统一规定展开评价活动。4、有效性、有效性评价结果评价结果的

10、准确性、有效性，即评价的效度要高的准确性、有效性，即评价的效度要高有效性是对评价方案最主要的质量要求。有效性是对评价方案最主要的质量要求。为此，必须确保评价内容与评价目标的一致性、评价方法与为此，必须确保评价内容与评价目标的一致性、评价方法与评价工具的有效性。评价工具的有效性。5、可靠性、可靠性评价结果评价结果的可靠性，即评价的信度要高的可靠性，即评价的信度要高为此，必须确保评价过程的客观性、评价方法与工具的精确为此，必须确保评价过程的客观性、评价方法与工具的精确性。性。二、教育评价方案设计的基本内容二、教育评价方案设计的基本内容明确评价目的，确定评价对象明确评价目的，确定评价对象确定评价标准

11、，选取合理的评价尺度确定评价标准，选取合理的评价尺度确定搜集信息的内容和途径确定搜集信息的内容和途径选用科学合理的方式方法和工具（选用科学合理的方式方法和工具（量表和标准量表和标准）评价数据的整理和解释（各类表格）评价数据的整理和解释（各类表格）三、教育评价方案设计的基本步骤三、教育评价方案设计的基本步骤1 1、确定与表述评价目的、确定与表述评价目的2 2、根据特定的评价目的设计评价准则、根据特定的评价目的设计评价准则3 3、按照各准则之间的内在逻辑形成分级系统，并依据它们的、按照各准则之间的内在逻辑形成分级系统，并依据它们的相对重要性，对各准则赋予相应的权重。相对重要性，对各准则赋予相应的权

12、重。4 4、确定测定的量表和评价标准，为测量和评价提供作为参考、确定测定的量表和评价标准，为测量和评价提供作为参考系统的尺度。系统的尺度。5 5、设计为收集各种信息的表格。表格的设计要本着方便实用、设计为收集各种信息的表格。表格的设计要本着方便实用的原则，力求精炼、简明、统一。的原则，力求精炼、简明、统一。第二节教育评价内容的设计第二节教育评价内容的设计一、教育评价方案设计的基本步骤一、教育评价方案设计的基本步骤二、教育评价准则及其设计的基本方法二、教育评价准则及其设计的基本方法三、评价标准及其设计的方法三、评价标准及其设计的方法四、评价方案的编写四、评价方案的编写为什么要对教育评价内容进行设

13、计？为什么要对教育评价内容进行设计？具体评价内容可以为评价信息资料的收集具体评价内容可以为评价信息资料的收集指明具体方向。指明具体方向。准则（准则（criterion,复数复数criteria）是对评）是对评价活动内容或方面质的规定（即对被评属价活动内容或方面质的规定（即对被评属性的规定）。它是评价方案的核心部分，性的规定）。它是评价方案的核心部分，规定评价活动评什么、不评什么。规定评价活动评什么、不评什么。教育评价内容有两种基本呈现方式：评价教育评价内容有两种基本呈现方式：评价指标、概括性问题。指标、概括性问题。A A1 1教师教学教师教学工作过程工作过程（0.60.6）B B1 1规定工作

14、量（规定工作量（0.100.10）C-1C-1完成规定工作量（完成规定工作量（1.01.0）B B2 2课前准备（课前准备（0.120.12）C-2C-2课时计划、单元计划（课时计划、单元计划（1.01.0）C-3C-3教学内容（教学内容（0.230.23）C-4C-4教学组织（教学组织（0.230.23）C-5C-5教学方法（教学方法（0.280.28）C-6C-6教学素质（教学素质（0.260.26）B-3B-3课堂教学（课堂教学（0.450.45）B-4B-4作业处置（作业处置（0.110.11）C-7C-7作业布置、批阅、讲评（作业布置、批阅、讲评（1.01.0）B-5B-5课外辅导（

15、课外辅导（0.100.10）C-8C-8学科培优（学科培优（0.60.6）C-9C-9学科补差（学科补差（0.40.4）B-6B-6教学教研工作态度（教学教研工作态度（0.120.12）C-10C-10教学工作态度（教学工作态度（0.50.5）C-11C-11教研工作态度（教研工作态度（0.50.5）A A2 2教师教学教师教学工作效果工作效果（0.40.4）B-7B-7学科考试成绩（学科考试成绩（0.520.52）C-12C-12群体提高度（群体提高度（0.60.6）C-13C-13优生率（优生率（0.40.4）B-8B-8学生学科特长（学生学科特长（0.240.24）B-9B-9教学教研成

16、果（教学教研成果（0.240.24）C-14C-14学科竞赛成绩（学科竞赛成绩（0.60.6）C-15C-15学科实践能力（学科实践能力（0.40.4）C-16C-16课堂教学获奖（课堂教学获奖（0.50.5）C-17C-17教研成果（教研成果（0.50.5）某实验中学科任教师教学工作评价指标体系某实验中学科任教师教学工作评价指标体系何谓何谓“评价指标评价指标”？l（1）评价指标的涵义）评价指标的涵义一个评价目标所包一个评价目标所包含的具体内容要素，是直接的、具体的评价内含的具体内容要素，是直接的、具体的评价内容；容；l（2）评价指标的来源）评价指标的来源对评价目标所包含对评价目标所包含的内容

17、要素进行分析、分解的结果，从而把抽的内容要素进行分析、分解的结果，从而把抽象性的评价目标变成了可操作、可测量的具体象性的评价目标变成了可操作、可测量的具体内容（即把评价目标具体化）。内容（即把评价目标具体化）。l（3）评价指标的特点）评价指标的特点具体化、行为化、具体化、行为化、可测量，正是通过把评价目标的内容指标化，可测量，正是通过把评价目标的内容指标化，评价信息资料的收集才变得方便可行。评价信息资料的收集才变得方便可行。何谓何谓“评价指标系统评价指标系统”？（1）评价指标系统）评价指标系统评价指标系统由评价指标系统由一系列评价指标构成。它是把评价目标包一系列评价指标构成。它是把评价目标包含

18、的含的内容项目内容项目进行进行“逐级逐级”分解、细化，分解、细化，从而得到的一系列具有从而得到的一系列具有“层级顺序层级顺序”和和“相互联系相互联系”的的“指标群指标群”。（2）评价指标系统的内在结构关系：层）评价指标系统的内在结构关系：层级关系与内容关系：级关系与内容关系：层级关系层级关系:即评价指标之间的层次高低关系即评价指标之间的层次高低关系根据评价指标内容的具体程度，可以把指标分为根据评价指标内容的具体程度，可以把指标分为不同的层次，以不同的层次，以“中小学教育工作评价指标系统中小学教育工作评价指标系统”为例说明如下：为例说明如下：一级指标：一级指标：教学素质教学素质、教学管理、教学活

19、动、教、教学管理、教学活动、教学质量、设施；学质量、设施；二级指标：二级指标：教师素质教师素质：政治思想素质、职业道德：政治思想素质、职业道德素质、素质、专业素质专业素质；三级指标：三级指标：专业素质专业素质：专业知识、课程教学知识、：专业知识、课程教学知识、科研能力等。科研能力等。内容关系内容关系：即评价指标之间的性质类别关系：即评价指标之间的性质类别关系根据评价指标内容的性质，可把指标分为根据评价指标内容的性质，可把指标分为如下基本类别：如下基本类别：“条件指标条件指标”、“过程指标过程指标”、“成果指成果指标标”。上例中教师素质、教学设施就属于上例中教师素质、教学设施就属于“条件条件指标

20、指标”。（一）指标体系及其设计方法（一）指标体系及其设计方法l1 1、指标体系的概念、指标体系的概念把表征各目标的所有把表征各目标的所有指标指标及及及其相应的及其相应的权重权重和和标准标准有机地组有机地组合在一起，组成的有一定结构和功能的系统。合在一起，组成的有一定结构和功能的系统。指标：指标：是根据评价的目标，由评价指标的设计者分解出来的，是根据评价的目标，由评价指标的设计者分解出来的，能够反映评价对象某些方面本质特征的具体化、行为化的主能够反映评价对象某些方面本质特征的具体化、行为化的主要要素，它是对评价对象进行价值判断的依据。要要素，它是对评价对象进行价值判断的依据。权重：权重：根据组成

21、事物的要素在整体中的地位和作用不同，而根据组成事物的要素在整体中的地位和作用不同，而赋予的一定数值。赋予的一定数值。标准：标准：是衡量评价对象达到评价指标要求的尺度。是衡量评价对象达到评价指标要求的尺度。必达目标必达目标期望目标期望目标稳定性指标稳定性指标变动性指标变动性指标从达标水平分从达标水平分从内涵性质分从内涵性质分从精确度分从精确度分硬指标硬指标软指标软指标指标指标硬指标：硬指标：是指达标要求是固定的精确的指标，它强调评价时看是指达标要求是固定的精确的指标，它强调评价时看“硬件硬件”，包括实物、证件、统计数据、静态资料等。如，包括实物、证件、统计数据、静态资料等。如“教学教学设备设备”

22、、“场地场地”、“获奖情况获奖情况”、“教师学历教师学历”、“学生考试学生考试成绩成绩”、“教师队伍年龄结构教师队伍年龄结构”等。等。软指标：软指标：是指达标要求伸缩性较大、不精确的指标。它强调评价是指达标要求伸缩性较大、不精确的指标。它强调评价时看时看“软件软件”，常采用定性分析评价，包括对事物的性质特点、，常采用定性分析评价，包括对事物的性质特点、变化过程、因果关系的分析评价，如变化过程、因果关系的分析评价，如“办学特色办学特色”、“教学水教学水平平”、“教学思想教学思想”、“教改状态教改状态”等均属软指标。等均属软指标。指标指标指标的长处：指标的长处：l便于测量；便于测量；l便于定量处理

23、，易于获得综合结论；便于定量处理，易于获得综合结论；l测量过程误差较小，信度较高；测量过程误差较小，信度较高；指导的弱点：指导的弱点：l设计较难设计较难l较少灵活性，不易反映被评对象的特点和社会多样化较少灵活性，不易反映被评对象的特点和社会多样化的需要的需要l效度相对较低效度相对较低如何设计如何设计“评价指标系统评价指标系统”？基本思路基本思路将评价目标内容层层分解、将评价目标内容层层分解、越来越具体，待指标可以进行测量而无需越来越具体，待指标可以进行测量而无需再分解时，指标系统即建成。再分解时，指标系统即建成。第一步，用内涵分析的方法揭示评价目标第一步，用内涵分析的方法揭示评价目标内容的关键

24、要素，然后对这些关键要素做内容的关键要素，然后对这些关键要素做出进一步操作性界定，直至具有可操作性出进一步操作性界定，直至具有可操作性为止，从而获得初拟目标。为止，从而获得初拟目标。第二步，对初拟目标进行归类与筛选第二步，对初拟目标进行归类与筛选筛选原则：同系统、同层次、内涵相同的筛选原则：同系统、同层次、内涵相同的指标合并；从相互矛盾的指标中选择合理指标合并；从相互矛盾的指标中选择合理指标；操作性差的目标寻找替代目标。指标；操作性差的目标寻找替代目标。筛选方法：专家经验法、调查统计法、相筛选方法：专家经验法、调查统计法、相关分析法关分析法第三步，请专家进行论证，回避相同专家第三步，请专家进行

25、论证，回避相同专家指标系统的结构和相互关系（P54）按指标系统的形式分按指标系统的内容分指标体系的结构A A、直线式结构、直线式结构 二级指标二级指标1.11.1一级指标一级指标1 1 二级指标二级指标1.21.2 二级指标二级指标2.12.1一级指标一级指标2 2 二级指标二级指标2.22.2 二级指标二级指标3.13.1一级指标一级指标3 3 二级指标二级指标3.23.2B B、树状式结构、树状式结构一级指标一级指标一级指标一级指标一级指标一级指标总目标总目标二级指标二级指标例：学生主体性的基本结构例：学生主体性的基本结构主体性主体性自主性自主性主动性主动性创造性创造性自自尊尊自自信信自自

26、我我调调控控独独立立判判断断决决断断自自觉觉自自理理成成就就动动机机竞竞争争意意识识兴兴趣趣和和求求知知欲欲主主动动参参与与社社会会适适应应性性创创新新意意识识创创造造性性思思维维能能力力动动手手实实践践能能力力教育评价指标体系建立的步骤教育评价指标体系建立的步骤l（1 1）确定教育评价的对象和目标）确定教育评价的对象和目标l（2 2）分解目标，提出初拟指标）分解目标，提出初拟指标l（3 3）筛选指标与分配权重）筛选指标与分配权重l（4 4）理论论证）理论论证l（5 5）专家评判）专家评判l（6 6）预试修订）预试修订设计设计“指标系统指标系统”应坚持哪些原则？应坚持哪些原则？“导向性原则导向

27、性原则”：注重指标内容与长远目标和近期目：注重指标内容与长远目标和近期目标的统一；标的统一；“整体性原则整体性原则”：指标的完备性与全面性，避免遗：指标的完备性与全面性，避免遗漏重要指标。漏重要指标。“科学性原则科学性原则”：与目标的一致性、同一系统指标：与目标的一致性、同一系统指标的相容性与代表性（避免重复）、注重指标的可比的相容性与代表性（避免重复）、注重指标的可比性性“可测性原则可测性原则”：可以进行测量与操作：可以进行测量与操作“可行性原则可行性原则”：信息易得，简便易行：信息易得，简便易行（一）指标体系及其设计方法（一）指标体系及其设计方法指标设计的基本方法指标设计的基本方法第一，从

28、内涵分析入手，抓住事物的本质属性，然后把第一，从内涵分析入手，抓住事物的本质属性，然后把这一属性的现象性外观表现确定为指标。这是一种最简这一属性的现象性外观表现确定为指标。这是一种最简捷、最有效的方法。捷、最有效的方法。第二，从分析事物间的相互联系开始，抓住事物变化后第二，从分析事物间的相互联系开始，抓住事物变化后产生的效应，把事物变化所产生的效应确定为指标。产生的效应，把事物变化所产生的效应确定为指标。“挂牌教学挂牌教学”第三，抓住事物的全部属性或相关属性，把因素群作为第三，抓住事物的全部属性或相关属性，把因素群作为相关指标。相关指标。“教学质量教学质量”初拟评价指标的方法初拟评价指标的方法

29、 头脑风暴法头脑风暴法l又称集体思考法或智力激励法，又称集体思考法或智力激励法，是利用头脑积极思维，进行智力碰是利用头脑积极思维，进行智力碰撞，激发智慧的灵感，从而提出评价指标的一种常用方法。撞，激发智慧的灵感，从而提出评价指标的一种常用方法。因素分解法因素分解法l是一种将评价指标按照评价对象本身的逻辑结构逐级进行分解，是一种将评价指标按照评价对象本身的逻辑结构逐级进行分解，把分解出来的主要因素作为评价指标的方法。把分解出来的主要因素作为评价指标的方法。理论推演法理论推演法l即即根据有关学科的理论推演出评价指标的方法。根据有关学科的理论推演出评价指标的方法。个案研究法个案研究法l通过对少数典型

30、事例进行研究而设计评价指标的方法。通过对少数典型事例进行研究而设计评价指标的方法。头脑风暴法头脑风暴法又称集体思考法或智力激励法，是指采用会议的形式，如集专家开座谈又称集体思考法或智力激励法，是指采用会议的形式，如集专家开座谈会征询他们的意见，把专家对过去历史资料的解释以及对未来的分析，会征询他们的意见，把专家对过去历史资料的解释以及对未来的分析，有条理地组织起来，最终由策划者做出统一的结论，在这个基础上，找有条理地组织起来，最终由策划者做出统一的结论，在这个基础上，找出各种问题的症结所在，提出针对具体项目的策划创意。出各种问题的症结所在，提出针对具体项目的策划创意。它于它于19391939年

31、由年由奥斯本首先提出的，并在奥斯本首先提出的，并在19531953年将此方法丰富和理论化。年将此方法丰富和理论化。优点优点：获取广泛的信息、创意，互相启发，集思广议，在大脑中掀起思：获取广泛的信息、创意，互相启发，集思广议，在大脑中掀起思考的风暴，从而启发策划人的思维，想出优秀的策划方案来。考的风暴，从而启发策划人的思维，想出优秀的策划方案来。缺点：缺点：1.1.邀请的专家人数（一般邀请的专家人数（一般5 5一一1212人比较合适）受到一定的限制，人比较合适）受到一定的限制，挑选不恰当，容易导致策划的失败。挑选不恰当，容易导致策划的失败。2.2.由于专家的地位及名誉的影响，由于专家的地位及名誉

32、的影响，有些专家不敢或不愿当众说出与己相异的观点。有些专家不敢或不愿当众说出与己相异的观点。因素分解法因素分解法因素分解法因素分解法是一种将评价指标按照评价对象本身的逻是一种将评价指标按照评价对象本身的逻辑结构逐级进行分解，把分解出来的主要因素作为评辑结构逐级进行分解，把分解出来的主要因素作为评价指标的方法。价指标的方法。运用因素分解法，应当注意几个问题：运用因素分解法，应当注意几个问题：(1)(1)必须使用统一的分解原则。必须使用统一的分解原则。(2)(2)分解出来的指标上下层次之间必须相应和相等。分解出来的指标上下层次之间必须相应和相等。(3)(3)因素分解必须遵循由高到低的层次逐层分解。

33、因素分解必须遵循由高到低的层次逐层分解。理论推演法理论推演法理论推演法理论推演法是根据有关学科的理论推演出评价指标的方是根据有关学科的理论推演出评价指标的方法。法。例如：例如：根据心理学理论，智力是一般的认识能力，包括观察力、根据心理学理论，智力是一般的认识能力，包括观察力、注意力、记忆力、思维力、想象力；能力是运用智力解注意力、记忆力、思维力、想象力；能力是运用智力解决问题的实际本领，包括运用知识的能力、独立获取知决问题的实际本领，包括运用知识的能力、独立获取知识的能力、创造能力、表达能力、交往能力等。识的能力、创造能力、表达能力、交往能力等。据此，我们便可以推演出评价中小学生智力、能力的指

34、据此，我们便可以推演出评价中小学生智力、能力的指标。标。个案研究法（典型研究法）个案研究法（典型研究法）即通过对少数典型事例进行研究而设计评价指标的方法。即通过对少数典型事例进行研究而设计评价指标的方法。它可以下三种类型：它可以下三种类型：正向研究是通过对成功的典型事例研究，提出评价指标；正向研究是通过对成功的典型事例研究，提出评价指标；负向研究是通过研究失败的典型，提出评价指标；负向研究是通过研究失败的典型，提出评价指标；正负向结合研究是通过成功的典型事例与失败的事例进行正负向结合研究是通过成功的典型事例与失败的事例进行比较，提出评价指标。比较，提出评价指标。运用典型事例研究提出评价指标有两

35、点必须注意：运用典型事例研究提出评价指标有两点必须注意：(1)(1)选择的事例必须具有典型性和代表性选择的事例必须具有典型性和代表性,两者缺一不可。两者缺一不可。(2)(2)要与理论类推法相结合。要与理论类推法相结合。指标系统设计中应注意的几个问题指标系统设计中应注意的几个问题1.具体与抽象的关系就提高指标的客观性和可靠性而言，具体的指标是有利的。从抽象转化为具体有多个层次，指标越具体，它经过的具体化环节越多，受到的干扰也可能越大，效度就可能越低。例：“集体主义精神”指标系统设计中应注意的几个问题指标系统设计中应注意的几个问题2.独立与相关的关系一般情况下，指标系统内的各条指标最好是相互独立的

36、。即在同一层次的各条指标不相互重叠，不存在因果关系。如果指标不独立，有冗余指标，重复的指标被重复评分，实际加大了它的权重，影响到整个评价的科学性。指标系统设计中应注意的几个问题指标系统设计中应注意的几个问题3.定性与定量的关系定量有助于提高评价精确性；有助于提高评价的客观性；有助于做出明确的等级区分。但在教育活动中有些因素很难量化，是极端复杂的，因此在评价中片面强调定量是不适合的。对改进教育来说，定性的作用往往更大，更有意义。（教师讲课存在的问题）教育评价内容的呈现方式之二：概括性教育评价内容的呈现方式之二：概括性问题问题即用较为抽象的、整体的概述方式呈即用较为抽象的、整体的概述方式呈现评价内

37、容，类似平时的调查内容提纲。现评价内容，类似平时的调查内容提纲。为提高信息收集的针对性，可附加具为提高信息收集的针对性，可附加具体内容与范围说明。体内容与范围说明。（一）概括性问题及其设计方法（一）概括性问题及其设计方法1 1、概括性问题（、概括性问题（issuesissues）是针对）是针对指标的缺点指标的缺点而提出的评而提出的评价准则，并针对教育工作者所关心的方面，用一系列较为价准则，并针对教育工作者所关心的方面，用一系列较为抽象的问题作为评价准则。这种问题类似于日常的调查提抽象的问题作为评价准则。这种问题类似于日常的调查提纲。纲。学校办学水平评价中，涉及评价学校确定的培养目标是否学校办学

38、水平评价中，涉及评价学校确定的培养目标是否妥当时，人们可以提出以下几个问题：妥当时，人们可以提出以下几个问题：本校培养何种人才（种类、规格）本校培养何种人才（种类、规格）社会对本校培养的毕业生有何具体要求？社会对本校培养的毕业生有何具体要求？学校在满足社会需要方面采取了何种措施？学校在满足社会需要方面采取了何种措施？（一）概括性问题及其设计方法（一）概括性问题及其设计方法2 2、概括性问题的特点：、概括性问题的特点：概括性问题不针对具体的行为，比较抽象，强调整体认知。概括性问题不针对具体的行为，比较抽象，强调整体认知。长处：长处：l效度高；效度高；l在形成性评价中，实用性强；在形成性评价中，实

39、用性强；l易于制定易于制定缺点：缺点：l一般误差较大，信度较低一般误差较大，信度较低l不易于定量处理，因而也不易于获得综合性的结论不易于定量处理，因而也不易于获得综合性的结论（一）概括性问题及其设计方法（一）概括性问题及其设计方法3 3、概括性问题的设计原则、概括性问题的设计原则l针对实际的原则针对实际的原则l明确简练的原则明确简练的原则l突出重点的原则突出重点的原则（二）概括性问题与指标的关系（二）概括性问题与指标的关系概括性问题与指标是两种不同形式的准则，但这概括性问题与指标是两种不同形式的准则，但这两种不同形式的准则是有一定联系的。两种不同形式的准则是有一定联系的。一般地，可以把指标看做

40、是概括性问题的分解和一般地，可以把指标看做是概括性问题的分解和具体化、行为化；概括性问题则是指标体系的概具体化、行为化；概括性问题则是指标体系的概括和抽象。括和抽象。第三节第三节 权集合及其构造权集合及其构造问题一、为什么还要确定教育评价指标的问题一、为什么还要确定教育评价指标的权重？权重？问题二、确定教育评价指标的权重应当遵问题二、确定教育评价指标的权重应当遵循哪些基本原则？循哪些基本原则？问题三、确定教育评价指标的权重（权集）问题三、确定教育评价指标的权重（权集）通常有哪些具体方法？通常有哪些具体方法？问题一、为什么还要确定教育评价指标问题一、为什么还要确定教育评价指标的权重？的权重？因为

41、不同评价指标在整个评价指标体系中的价值因为不同评价指标在整个评价指标体系中的价值地位不同，通过权重可以描述不同评价指标的相地位不同，通过权重可以描述不同评价指标的相对重要程度。对重要程度。用以描述不同评价指标在整个评价指标体系中的用以描述不同评价指标在整个评价指标体系中的相对重要程度或比重大小的数字，称为权重系相对重要程度或比重大小的数字，称为权重系数数简称简称“权重权重”。评价指标体系中不同评价指标的权重系数所构成评价指标体系中不同评价指标的权重系数所构成的集合，称为的集合，称为“权集合权集合”简称简称“权集权集”，反，反映了不同评价指标间的相互关系。映了不同评价指标间的相互关系。问题二、确

42、定教育评价指标的权重应当问题二、确定教育评价指标的权重应当遵循哪些基本原则？遵循哪些基本原则？1、导向性原则：根据评价目标要求与实、导向性原则：根据评价目标要求与实际需要确定权重。际需要确定权重。2、客观性原则：避免主观专断，失之偏、客观性原则：避免主观专断，失之偏颇。颇。3、可测性原则：考虑评价指标可测程度。、可测性原则：考虑评价指标可测程度。为确保评价结果精确性，适当降低可测性为确保评价结果精确性，适当降低可测性差的指标权重；但重要指标需做补充评价。差的指标权重；但重要指标需做补充评价。问题三、确定教育评价指标的权重（权问题三、确定教育评价指标的权重（权集）通常有哪些具体方法？集）通常有哪

43、些具体方法？2020世纪世纪5050年代以来，研究工作者开发出许年代以来，研究工作者开发出许多筛选指标和分配权重的好方法。现介绍多筛选指标和分配权重的好方法。现介绍几种最常用的方法（几种最常用的方法（P59P59）：）：l特尔斐法特尔斐法l关键特征调查法关键特征调查法l层次分析法层次分析法7、筛选指标和分配权重的常用方法、筛选指标和分配权重的常用方法2020世纪世纪5050年代以来，研究工作者开发出许多筛选年代以来，研究工作者开发出许多筛选指标和分配权重的好方法。现介绍几种最常用的指标和分配权重的好方法。现介绍几种最常用的方法（方法（P39P39）：）：l特尔斐法特尔斐法l关键特征调查法关键特

44、征调查法l层次分析法层次分析法特尔斐法特尔斐法此法是此法是20C5020C50年代美国兰德公司赫尔默开发年代美国兰德公司赫尔默开发的一种专家咨询法，即采用的一种专家咨询法，即采用“背靠背背靠背”的匿的匿名问卷调查的方式，征求专家的意见，通过名问卷调查的方式，征求专家的意见，通过多轮调查与信息反馈，专家意见逐步趋向收多轮调查与信息反馈，专家意见逐步趋向收敛，最后可获得一致的意见。敛，最后可获得一致的意见。特尔斐法：特尔斐法：优点：优点：采用向局外专家咨询的形式，从而减少了内部人员因有切身利采用向局外专家咨询的形式，从而减少了内部人员因有切身利害关系可能带来的偏差；害关系可能带来的偏差；“背对背背

45、对背”的通讯咨询方式，可以免除权威人士的威望影响和的通讯咨询方式，可以免除权威人士的威望影响和其他干扰；其他干扰；专家咨询的面更广、权威性也趋向于更高；专家咨询的面更广、权威性也趋向于更高；有控制地多次反馈，对问题的探讨较为深入，使意见逐步趋向有控制地多次反馈，对问题的探讨较为深入，使意见逐步趋向一致；一致；咨询的结论便于定量处理。咨询的结论便于定量处理。关键特征调查法关键特征调查法它是先请调查者从所提供的备择指标中找它是先请调查者从所提供的备择指标中找出最关键、最具特征的指标，再对指标进出最关键、最具特征的指标，再对指标进行筛选，最后确定指标的权重。行筛选，最后确定指标的权重。下面以对新时期

46、高校干部政治素质评价指下面以对新时期高校干部政治素质评价指标进行筛选为例，说明其操作步聚：标进行筛选为例，说明其操作步聚：调查者根据经验或理论分析为高校干部的政治素质提调查者根据经验或理论分析为高校干部的政治素质提出了出了1010个备择指标见下表：个备择指标见下表：高校干部政治素质备择指标调查结果高校干部政治素质备择指标调查结果备择备择指标指标荐贤荐贤与知与知人善人善任任事事业业心心原原则则性性求实求实精神精神进进取取心心廉廉洁洁性性民民主主性性服服务务性性政策政策水平水平无无派派性性选择选择人数人数22822851751726526538938912112186861171178989329

47、3291818选择选择百分百分数数40.840.892.592.547.447.469.669.621.621.615.415.420.920.915.915.958.958.93.23.2重要重要性次性次序序5 51 14 42 26 69 97 78 83 310102 2、关键特征调查法、关键特征调查法（1 1）提出备择指标，并进行调查。）提出备择指标，并进行调查。（2 2）计算人数和百分比，并将其从高到低排出次序。）计算人数和百分比，并将其从高到低排出次序。（3 3）按一定的规则选取指标。）按一定的规则选取指标。（4 4）各指标权重系数的计算）各指标权重系数的计算若以选择各指标的人数百

48、分比（用若以选择各指标的人数百分比（用T T表示）为尺度，表示）为尺度，将将7575T100T100作为第一重要指标，作为第一重要指标，5050T75T75为第二为第二重要指标，重要指标，2525T50T50为第三重要指标，为第三重要指标，T25T25予以予以忽略。那么高校干部政治素质应由下表的忽略。那么高校干部政治素质应由下表的5 5个指标组个指标组成。成。高校干部政治素质各指标权重高校干部政治素质各指标权重T T指标名称指标名称重要性等级重要性等级权重系数权重系数92.592.5事业心事业心一一69.669.6求实精神求实精神二二58.958.9政策水平政策水平二二47.447.4原则性原

49、则性三三40.840.8荐贤与知人善任荐贤与知人善任三三（4 4）各指标权重系数的计算）各指标权重系数的计算；n；tiw tt w iin1iiii表示筛选后指标的个数百分比表示选择该指标人数的个指标的权重系数表示筛选后第；（4 4）各指标权重系数的计算）各指标权重系数的计算 0.3 0.299 8.404.479.586.695.9292.5 w1T T指标名称指标名称重要性等级重要性等级权重系数权重系数92.592.5事业心事业心一一0.300.3069.669.6求实精神求实精神二二0.220.2258.958.9政策水平政策水平二二0.200.2047.447.4原则性原则性三三0.1

50、50.1540.840.8荐贤与知人善任荐贤与知人善任三三0.130.13层次分析法（两两比较法）层次分析法（两两比较法）这是美国学者萨蒂首先引进教育评价领域的。这是美国学者萨蒂首先引进教育评价领域的。基本方法是要求有关人员对同一层次的评价指标进基本方法是要求有关人员对同一层次的评价指标进行行两两比较两两比较，并加以评分，区分出各项指标影响目，并加以评分，区分出各项指标影响目标实现的相对重要程度，重要者记为标实现的相对重要程度，重要者记为1 1分，次重要者分，次重要者记记0 0分；然而分别计算各指标得分之和，再除以所有分；然而分别计算各指标得分之和，再除以所有指标得分之总和，构成数值化的判断矩