政策评价政策是否发生作用课件.ppt

1、令人不安的话题令人不安的话题政策评价相关概念界定政策评价相关概念界定 教育政策评价简史教育政策评价简史 政策评价的基本特征政策评价的基本特征 促进有意义的政策评价促进有意义的政策评价 充分运用评价报告充分运用评价报告 l政策评价也是一项极为困难的工作，一政策评价也是一项极为困难的工作，一个主要原因是，政策评价具有政治意蕴，个主要原因是，政策评价具有政治意蕴，因为政策评价总是威胁到某些人士。因为政策评价总是威胁到某些人士。l专业人员使用的术语是：（专业人员使用的术语是：（1）评价；）评价；（2）项目（）项目（project）;(3)项目系统项目系统（program）；（）；（4）关系人关系人 评

2、价评价评价是指对评价是指对“某一客体的价值和优点进行某一客体的价值和优点进行系系统的考查。统的考查。”l政策一开始常常通过项目付诸实施，后政策一开始常常通过项目付诸实施，后者是者是“一段特定时间内开展的教育活一段特定时间内开展的教育活动动”。l一旦诸多项目具备组织系统和制度特征，一旦诸多项目具备组织系统和制度特征，就形成项目系统（就形成项目系统（program），），在项目系在项目系统之下，统之下，“人们持续地长期开展项目列人们持续地长期开展项目列明的教育活动明的教育活动”。所有评价都有一些关系人：即所有评价都有一些关系人：即“参与项目参与项目系系统评价或受其影响的个体或团体统评价或受其影响的

3、个体或团体”。在学校制度中，主要关系人一般是指教师、在学校制度中，主要关系人一般是指教师、教育管理者、教育职员、学生、家长、教教育管理者、教育职员、学生、家长、教师工会和其他工会、学校委员会成员，以师工会和其他工会、学校委员会成员，以及其他利益攸关的组织。及其他利益攸关的组织。早期教育政策评价早期教育政策评价在美国，评价可以追溯到南北战争以前的在美国，评价可以追溯到南北战争以前的波斯顿，那时，贺拉斯波斯顿，那时，贺拉斯.曼（曼（Horace Mann，美国历史上著名的教育家）和教育委员会美国历史上著名的教育家）和教育委员会收集考试数据，用以比较学校之间的优劣。收集考试数据，用以比较学校之间的优

4、劣。19世纪世纪80年代晚期，约瑟夫年代晚期，约瑟夫.尼尔斯（尼尔斯（Joseph Rice）使用了许多学区的考试成绩，使用了许多学区的考试成绩，评价拼读教学，组织了美国历史上第一次评价拼读教学，组织了美国历史上第一次大规模的教育评价。大规模的教育评价。大约在大约在1973年，评价开始走向成熟，在教育研究年，评价开始走向成熟，在教育研究中成为一个独特的专业领域。其诞生的一个重要中成为一个独特的专业领域。其诞生的一个重要标志是一些专业刊物问世，包括教育评价与政标志是一些专业刊物问世，包括教育评价与政策分析（策分析（Educational Evaluation and Policy Analysi

5、s）评价动态（评价动态（Evaluation Review）。）。另一个重要标志是一些教育评价研究书籍出版，另一个重要标志是一些教育评价研究书籍出版，包括教育评价教科书。许多大学开设教育评价课包括教育评价教科书。许多大学开设教育评价课程，一些大学甚至在研究生教育阶段开辟教育评程，一些大学甚至在研究生教育阶段开辟教育评价研究方向。此外，联邦政府和几所名牌大学联价研究方向。此外，联邦政府和几所名牌大学联合建立了专事政策评价研究和发展的中心。合建立了专事政策评价研究和发展的中心。评价过程评价过程确定政策目标确定政策目标选择评价指标选择评价指标选择或设计收集数据的工具选择或设计收集数据的工具收集数据收

6、集数据分析和总结数据分析和总结数据撰写评价报告撰写评价报告依据评价建议作出反应依据评价建议作出反应 l最新版本是最新版本是1994年出版的项目评估标年出版的项目评估标准（准（Program Evaluation Standards）。）。其中将其中将30种标准分为了四大类：种标准分为了四大类：l（1）实用程度（）实用程度（usefulness）；）；l（2）可行程度可行程度(feasibility)；l（3）合适程度合适程度(propriety)；l（4）准确程度准确程度(accuracy)。评价报告应当实用。报告的言语表述应当清晰，政评价报告应当实用。报告的言语表述应当清晰，政策目标对象能够

7、理解，避免使用技术术语和难以理策目标对象能够理解，避免使用技术术语和难以理解的统计数据。如果必要，应当采用不同文本的评解的统计数据。如果必要，应当采用不同文本的评价报告，运用不同的政策目标对象的语言。送给家价报告，运用不同的政策目标对象的语言。送给家长看的政策评价报告简单空间长看的政策评价报告简单空间,递交管理者的政策评递交管理者的政策评价报告可以使用更多的技术术语和图形。无论评价价报告可以使用更多的技术术语和图形。无论评价报告供什么人阅读，所有报告内容都必须充分，全报告供什么人阅读，所有报告内容都必须充分，全面说明接受评价的政策的信息，主要评价结果都应面说明接受评价的政策的信息，主要评价结果

8、都应该与实际的情形之间存在清晰的联系。最后，政策该与实际的情形之间存在清晰的联系。最后，政策评价报告的篇幅不应该过长，在开首部分，应该包评价报告的篇幅不应该过长，在开首部分，应该包括一个概括的实施过程和意义说明。括一个概括的实施过程和意义说明。l评价必须是可以操作的，而不是给学区或学校带来评价必须是可以操作的，而不是给学区或学校带来不合理的压力。不合理的压力。l可行程度的一个重要方面是基于实际，通过实践可可行程度的一个重要方面是基于实际，通过实践可以完成。评价的设计便于在规定的时间范围内完成，以完成。评价的设计便于在规定的时间范围内完成，同时避免对相关的教育者履行专业职责造成不适当同时避免对相

9、关的教育者履行专业职责造成不适当的干扰。如果一项政策评价要求学生停学一周或两的干扰。如果一项政策评价要求学生停学一周或两周，以便进行访谈，或者实施测验，这样的政策评周，以便进行访谈，或者实施测验，这样的政策评价项目就是不可行的或不切实际的。价项目就是不可行的或不切实际的。l可行程度的另一重要方面是没有引发政治冲突。可行程度的另一重要方面是没有引发政治冲突。l最后，可行的评价是经济上负责任的评价，其预算最后，可行的评价是经济上负责任的评价，其预算准确，足以完成评价，相对于评价发生的环境而言，准确，足以完成评价，相对于评价发生的环境而言，成本适度。成本适度。l合适程度主要关注法律问题和道德问题。良

10、好的政策评合适程度主要关注法律问题和道德问题。良好的政策评价必须与公认的研究规范一致。价必须与公认的研究规范一致。l第一，在政策评价中，没有选择与政策情境存在利益冲第一，在政策评价中，没有选择与政策情境存在利益冲突的人士担任评价者。无论谁来担任评价者，都必须避突的人士担任评价者。无论谁来担任评价者，都必须避免自己的个人、专业、经济利益与评价结果发生关系，免自己的个人、专业、经济利益与评价结果发生关系，倘若有希望实施评价的亲朋好友，那么也应该回避。倘若有希望实施评价的亲朋好友，那么也应该回避。l第二，评价者与委托实施评价的组织应该签定合同，说第二，评价者与委托实施评价的组织应该签定合同，说明研究

11、（政策评价）目的、评价什么和何时完成。明研究（政策评价）目的、评价什么和何时完成。l评价者应当有礼貌地对待全体参与者，征求各种意见，评价者应当有礼貌地对待全体参与者，征求各种意见，而不应听任参与者受到其在组织中地位，以及受到性别、而不应听任参与者受到其在组织中地位，以及受到性别、年龄的限制，从而对政策评价一无所知。年龄的限制，从而对政策评价一无所知。l最后，最终的政策评价报告应该是全面公开的，最后，最终的政策评价报告应该是全面公开的，即便评价者在实施评价的过程中发现经济作弊或即便评价者在实施评价的过程中发现经济作弊或其他问题行为。其他问题行为。评价者必须研究政策实施环境，熟悉其文化和社评价者必

12、须研究政策实施环境，熟悉其文化和社会经济特点，只有在这样的基础上才能形成准确会经济特点，只有在这样的基础上才能形成准确的评价报告。在评价报告中，评价者应该提供足的评价报告。在评价报告中，评价者应该提供足够详细的信息，说明数据来源，这样，报告的读够详细的信息，说明数据来源，这样，报告的读者才能确定数据的价值以及基于其上的报告结论者才能确定数据的价值以及基于其上的报告结论的价值。的价值。评价者应该系统和广泛地在一定范围内收集数据，评价者应该系统和广泛地在一定范围内收集数据，而不是任意偶然地获取和利用信息；在报告中，而不是任意偶然地获取和利用信息；在报告中，应该准确地解释结论是如何形成的，详细地说明

13、应该准确地解释结论是如何形成的，详细地说明赖以形成报告结论的那些数据。赖以形成报告结论的那些数据。总结性评价总结性评价(summative evaluation)summative evaluation)这一类评价指向已经实施一段时间的政策的质这一类评价指向已经实施一段时间的政策的质量，尤其是在其实施历程中处于一种关键阶段。量，尤其是在其实施历程中处于一种关键阶段。形成性评价的目的是在一项政策的实施过程中，形成性评价的目的是在一项政策的实施过程中，帮助政策实施者对政策进行必要的修正，从而帮助政策实施者对政策进行必要的修正，从而对政策进行改进，因而，形成性评价是持续的对政策进行改进，因而，形成性

14、评价是持续的经常发生的过程。经常发生的过程。l常见的情形是，一项表面上看来是真诚的评价，实际上却被称常见的情形是，一项表面上看来是真诚的评价，实际上却被称为虚拟评价（为虚拟评价（StufflebeamStufflebeam&Webster,1983&Webster,1983）。）。虚拟评价的目虚拟评价的目的分为两类。的分为两类。l第一类是第一类是“政治控制评价政治控制评价”。这样的评价是基于政治因素而这样的评价是基于政治因素而启动的，其目的通常直接或间接地传达给评价者，而评价者必启动的，其目的通常直接或间接地传达给评价者，而评价者必须确认自己的道德底线是否允许继续进行这一类的政策评价。须确认自

15、己的道德底线是否允许继续进行这一类的政策评价。在这样的虚拟评价中，数据的收集，以及最终政策评价报告的在这样的虚拟评价中，数据的收集，以及最终政策评价报告的发布，都会受到严格控制，目的是制造某些人士期望的政策印发布，都会受到严格控制，目的是制造某些人士期望的政策印象。这种预先期望的政策印象既可能是否定性的，也可能是肯象。这种预先期望的政策印象既可能是否定性的，也可能是肯定性的，但绝不会真实反映政策实施成功与否，而是提供政策定性的，但绝不会真实反映政策实施成功与否，而是提供政策评价委托者所需要的政治理由。评价委托者所需要的政治理由。l第二种虚拟性评价是公共关系评价，其目的是第二种虚拟性评价是公共关

16、系评价，其目的是“打造学校、学打造学校、学区、项目或政策过程的肯定性的良好的公共形象区、项目或政策过程的肯定性的良好的公共形象”。综合评价是介入量化评价和质化评价之间的一种选择，是综合吸取两种综合评价是介入量化评价和质化评价之间的一种选择，是综合吸取两种评价的思路形成的一种评价，因而，既无法将其归为量化评价，也不应评价的思路形成的一种评价，因而，既无法将其归为量化评价，也不应将其视为质化评价。设计包容量化和质化两种要素的评价之所以可能，将其视为质化评价。设计包容量化和质化两种要素的评价之所以可能，是因为两种评价都可以用于政策评价，而且各具不同的特点。例如，许是因为两种评价都可以用于政策评价，而

17、且各具不同的特点。例如，许多个案研究既利用数字型数据，也利用言语性数据。倘若评价全州中多个案研究既利用数字型数据，也利用言语性数据。倘若评价全州中学的某一升学政策的实施，可能包括数所中学的深度个案分析，诸如分学的某一升学政策的实施，可能包括数所中学的深度个案分析，诸如分析访谈资料、课堂听课记录和开放性问卷，以及量化评价诸如考试成绩、析访谈资料、课堂听课记录和开放性问卷，以及量化评价诸如考试成绩、态度评估、出勤率等数值型数据。综合性评价的主要优点件提供了综合态度评估、出勤率等数值型数据。综合性评价的主要优点件提供了综合性的视野审视正在发生的事情，主要缺点是用于收集质化资料的时间和性的视野审视正在

18、发生的事情，主要缺点是用于收集质化资料的时间和成本太多。但是，迄今为止，没有完全完美的评价类型，究竟选择何种成本太多。但是，迄今为止，没有完全完美的评价类型，究竟选择何种类型的评价，取决于评价目的和需要回答的问题的性质类型的评价，取决于评价目的和需要回答的问题的性质 l量化方法论。量化方法论。量化研究设计包括数值型数据的收集和统计分析。许多数值型数据都可以在学区和学校获取。l质化方法论。质化方法论。早期的政策评价几乎全是量化研究，虽然如此，近几十年来，质化方法越来越受欢迎（Guba&Lincoln,1989）。质化研究设计涉及言语性的和形象性的数据收集。在学校和学区可以收集到许多这样的数据，研

19、究者也很容易生成这种数据。考试成绩考试成绩在读学生在读率（在读学生在读率（Retention ratesRetention rates）出勤率出勤率辍学率辍学率生均成本生均成本教师工资教师工资师生比师生比接受免费午餐或减价午餐的学生比接受免费午餐或减价午餐的学生比入学率入学率取得硕士学位的教师比例取得硕士学位的教师比例 访谈记录访谈记录焦点小组讨论记录焦点小组讨论记录观察记录观察记录开放问卷开放问卷个人观点个人观点日记日记会议记录会议记录正式报告正式报告法律文件法律文件书籍和类似材料书籍和类似材料照片照片 评价者必须界定指标，用于确定实现政策目标的程评价者必须界定指标，用于确定实现政策目标的程

20、度如何，这是任何政策评价必不可少的一个环节。度如何，这是任何政策评价必不可少的一个环节。选择评价指标时，必须特别慎重，因为倘若指标不选择评价指标时，必须特别慎重，因为倘若指标不合适，将会产生病态反应。孤立地使用多项选择测合适，将会产生病态反应。孤立地使用多项选择测验分数作为指标，可能对教师实施新的数学教学方验分数作为指标，可能对教师实施新的数学教学方案的教育观念产生极为有害的影响。多项选择测验案的教育观念产生极为有害的影响。多项选择测验关心事实性知识，鼓励师生广泛却是表层地涉猎数关心事实性知识，鼓励师生广泛却是表层地涉猎数学教学内容，而当教师知道测量解决问题和思维能学教学内容，而当教师知道测量

21、解决问题和思维能力同样会受到评估时，其教学方式就会与单纯地测力同样会受到评估时，其教学方式就会与单纯地测验多项选择大为不同。验多项选择大为不同。评价的政治学分析评价的政治学分析为什么评价具有政治意义。很早以前，为什么评价具有政治意义。很早以前，人们就已经认识到政策评价内在具有政人们就已经认识到政策评价内在具有政治性质。治性质。评价之所以具有政治含义，主要原评价之所以具有政治含义，主要原因有三：第一，接受评价的政策和政策因有三：第一，接受评价的政策和政策系统都是政治过程的产品；第二，评价系统都是政治过程的产品；第二，评价报告影响着政治领域发生的一切，包括报告影响着政治领域发生的一切，包括一项政策

22、是否应该持续，应该获得多少一项政策是否应该持续，应该获得多少拨款；最后，许多人的职业生涯、专业拨款；最后，许多人的职业生涯、专业声望和教育利益取决于评价结果声望和教育利益取决于评价结果。l评价领域的参与者。面对评价过程中的评价领域的参与者。面对评价过程中的政治，需要清楚谁在参与这个领域，什政治，需要清楚谁在参与这个领域，什么动机促使其参与到这个领域中来。么动机促使其参与到这个领域中来。l主要的参与团体及其利益所在：政策制主要的参与团体及其利益所在：政策制定者；政策实施；委托人和评价者定者；政策实施；委托人和评价者。l尽早准备评价尽早准备评价 l与政策评价参与者沟通与政策评价参与者沟通 l选择指

23、标选择指标 l筹划数据收集筹划数据收集 l选择评价者选择评价者 l第一种可用的方法是请政策实施者进行内部评第一种可用的方法是请政策实施者进行内部评价价 l第二种可以选择的方法是，请组织内部专门评第二种可以选择的方法是，请组织内部专门评价机构中的评价者进行政策评价价机构中的评价者进行政策评价 l第三种方法是组织与外部的一个评价机构或顾第三种方法是组织与外部的一个评价机构或顾问公司签订合同，聘请外部评价者问公司签订合同，聘请外部评价者 l第四种可供选择的方法是请资助实施政策的机第四种可供选择的方法是请资助实施政策的机构评价政策实施情况构评价政策实施情况 l局部修改政策局部修改政策 l大幅修改政策大

24、幅修改政策l终止政策终止政策 l管理阶层变化管理阶层变化l经济发展周期陷于低迷阶段经济发展周期陷于低迷阶段l预算发生困难预算发生困难l组织内部其他岗位空出组织内部其他岗位空出l原有的政策易于被新政策替代的时候原有的政策易于被新政策替代的时候 l替代：提出新的政策项目，其目标与原替代：提出新的政策项目，其目标与原有的政策一致，替代原有的政策。有的政策一致，替代原有的政策。l巩固：统合两个或者更多的政策项目，巩固：统合两个或者更多的政策项目，或者统合一些项目的部分内容。或者统合一些项目的部分内容。l分离：分离政策项目的某一方面内容，分离：分离政策项目的某一方面内容，将其融入其他政策或项目之中。将其融入其他政策或项目之中。l削减经费：削减政策项目的拨款，政策削减经费：削减政策项目的拨款，政策中的许多措施没有经费实施。中的许多措施没有经费实施。l1.讨论为什么人们对评价感到不安。讨论为什么人们对评价感到不安。l2.找出一项量化评价和一项质化评价，说找出一项量化评价和一项质化评价，说明两种评价分别使用了什么方法，比较两明两种评价分别使用了什么方法，比较两种评价得出的信息和结论。种评价得出的信息和结论。l3.找出一份评价报告的结论，运用本章的找出一份评价报告的结论，运用本章的评价标准，对其进行评价。评价标准，对其进行评价。