科学技术评价方法及PPT课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《科学技术评价方法及PPT课件.ppt》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 科学技术 评价 方法 PPT 课件
- 资源描述:
-
1、1科学技术评价方法及科学技术评价方法及主要国家的做法主要国家的做法 20042004年年1212月月2内容提要内容提要一、引一、引 言言二、什么是科学技术评价二、什么是科学技术评价三、为什么要开展科学技术评价三、为什么要开展科学技术评价四、科学技术评价方法及其应用四、科学技术评价方法及其应用五、主要国家科技评价的做法五、主要国家科技评价的做法六、几点启示六、几点启示3一、引一、引 言言 科学技术评价活动在科学技术发展的不同历史时期具有科学技术评价活动在科学技术发展的不同历史时期具有不同的特征。不同的特征。 在近代科学技术发展的早期,由科学家个人兴在近代科学技术发展的早期,由科学家个人兴趣和好奇
2、心驱动的自由探索研究成为科学技术活动的主要形趣和好奇心驱动的自由探索研究成为科学技术活动的主要形式,科研活动主要依靠自筹资金、社会资助和权贵的捐助,式,科研活动主要依靠自筹资金、社会资助和权贵的捐助,政府的投入很少。科技活动的文化属性突出。政府的投入很少。科技活动的文化属性突出。科学技术评价科学技术评价主要限于科学共同体内部的学术评价和对科学家重大科学发主要限于科学共同体内部的学术评价和对科学家重大科学发现的优先权的识别现的优先权的识别,评价的目的在于,评价的目的在于促进学术交流、建立科促进学术交流、建立科学规范、引导研究方向学规范、引导研究方向。 4一、引一、引 言言 2020世纪以来,人类
3、的科学技术活动进入世纪以来,人类的科学技术活动进入“大科学大科学”时代,时代,科学技术在国家经济、社会和安全中的战略地位日益凸现科学技术在国家经济、社会和安全中的战略地位日益凸现,成为第一生产力。特别是二战以后,发展科学技术成为国家成为第一生产力。特别是二战以后,发展科学技术成为国家战略和国家政策的重要方面。科技活动的文化属性和生产力战略和国家政策的重要方面。科技活动的文化属性和生产力属性并重。政府对科学技术活动的宏观引导与组织管理不断属性并重。政府对科学技术活动的宏观引导与组织管理不断加强,对科学研究的投入不断加大。加强,对科学研究的投入不断加大。科学技术评价不仅限于科学技术评价不仅限于科学
4、共同体内部的学术评价机制,也成为政府制定科技政策、科学共同体内部的学术评价机制,也成为政府制定科技政策、配置科技资源和实施有效管理的重要行为(手段)。配置科技资源和实施有效管理的重要行为(手段)。 5科技活动的本质规律对评价的要求科技活动的本质规律对评价的要求共同理念自由发展物质资源-精神产品水平、质量、精品方针、政策引导个人创造与灵感观念观念过程过程环境环境成果成果组织组织共同目标严格管理物质财富循环增值效益、数量、规模制度规范团队精神与合作等文文化化活活动动生生产产活活动动 科学技术工作是集生产力和文化属性为一体的活动科学技术工作是集生产力和文化属性为一体的活动6科技活动的本质规律对评价的
5、要求科技活动的本质规律对评价的要求n科技评价的困难在于:科技评价的困难在于: 需要寻找一种能兼顾生产力评价和文化评价需要寻找一种能兼顾生产力评价和文化评价为一体的方法。为一体的方法。7二、什么是科学技术评价二、什么是科学技术评价q概念内涵概念内涵 科学技术评价是对科学技术活动及其产出和影响的科学技术评价是对科学技术活动及其产出和影响的价值价值进行判断的进行判断的认识活动认识活动。 科学技术评价既是科学共同体和科学技术发展内在的、科学技术评价既是科学共同体和科学技术发展内在的、基本的学术评价机制,也是科学技术管理的工具,是对科学基本的学术评价机制,也是科学技术管理的工具,是对科学技术活动进行预测
6、、规划、决策、管理、监督的手段。技术活动进行预测、规划、决策、管理、监督的手段。 8二、什么是科学技术评价二、什么是科学技术评价科学技术评价分类科学技术评价分类q按科技活动阶段:事前评价、事中评价、事后评价。按科技活动阶段:事前评价、事中评价、事后评价。q按评价目按评价目的的:立项评审、中期评估、结题验收、绩效评价。:立项评审、中期评估、结题验收、绩效评价。q按评价对象:政策评价、计划评价、项目评价、机构评价、按评价对象:政策评价、计划评价、项目评价、机构评价、人员评价、成果评价等。人员评价、成果评价等。q按评价方法:定性评价、定量评价、综合评价等。按评价方法:定性评价、定量评价、综合评价等。
7、q按评价执行方:内部评价、外部评价。按评价执行方:内部评价、外部评价。9二、什么是科学技术评价二、什么是科学技术评价科学技术评价的原则科学技术评价的原则q科学性科学性q独立独立性性 q客观客观性性( (注意客观与主观的统一注意客观与主观的统一, ,反映事物的本质属性反映事物的本质属性) ) q公正公正性性q国际性国际性 q实效性实效性q公开性公开性10三、为什么要开展科学技术评价三、为什么要开展科学技术评价 科学技术评价的需求:科学技术评价的需求:q优化配置政府科技资源;优化配置政府科技资源;q提高政府科技决策与管理的科学化水平;提高政府科技决策与管理的科学化水平;q提高科研工作的效率和质量(
8、引入竞争激励机制);提高科研工作的效率和质量(引入竞争激励机制); q促进科学发展目标与国家目标紧密结合(政策引导);促进科学发展目标与国家目标紧密结合(政策引导); q营造有利于原始性创新的环境和文化;营造有利于原始性创新的环境和文化; q向公众向公众“交帐交帐”和说明公共资金使用效果(赢得公众的支和说明公共资金使用效果(赢得公众的支持、预算制度改革的要求)。持、预算制度改革的要求)。 11四、科学技术评价方法及其应用四、科学技术评价方法及其应用q定性评价定性评价 :同行评议法、回溯和案例评价法同行评议法、回溯和案例评价法q定量评价定量评价 :文献计量法、经济计量法文献计量法、经济计量法q综
9、合评价:多指标综合评价法、综合评价:多指标综合评价法、 定标比超法定标比超法121 1、同行评议方法、同行评议方法( (制度制度) ) 同行评议(同行评议(peer reviewpeer review)是充分依靠科学家群体对科学是充分依靠科学家群体对科学技术活动(包括科研活动、科研资助、科研管理等)进行技术活动(包括科研活动、科研资助、科研管理等)进行民主管理的一种方法(或制度)。民主管理的一种方法(或制度)。 具体而言,同行评议是指某一领域或与其邻近领域的专具体而言,同行评议是指某一领域或与其邻近领域的专家采用同一种评价标准,共同对涉及相关领域的某一事项家采用同一种评价标准,共同对涉及相关领
10、域的某一事项进行独立的价值评议的过程进行独立的价值评议的过程,其评价结果为有关部门的决,其评价结果为有关部门的决策提供依据。策提供依据。 131 1、同行评议方法、同行评议方法( (制度制度) )q同行评议是科技评价中应用最广泛和可信度较高的评价方同行评议是科技评价中应用最广泛和可信度较高的评价方法,尤其是对用定量方法难以测度和判断的科研活动的法,尤其是对用定量方法难以测度和判断的科研活动的价价值评估值评估(merit review)(merit review),具有其他方法不可替代的优势。,具有其他方法不可替代的优势。 美国经济发展委员会美国经济发展委员会 :“美国基础研究体系的一个基美国基
11、础研究体系的一个基本优势就是,通过一种认真和具有竞争性的同行评议过程本优势就是,通过一种认真和具有竞争性的同行评议过程来分配经费拨款。来分配经费拨款。” 美国国家科学技术理事会基础科学委员会:美国国家科学技术理事会基础科学委员会:“在对单在对单个政府部门当前计划的评审中,以同行评议为基础的价值个政府部门当前计划的评审中,以同行评议为基础的价值评价将继续是主要工具。评价将继续是主要工具。” ” 141 1、同行评议方法、同行评议方法( (制度制度) ) 美国美国GPRA确定的评价原则:确定的评价原则:“为确保世界级研究水为确保世界级研究水平而对科学事业进行管理,同行评议是基础平而对科学事业进行管
12、理,同行评议是基础。研究项目要由。研究项目要由专家来评定其价值,资金的配置也须以研究项目的科学价值专家来评定其价值,资金的配置也须以研究项目的科学价值为依据。潜在的科研项目和科研计划要根据知识前沿领域的为依据。潜在的科研项目和科研计划要根据知识前沿领域的卓越的研究活动的标准进行评价。同行评议的价值评估同样卓越的研究活动的标准进行评价。同行评议的价值评估同样可以被用来对一个机构的基础科学项目作回顾性评价。可以被用来对一个机构的基础科学项目作回顾性评价。151 1、同行评议方法、同行评议方法( (制度制度) )q同行评议广泛应用于各类科技评价活动:同行评议广泛应用于各类科技评价活动: 科学出版物(
13、论文、著作等)的评审科学出版物(论文、著作等)的评审 学位、荣誉和职称评定学位、荣誉和职称评定 科研项目评审科研项目评审 科研成果的验收与评奖科研成果的验收与评奖 科研机构评价科研机构评价 科技政策和科技计划评价科技政策和科技计划评价 q同行评议的方式:同行评议的方式: 通信评议(函评);会议评审;函评通信评议(函评);会议评审;函评+ +会评;会评; 现场评议。现场评议。161 1、同行评议方法(制度)、同行评议方法(制度)q同行评议法的优点:同行评议法的优点:价值评价价值评价q存在的缺陷:存在的缺陷: “ “熟人关系网熟人关系网” ” 崇尚权威崇尚权威 “ “马太效应马太效应” 不利于支持
14、创新性的非共识项目不利于支持创新性的非共识项目 剽窃行为剽窃行为17NIH申请研究资助的同行评议申请研究资助的同行评议 1、机构设置、机构设置 主任办公室主任办公室 18个专业研究所个专业研究所 4个综合研究中心、资源中心和图书馆个综合研究中心、资源中心和图书馆 3个临床医疗、信息技术服务和评估机构个临床医疗、信息技术服务和评估机构(科学评估中心(科学评估中心CSR) 182、NIH科学评估中心(科学评估中心(CSR) (1)设立三大综合评审组(临床与人口基础研究、生理系统、)设立三大综合评审组(临床与人口基础研究、生理系统、分子和细胞机理)和分子和细胞机理)和100多个专业评审组多个专业评审
15、组n集中受理申请集中受理申请n将项目申请分配给将项目申请分配给CSR的各专业评审组或研究所的学科评审的各专业评审组或研究所的学科评审组组n将潜在的资助项目申请分配给将潜在的资助项目申请分配给NIH的研究所的研究所n100多个专业评审组对提交的项目申请的多个专业评审组对提交的项目申请的科学创新价值科学创新价值进行进行评议评议 192、NIH科学评估中心(科学评估中心(CSR)(2)分配项目申请的依据)分配项目申请的依据 专业评审组基于专业评审组基于n每个专业评审组的评审指南每个专业评审组的评审指南 研究所基于研究所基于n研究所的使命研究所的使命n研究所的方向研究所的方向203、申请资助的双重评估
16、系统、申请资助的双重评估系统 (1)第一层次的评估(项目评价)第一层次的评估(项目评价) 专业评审组(专业评审组(SRG)n对申请资助项目的科学创新价值进行评议对申请资助项目的科学创新价值进行评议n对于是否予以资助和资助期限提出建议对于是否予以资助和资助期限提出建议(2)第二层次评估(管理和政策评价)第二层次评估(管理和政策评价) 国家咨询理事会(国家咨询理事会(NAC)n评估评估SRG对申请资助项目评议的质量对申请资助项目评议的质量n对对NIH项目官员提出资助建议项目官员提出资助建议n评估优先资助项目评估优先资助项目n提出政策建议提出政策建议21研究资助申请研究资助申请医学院或研究中心医学院
17、或研究中心 国立卫生研究院国立卫生研究院 科学评估中心科学评估中心 将申请分配给各专业评审组和研究所将申请分配给各专业评审组和研究所 创新研究思想创新研究思想 提交申请提交申请 专业评审组专业评审组 评估科学价值评估科学价值 研究所研究所 评估项目的可行性评估项目的可行性 咨询理事会和委员会咨询理事会和委员会 提出建议行动提出建议行动 研究所所长研究所所长 向向NIH主任提出最后决策建议主任提出最后决策建议 分配经费分配经费 执行研究执行研究 4、NIH研究资助的评议过程研究资助的评议过程 225、CSR的同行评议制度的同行评议制度 (1)CSR的同行评议的同行评议n各专业评审组由一位与该专业
18、密切相关的资深专家担任专业评审主管各专业评审组由一位与该专业密切相关的资深专家担任专业评审主管(SRA)n每一个专业评审组由每一个专业评审组由12-24名专家组成(主要来自学术界)名专家组成(主要来自学术界)n每一次专业评审组会议要评审约每一次专业评审组会议要评审约60-100个项目申请个项目申请(2)同行评议专家遴选标准)同行评议专家遴选标准n科学研究造诣深、专业水平高科学研究造诣深、专业水平高n博士学位或相当水平博士学位或相当水平n成熟的判断力成熟的判断力n工作成效显著工作成效显著n学术视野宽阔学术视野宽阔n公平公正公平公正n热心服务热心服务n妇女和少数民族的适当代表妇女和少数民族的适当代
19、表 235、CSR的同行评议制度的同行评议制度(3)无利益冲突的证明并签字(回避制度)无利益冲突的证明并签字(回避制度)n与申请者的关系:配偶、父母、儿女、合作者与申请者的关系:配偶、父母、儿女、合作者n担任过有关机构的官员、主任、理事、雇员或合作者担任过有关机构的官员、主任、理事、雇员或合作者n与有关机构进行过谈判或存在预期雇佣的有关协议及其他类似关系与有关机构进行过谈判或存在预期雇佣的有关协议及其他类似关系(4)保密制度)保密制度n评议材料和评审会会议录所反映的特殊信息仅供讨论和评议材料和评审会会议录所反映的特殊信息仅供讨论和NIH项目官员使项目官员使用用n在形成每次会议结论时,讨论材料要
20、销毁或反馈所有与评审有关的材料在形成每次会议结论时,讨论材料要销毁或反馈所有与评审有关的材料n除评审主管(除评审主管(SRA)外,讨论内容将不列入评审会议录)外,讨论内容将不列入评审会议录n评审过程中的有关问题应提交评审主管评审过程中的有关问题应提交评审主管246、专业评审组评审会专业评审组评审会 (1)评审标准)评审标准n科学意义科学意义:本研究能解决一项重要问题吗?能发展新的科学知识吗?:本研究能解决一项重要问题吗?能发展新的科学知识吗?n方法和路径方法和路径:设计思路和方法是否先进、可行?能解决遇到的问题吗?:设计思路和方法是否先进、可行?能解决遇到的问题吗?n创新创新:有无新颖的概念和
21、方法?其研究目标是原始创新吗?:有无新颖的概念和方法?其研究目标是原始创新吗?n主要成员主要成员:主要成员接受过良好的训练吗?:主要成员接受过良好的训练吗?n环境环境:现有条件能支持可能的成功吗?科研环境有独一无二的特点吗?:现有条件能支持可能的成功吗?科研环境有独一无二的特点吗? (2)决定是否同意资助的要素)决定是否同意资助的要素n科学价值科学价值n项目实施的考虑项目实施的考虑n经费使用的合理性经费使用的合理性256、专业评审组评审会专业评审组评审会(3)专业评审组的行动)专业评审组的行动n对申请项目科学价值的优先等级给分(对申请项目科学价值的优先等级给分(1.0-3.0;百分制);百分制
22、) 基于有关的评审标准,评审组首先判断该申请项目科学价值的等级在基于有关的评审标准,评审组首先判断该申请项目科学价值的等级在所有被评审项目的一半以上的行列,对请求的研究时间和资助经费提所有被评审项目的一半以上的行列,对请求的研究时间和资助经费提出建议,给出优先等级的评分,综合讨论中的意见和建议,给出评议出建议,给出优先等级的评分,综合讨论中的意见和建议,给出评议结论。结论。n不评分(一半以下)不评分(一半以下) 评审组成员全体一致认为该申请项目的科学价值的等级在所有被评审评审组成员全体一致认为该申请项目的科学价值的等级在所有被评审项目的一半以下的行列,就不予评分。项目的一半以下的行列,就不予评
23、分。通讯评议意见汇总后经评审组通讯评议意见汇总后经评审组审议反馈给申请者审议反馈给申请者。n延缓延缓 在没有附加信息的情况下,评审组无法给出推荐意见。当然,可以访在没有附加信息的情况下,评审组无法给出推荐意见。当然,可以访问该项目的有关网站,或由申请者提供补充材料。问该项目的有关网站,或由申请者提供补充材料。266、专业评审组评审会专业评审组评审会(4)专业评审组的后续行动)专业评审组的后续行动n按优先等级分数和百分数计算排序按优先等级分数和百分数计算排序n提供总结材料提供总结材料n对通过评审的申请项目,专业评审组要以书面的形式给出总结建议,希对通过评审的申请项目,专业评审组要以书面的形式给出
24、总结建议,希望研究所对该项目进行资助。望研究所对该项目进行资助。n书面总结建议一般包括:书面总结建议一般包括: 评议的概要和结论评议的概要和结论 原始的批评意见原始的批评意见 优先级评分和百分制评分排序优先级评分和百分制评分排序 预算建议预算建议 项目管理注意事项项目管理注意事项n移交国家咨询理事会作进一步考虑移交国家咨询理事会作进一步考虑277、国家咨询理事会的评议行动国家咨询理事会的评议行动 n同意专业评审组的意见同意专业评审组的意见n修改专业评审组的意见修改专业评审组的意见n对延缓的项目组织复审对延缓的项目组织复审28 同行评议的制度安排同行评议的制度安排 1、同行评议专家资格审查制度、
25、同行评议专家资格审查制度 是保证同行评议有效性的是保证同行评议有效性的基本前提基本前提n确定专家遴选标准确定专家遴选标准n同行或单位推荐同行或单位推荐n专家基本情况登记专家基本情况登记n专家资格审查专家资格审查n专家公示专家公示n专家入库专家入库29 同行评议的制度安排同行评议的制度安排2、建立同行评议专家库、建立同行评议专家库 为评价活动提供充足的、符合为评价活动提供充足的、符合要求的专家人选要求的专家人选n根据评价的需要确定专家数量规模根据评价的需要确定专家数量规模n专家信息的完整性专家信息的完整性n专家信息的动态跟踪与更新专家信息的动态跟踪与更新n专家评议信息记录专家评议信息记录n专家库
展开阅读全文