§23CAI课件开发过程与方法资料.ppt

1、第五章第五章 CBECBE的评价的评价5.1 CBE5.1 CBE评价的概念评价的概念5.2 5.2 评价方法评价方法5.3 5.3 评价内容与标准评价内容与标准5.4 5.4 评价的实施评价的实施一、评价一、评价 评价是指由一些组织或机构对于某评价是指由一些组织或机构对于某些事物、产品或过程的优点和价值些事物、产品或过程的优点和价值的判断过程。的判断过程。评价按照其发生的时间和任务分为：形成型评价总结型评价1.形成型评价（Formative Evaluation）形成型评价是指在所评价的事物、过程与产品的发展和设计过程中对所做的评价。评价的主要目的是发现对象的不足之处和可以改进之处，以调整其

2、过程的进行方式或修改设计，完善和提高它的价值。如，课堂教学中采用的小测验是一种形成型评价。通过小测验，了解学生接收情况和教学效果。2.总结型评价（Summative Evaluation）总结型评价是指评价对象（过程、产品与事物）完成或制作出来后所进行的评价。这类评价的主要目的是判断与衡量评价对象的推广与应用价值，以便向社会公众和潜在应用人员介绍，促进其在适当范围内得到适当应用。如，入学测验是一种总结性评价分数说明对知识掌握的情况，名次反映该生的相对水平。CBE的评价是衡量和估计CBE的活动过程或是CBE系统产品的教育应用价值的过程。1.教育价值的主要体现2.教育评价的常用方式1.教育价值的主

3、要体现提高学生在未来职业中工作的能力和所需知识水平。提高学生进入社会时所需要的文化素质和教养水平。实验研究：选取一部分为对照组，另一部分为实验组。优点客观、公正；缺点较大的人力物力投入，使用在大型CBE课题。如美国对PLATO进行评价采用实验研究方法。2.教育评价的常用方式专家评定：有经验的计算机辅助教育评价人员，通过检查文档资料、观察与记录课件的运行情况、依据预定的目标体系与自己对许多课件应用的观察体验，衡量和估计课件的教育应用价值。主要是：准备阶段；检查材料阶段；实验阶段；优化阶段；等2.教育评价的常用方式 调查用户：将产品推荐给用户，用户使用一段时间后提出意见或建议。一般情况下用户出具有

4、关使用证明。2.教育评价的常用方式 三、CBE评价的作用+1.帮助决策，促使教育行政部分对课件的认可，帮助教师、家长如何选择课件和使用课件。+2.帮助推广应用，选择课件的依据。+3.提高产品质量，进行形成型评价有效地保证系统的质量；总结型评价将指导今后课件的开发。计算机辅助教育评价工作的进行方式多种多样，但它们都是一个系统过程，包括几个阶段：收集信息阶段分析处理信息阶段判断及报告阶段 一、信息收集的方法从开发者处收集信息 在试验运行中收集信息 从现场教学中采集信息 教学活动后采集信息评价组织从开发者处可得到：程序、使用说明评价组织从开发者处可得到：程序、使用说明书及其它文档资料，书及其它文档资

5、料，评价组织让开发者填写登录表：使用领域、适评价组织让开发者填写登录表：使用领域、适应学生水平、教学方式、目标、先行条件、内应学生水平、教学方式、目标、先行条件、内容简述等。容简述等。这些信息可供评价人员判断开发者的开发目这些信息可供评价人员判断开发者的开发目标与实施情况是否相符，以作出教育价值判断。标与实施情况是否相符，以作出教育价值判断。表5.1 中华学习机教育软件登录表p127表5.2 Micro SIFT课件描述表p128表5.3美国全国数学教师协会(NCTM)软件文档表 试验运行是由少数专业评价人员对某一计算机辅助教育系统，按其所假定环境与学生情况进行环境设置，模拟学生运行该系统并进

6、行人机会话，观察计算机所显示的内容对学生输入的判断及反馈教学内容呈现的顺序等等，进行分析记录。让一批真正的学生在实际教学环境中使用CAI系统，并收集有关信息。信息采集的方式有以下两种：(1)观察记录法(2)联机结果记录法 观察记录法就是在现场应用的自然情境中观察师生的应用情况，并且记录能反映教育价值的表现与行为。观察的内容主要有：各个使用者运行该系统各段及总体所耗时间所遇到的难点在何处，为什么有这些困难，是否要求教师帮助使用者在运行中的情感反映和学习态度上的表现，等等。(2)联机结果记录法 联机结果记录法是利用CAI系统中的人机会话活动来采集有用的信息，从而实时、客观、准确地记录教学活动进行的

7、情况，帮助评价其教育价值。在让师生使用某些CAI系统后，由评价人员对使用该系统的师生进行调查，或是让学生进行后测试等，收集对评价有用的信息。(1)调查法由调查人员预先拟定一份调查问卷，分发给参与现场教学的师生填写，或是与他们逐个面谈，并且作好记录。表5.4与按常规方法进行教学活动的一批学生进行对比，看看有否差异，差异是正向的(用系统的学生掌握得好些)、还是负向的(用系统的学生掌握得差些)，这就是测试法。二、信息处理方法 1非数据类型信息的处理 主要处理办法是归纳整理列出一系列清单，分类保管，以利于查询：.文档资料清单.必须改正的错误清单.修改建议清单.应用建议清单2数据类型信息的处理 数据类型

8、信息包括：2各题(各单元)花费的时间2错误回答次数2错误率数据型信息分析流程数据整理核查录入处理数据处理方法加权累计法第j个评价人对CBE系统的评判分：miijijewP1评价小组给CBE系统的综合评判分：njjPnP115.3 评价内容与标准 什么叫评价内容体系？把笼统的教育价值细分为一系列可以观察或测量的、便于处理、判断的信息分量，从而评价人员可以从各个方面来观察、衡量教育价值，并以此为依据得出综合判断。这种CBE系统的教育价值的结构化体系称为CBE评价内容体系。一、评价内容体系的建立 1评价体系建立的基本原则(1)完备性(2)合理性(3)可操作性 完备性：建立的评价内容体系应该完整反映教

9、育价值的各个阶段、各个层次与各个方面。合理性：应该科学地反映教育价值的本质属性 各项不应有相互冲突的现象 不应有明显有利于某类型、某些学习阶段、某些学科内容、某种教育领域或某种教学模式的应用等倾向 (3)可操作性各评价项目应是可以观察或记录下来的现象和行为表现，不能有含意不明、难以判断的项目。评价项目应该相当精细而不繁琐，一方面可以观察判断，同时又不会造成评价人员过多的工作量。收集的信息应该便于分析处理，要特别注意各项之间的相互独立性，避免各项相关性而造成某一因素在总价值中地位上升的现象 2建立评价内容体系的系统方法(1)调查综合法 这是一种自底向上的体系建立方法。首先，由调查人员通过书面征求

10、意见、面谈、座谈会等方式，了解教师、学生、管理人员、计算机辅助教育研究开发人员等各类人员对计算机辅助教育的价值衡量特征的意见。然后进行综合分析，得出体系结构。p135(2)系统分析法 这是一种从“顶”向下的体系建立方法。这个“顶”就是计算机辅助教育的任务。首先由一些专家讨论计算机辅助教育的评价应有几个方面，列成清单；然后看清单上各项是否可以观测、评定处理；如果没有一般化内容，就可以检查完备性；否则，对于不易于观测的一般化内容，应进一步讨论如何划成可操作性内容，如此重复。这样从粗到细的分析方法得出的评价体系是一种层次式的结构。二、一些有代表性的评价体系（1）美国数学教师协会软件评审表表5.5（2

11、）Micro SIFT(教师用微机软件及资料)课件评价表表5.6（3）电子学习杂志课件评价表表5.7（4）美国软件行业协会测评表表5.8（5）中华学习机教育软件评审标准（5）中华学习机教育软件评审标准a评价指标及分值评价指标及分值：1.功能性 50分2.可靠性 10分3.使用性 20分4.程序设计技巧 10分5.软件商品化的程度 10分教育软件合格的标准：总分60分；功能性的“教学目标”栏8分；功能性的“科学性”栏8分。三、各种评价体系主要评价内容道德法规教学目标编程技术四、我国的中小学教育软件审查标准一、教学性要求(55分)(一)教学目标(15分)(二)教学内容(20分)(三)教学过程(20

12、分)二、技术性要求(35分)(一)程序运行(10分)(二)信息呈现(10分)(三)用户界面(15分)三、文档资料要求(10分)p143五、我国申报电子教材及课件评议标准一、教学性指标(40分)(一)教学内容水平(14分)；(二)科学思想水平(14分)；(三)交互反馈水平(6分)；(四)媒体规范水平(6分)二、软件指标(30分)(一)软件运行水平(15分)；(二)软件操作水平(6分)(三)辅助功能水平(9分)三、媒体指标(30分)(一)媒体质量水平(12分)；(二)整体设计水平(10分)(三)智能化水平(8分)四、附加分(10分)一、教学性指标(40分)(一)教学内容水平(14分)1.教学适应性

13、(4分)：符合本学科或课程要求，教学目标明确，取材合适，深度适宜，分量适度。2.认知规律性(4分)：符合学生认知规律，逻辑性强，富有启发性，便于学生学习，有利于能力培养。3.结构合理性(4分)：教学内容组织及其结构合理，学习路径明确，知识关联清晰。4.生动趣味性(2分)：表达知识生动趣味，能引起和保持学习者的学习兴趣和注意力。一、教学性指标(40分)(二)科学思想水平(14分)1.科学先进性(7分)：能反映本学科国内外科学研究和教学研究的先进成果。2.思想正确性(7分)：符合辩证唯物主义，弘扬民族文化精华，无政治性和政策性错误。一、教学性指标(40分)(三)交互反馈水平(6分)1.教学交互性(

14、3分)：人机交互性强，学习进度可控，学习路径可选，交互参数可设。2.评价反馈性(3分)：习题和思考题质量高，题型适当，设计水平高，操作简便，具有较好的学习评价和反馈。一、教学性指标(40分)(四)媒体规范水平(6分)1.文字与图标(3分)：文字表达规范，字体、字号和色彩适合阅读，图表清晰准确，符号、公式和计量符合国标。2.音视频素材(3分)：讲解、配音和对白的教学水平高，标准普通话播音，视频的制作符合电教片规范。二、软件指标(30分)(一)软件运行水平(15分)1.软件运行(5分)：软件安装方便，运行正常，可靠性高，兼容性强，退出与中断后恢复原系统状态。2.软件性能(5分)：功能能正确无误，划

15、分明确合理，响应速度快。3.软件容错性(5分)：软件对错误输入和错误操作的容错性强。二、软件指标(30分)(二)软件操作水平(6分)1.用户指导(3分)：附有用户手册，内容完整，表述简明，便于使用。2.操作使用性(3分)：操作界面友好，步骤明确，使用简便。二、软件指标(30分)(三)辅助功能水平(9分)1.求助与管理(3分)：求助功能强，具有一定的管理功能。2.性价比(4分)：教学软件的教学性能价格比高。3.开发扩展性(2分)：具有较好的内容调制、组合、更新、和补充等开放性和扩展性功能。三、媒体指标(30分)(一)媒体质量水平(12分)1.界面设计(5分)：界面设计简明，布局合理，色彩协调，美

16、观大方，重点突出。2.素材质量(7分)：音效质量高，图片、录像清晰，动画生动准确，技术指标高。三、媒体指标(30分)(二)整体设计水平(10分)1.媒体选择(3分)：根据教学内容优选图、文、声、像等媒体类型。2.媒体优势(3分)：解决教学重点和难点的水平高。3.教学设计(4分)：多媒体教学设计水平高。三、媒体指标(30分)(三)智能化水平(8分)1.检索书签功能(3分)：检索、学习记录和书签功能较强。2.智能性(3分)：具有较好的人工智能性和专家系统性。3.媒体辅助功能(2分)：具有多种媒体的学习提示，交叉参考，导航和定位等辅助功能。四、附加分(10分)附加分(10分)：有显著特色与创新，显著

17、提高教学效率，受益面广。54评价的实施 评价工作人员的组织与培训 评价的实施过程 撰写报告一、评价工作人员的组织与培训 1.实施评价的工作组织 2.评价人员的选择3.评价人员的培训 课件评价人员的组织结构评价计划组计划安排选拔人员培训组织外界联系人员计划人员行政人员课件管理组登录、筛选、分类、保管、评后综合分析、信息发布准备人员软件管理人员统计分析人员初评人员课件评审组各学科课件评审人员评价专家（可以是兼职人员）二、评价的实施过程 1形成型评价的实施系统需求分析系统设计实现评价设计评价系统实现分析评价开发过程评价过程初步合格未完完不合格2.总结型评价的实施 筛选信息采集所有情况完了准备文件(描

18、述)设置学生情况归纳与记录综合评价试用与观察停止登录准备报告三、基于网络的评价实施方案数据库数据库服务器服务器端系统管理员Web服务器Internet客户端CAI软件评价员CAI软件开发商普通用户其他身份验证培训请求评价请求E-mail查询请求四、教学软件评价核心指标体系软件名称生产厂商科目（打）（小学/初中/高中）（语文数学/英语/历史/地理/化学/物理/等）软件类型（打）（个别指导/练习与操练/教学游戏/模拟/问题解答/备课/课堂演示/等）评价日期 年 月 日评 价 者姓名职称电话对以下认为需要评价的项目进行评价，认为不需要的项目画去支持材料ABCD可靠性教学内容教学目标信息呈现过程控制数据管理五、CAI软件评价基本框架2004年作业：1.P213的1-4题5.什么叫评价内容体系？6.信息收集的方法？7.我国的中小学教学软件审查标准？作业：1计算机辅助教育的作用？2信息收集的方法？3.我国的中小学教学软件审查标准？4.比较课件评价、教材评价以及计算机软件测试，分析其异同处？5.什么叫评价内容体系？