试卷分析实用技术.pptx

1、试卷分析实用技术 百分制课程考试试卷分析理论与实施工具 内容： 课程考试与水平考试 课程考试特点及要求 课程考试试卷分析目的 课程考试试卷分析指标体系 课程考试试卷分析综合评价模型 百分制试卷分析工具简介 试卷研究科研工具 参考文献 课程考试与水平考试 课程考试：课程过程中或结束时实施的对学习者学习状况的 评判和对教学效果的检查 水平考试：根据考试目的确定一个恒定的知识水准，通过考 试确认受试者是否达到或超过该水准 共同点：考试形式、手段甚至评判方法相同 不同点：前者依据课程教学目标、受施对象设计，考试结果应 与预期基本相近；而后者不需考虑受试对象具体情况，任何考 试结果都可以接受。 课程考试

2、特点及要求 特点：符合教学理念，因人施教。教师应对学生群体素质有 一个客观的了解，如重点中学、重点大学的学员素质较高， 则教学目标可以高些，反之应做相应调整。考试的设计也一 样，做到与教学目标对应，考试结果可控。 要求：4个要求 1 对考生学业的区分和评判 2 对教学任务完成情况的评判 3 为社会交流（学生学业优劣）提供数据 4 数据客观、准确、有效 课程考试试卷分析目的 评判考试运作的质量，促进教学技能的改进和提升 积累考试运作数据，为教学改革、教学科研提供支 撑 教学管理的需要，为教学管理部门平衡和调配学科 间、教师间教学力量提供参考 教学规范的需要，是整个教学过程的一个环节 为试题库改进

3、提供依据 课程考试试卷分析指标体系（层次） 本PPT适用制式百分制课程考试，研究充分、资料齐全、 数据丰富 指标：是评判事物某一特性的测量参数（如平均分），是评 价科学的最小要素。要求：1意义明确，2算法成熟，3具备 理想值范围 维度：是评判事物某一方面的集合，由数个指标组合而成， 如试卷数据质量的评判由成绩分布的正态性检验、考试信度、 考试效度、成绩标准差、平均分与中位数的差值等等组成 体系：人们观察事物多采用多维度视角，以期望避免出现盲 人摸象的错觉，显然单维度评判事物是存在缺陷的，因此采 用多维度构建的指标体系是目前较流行的方法。如试卷分析 指标体系由4个维度组成： 1考生评价与区分；2

4、教学评价；3社会交流；4数据质量 课程考试试卷分析指标体系（杂论） 指标的多意性：指一些指标既可以对甲维度有贡献，又可以 对乙维度有贡献，甚至可以对丙维度有贡献。如考试难度对 社会交流维度、考生评价维度均有贡献 维度中各指标的优先顺序：在该维度中按指标的重要意义进 行的排序，影响其权重 指标的取舍：可以查到的试卷分析指标超过30个，全部测试 没有必要，舍弃的原因主要是：1指示意义略小；2重复或可 替代；3测试过于复杂 各指标的计算：（略）见教育测量学书籍 课程考试试卷分析指标体系（指标介绍1） 各指标简介 平均分：估计学生成绩分布的密集区、考试的难易程度和教学任务的完成情况。 分值过高或过低都

5、会造成分数解释的困难。建议控制范围在70 80 标准差：描述一组分数离散情况的最常用、最可靠的统计量数，也是计算其他统 计量常用的基本数据。过小的标准差往往造成学生考试分数的过度集中，导致区 分能力下降。建议控制范围在.7 - 10 优良率：观察高分成绩学生区分能力和成绩解释性能的统计指标。考试优良率偏 低将减少中等偏上学生的社会认可机会，而过高又导致对成绩优异者的不公和成 绩解释混乱，优良率应该控制在20-50%范围。 合格率：它是观察考试重要界值合格的一个统计指标。合格率通常控制在80%以 上，避免出现100%。 课程考试试卷分析指标体系（指标介绍2） 极值：理论上应该避免或极少有满分，也

6、不应出现0分。在各项指标测试前必须 将0分作为异常数据予以剔除 信度：评价考试结果的稳定性是用考试信度（或测验信度）估计的，考试信度就 是推测考试可信与否的最重要量化指标。考试信度一般应达到0.70以上 效度：是考试误差（准确度）大小估计的一个统计学指标，最常用的方法是相关 效度分析(relative validity)。考试效度理想范围在0.40.7之间，考试效度值过 低（低于0.3）视为无效考试。 正态性检验：学生学习成绩的分布也是智力分布，应呈正态分布。当考试成绩分 布呈正态分布时，可以认为测量效果符合自然分布规律，考试比较成功，试卷的 编制质量也较好。 难度：是所有试题难易的综合反映，

7、在考试分数控制、成绩解释上十分重要。 区分度：指考试对学业水平不同的学生区分程度或鉴别能力。试题的难度与区分 度关系密切，在难度接近于0.5时，区分度量值接近最大。区分度理想数值应大 于0.2。 课程考试试卷分析指标体系（维度介绍A） 学生评价与区分：考试的一个重要目的就是对学生学业的评 价和客观、清晰的区分。学生学习能力强的应得到高分，并 且学生之间能力的差别应有足够的体现。大面积高分或低分 造成对优秀学生评价的偏差，而成绩分布过于集中将直接造 成区分能力的下降。 指标：平均分、中位数、区分度、难度、合格率、优良率 教学评价：评价教师对学生学习状况的掌控能力，教师优良 的把控能力体现在考试难

8、易适中、成绩分布疏密有度。大面 积高分或低分结果前者说明其掌控能力的不足而后者则暗示 没有完成教学目标。 指标：优良率、合格率、极值、标准差、中位数 课程考试试卷分析指标体系（维度介绍B） 社会交流：考试成绩的发布给学生家长、升学学校、用人单 位评判学生提供了参考依据，社会共识学生70分以下能力较 弱，85分以上为优秀生，如果考试结果与其偏差较大则造成 社会交流的困难，如小学常出现全班一大半90分以上，家长 就只得问孩子到底第几名！ 指标：区分度、中位数、优良率、合格率、标准差 课程考试试卷分析指标体系（维度介绍C） 数据质量：考试结果应客观、公正、准确。指标介绍： 1成绩分布的正态性：考试就

9、是一种智力测试，而人群智力高低的分布呈 正态性，所以成绩分布也应该呈正态性分布。也就是客观合理性，比较通俗 的说法就是解放军打靶，某人在50米靶标获得第3名，100米靶标仍应该第3 名。 2考试信度：评判考试的稳定性，仍以解放军打靶为例，某人打靶10发子 弹，均打在6环附近，不考虑准确性如何，但结果非常的稳定。 3考试效度：评判考试的准确性，还以解放军打靶为例，某人打靶10发子 弹，均打在8环以上，那么他的准确性很高。 4标准差：评判考试的内在因子，再用解放军打靶为例，我们还要限制枪 的型号，体现在结果更加客观。 其他如中位数与平均分之差值 课程考试试卷分析综合评价模型 综合评价实用意义：1评

10、价的客观性与科学性；2不同来源的 考试比较成为可能；3教学指导意义 该模型设计原则：面向实用、便于推广。舍弃了需要较大测 试工作量的考试信度和考试效度，并推导出考试区分度简易 算法，最终实现了仅需考试成绩表就可完成评价工作。 评价模型：采用层次分析法，通过矩阵计算构建，算出各指 标权重系数（略）及评价公式：质量指数 = 指标i得分 max=9.2594, CI=0.03242, CR=0.02236 百分制试卷分析工具9.0版（软件）简介 版本的重要演进： 1999年推出第一版，采用医院体检方式，仅含各指标的测量值，无总体综合评价 2012年推出第六版，以指标权重相同计算评估分值方式对试卷总体

11、进行综合评价， 尽管缺陷明显，但与医院体检方式比应示为进步 2014年推出第七版，首次总体评价采用层次分析法导出的数学模型进行。 2020年推出第九版，做了对工作平台适应性改进，添加了若干相关教学科研工具 工具运行环境：推荐在windows 10环境下运行，必须安装MS Office 2010或更高版本的办公软件，本软件可解压后直接运行。 工具使用资料：在解压后的文件夹内 1实用部分说明书.docx 进行试卷分析的操作说明 2科研部分1说明书.docx 成绩分布生成模拟器及对应分析操作说明 3科研部分2说明书.docx 5个试卷研究工具操作说明 百分制试卷分析工具9.0版（软件）简介 软件获得

12、：作者在QQ网建有课程考试试卷分析技术QQ群，群号971107108， 加入该群可在群文件中直接下载压缩打包文件，文件名“试卷分析工具.rar”， 下载后解压缩就可使用（绿色免安装版）。 定制设臵：一些学校希望软件带有本学校的标记，为此本软件专门设计了使用单 位标记设臵模块，教学管理部门可利用该模块进行本单位标记，经标记设臵后再 次启动本软件将在顶栏显示“某某学校专用试卷分析工具”文字，将其再次打包 即可下发各教研室使用。下图为定制设臵，点击跳过则仍沿用原名并进入操作界 面。 百分制试卷分析工具操作（试卷分析1） 试卷分析操作界面：见右侧图 输入考试名称：如“18级一班病理学” 确认是否需要清

13、除上次输入 成绩数据输入： 点击“输入成绩”按钮将调出MS Office办 公软件的EXCEL，进行成绩输入。 百分制试卷分析工具操作（试卷分析2） 成绩输入界面： 不需要输入姓名和学号，仅输入成绩即可。 可以手工输入，也可以用粘贴功能完成输入。 粘贴数据时注意不能包含如缺考等非数值。 成绩输入完成后要保存操作。 最后退出EXCEL。 百分制试卷分析工具操作（试卷分析3） 一键完成试卷分析所有计算 点击“完成”按钮 软件自动完成各指标的测量值 依据评价模型计算出质量指数 对照各指标理想值进行文字性评价描述 生成EXCEL格式试卷分析报表 百分制试卷分析工具操作（试卷分析4） 右侧为生成的报表，供打印保存 本软件每次试卷分析将自动保存指标数据，以后可以重新调 出。