你的浏览器版本太低,请使用chrome、firefox、360极速模式或者IE9以上版本浏览器。

 数字广商          学院首页    

广州商学院2016—2017学年第二学期课程考试试卷质量督查报告(摘要)

  为贯彻“以评促建,以评促改,以评促管,评建结合,重在建设”的方针,根据校领导9月14日关于本科教学工作合格评估建设工作计划的部署和《2016—2017学年第一学期评建与督导工作要点》的安排,我办组织开展了2016—2017学年第二学期课程考试试卷质量专项督查。现报告如下:
  一、督查基本情况
  (一)督查目的
  课程考试是教学工作的重要环节,是真实反映和评价教学效果的重要途径与手段;试卷是课程考试的主要载体,是学校教学质量的重要组成部分。在本科教学工作合格评估中,对试卷调阅与评审工作具有明确的要求和清晰的指标,可见课程考核环节在本科教学工作合格评估中占有关键的位置。
  该次专项督查工作的目的在于:
  1.根据本科教学工作合格评估工作精神,加强教学过程管理,及时发现考试命题及试卷评阅工作中存在的问题,促进我校教学管理质量的稳步提高,实现课程考核试卷管理的制度化、科学化和规范化。
  2.助力推动课程考核方式改革的深化,促进重记忆和重知识的考核模式向重理解、重综合应用能力运用的考核模式转变,构建科学合理的应用型人才培养的考评机制,并以此带动学生学习方式的转变。
  3.完善教风和学风建设,进一步促进和巩固我校良好教风、考风的形成。
  (二)督查范围
  2016—2017学年第二学期开设课程(除公共体育部外)的考试试卷。抽查以重点建设专业、特色建设专业的专业课和公共必修课为主,具体见表1。
表1  抽查课程信息表
\
\
 
  (三)督查方式
  共涉及9个教学单位,8个专业,25门课程,30个教学班1440份试卷。
  1.本次督查由我办组织, 我办领导、相关学科(专业)教学督导员和教务处领导、有关工作人员共同参与, 相关教学单位配合。
  2.集中审核,分层把关,逐课逐份逐项检验, 着重考察试题的信度、难度、区分度、效度等。
  (四)督查依据
  1.本科教学工作合格评估体系与考核评价相关的指标与要求;
  2.广州商学院课程考试暂行管理办法(2016年12月14日颁布);
  3.广州商学院教师教学工作规范(2016年8月30日颁布)。
  (五)督查内容
  1.试题质量
  审查考核方式是否符合专业人才培养方案的要求;命题是否切合专业人才培养方案关于培养目标和规格的要求;是否以课程教学大纲和考试大纲为依据,是否符合课程教学大纲和考试大纲的要求;题量、题型、试题难易度和覆盖面是否适当;试题内容是否科学、客观、合理、正确;分值是否合理;评分标准是否科学、准确、可操作;是否注重考核知识的运用能力和实践创新能力的培养。
  2.卷面质量
  审查试卷文字、插图是否工整、清楚、标准。
  3.试卷评阅
  审查阅卷是否认真、公正、无误;评分是否科学、合理、规范;统考课程是否实行流水阅卷;成绩评定是否客观;签名是否规范;平时成绩依据是否充分;成绩分布是否反映真实水平。
  4.考试质量分析
  审查《试卷分析报告》是否做到相关数据统计正确,对学生答卷的评价是否准确和客观,是否有针对性地给出课程教学与考核的建议。
  5.试卷管理
  审查考试资料是否齐全,是否按要求装订和归档。
  6.试题分析
  审查各课程考试试题的信度、难度、区分度、效度等是否合理。
  (六)督查工作安排
  1.部署学习阶段(第4、5周9月24日—10月7日)
  (1)提高认识,统一思想,明确工作目标与方向。
  (2)学习本科教学工作合格评估体系与课程考核(考试)相关的指标与内容,学校课程考核管理制度,教育测量、教学评价相关理论。
  (3)根据校领导的指示和教务管理部门的意见,进一步完善方案。
  (4)制定检查记录用表。
  (5)请教务管理部门提供课程考试清单。
  2.访谈交流阶段(第6、7周10月8日—22日)
  我办主任邬家炜和教务处处长彭娟率有关人员,分别到金融学院、电子商务管理学院、会计学院、旅游学院、外国语学院、法学院、信息技术与工程学院、艺术设计学院、思想政治理论课教学部召开工作沟通会。相关教学单位主要负责人在会上,介绍了本单位课程考试工作的基本情况,包括考试组织管理、考试方式方法、考试评价效果、主要存在问题、考试改革思路、问题解决策略与办法等。艺术设计学院从学科建设的角度谈了关于专业课程考试现状与改革的思考;外国语学院、法学院围绕课程考试工作所作的交流,既有实践总结,又有理论思考,既有改革思路的描述,又有策略方法的分享;信息技术与工程学院在会前作了比较到位的数据统计,结合翔实的数据分析了该院课程考试工作的基本情况与存在问题;金融学院、电子商务管理学院、会计学院组织任课教师和教务员以教研活动的形式,统一对试卷质量工作的思想认识,严格按照批改标准对近两三个学期的试卷进行了复核;旅游学院、思想政治理论课教学部等组织各教研室负责人参加沟通会,及时掌握会议精神。
  3.材料抽调阶段(第8周10月22日—28日)
  各教学单位提供的原始材料,含课程教学大纲;考试大纲;期末考试空白卷(A、B卷)、评分标准及参考答案;学生考试试卷;试卷审批表;命题双向细目表;学生总评成绩单、平时成绩单、课内实验(实训)成绩单;试卷分析报告。
  4.检查评析阶段(第9周10月29日—11月4日)
  我办组织教学督导员对抽调的试卷和资料进行全面的检查。对于督查过程出现的疑问和异议,教学督导员及时与相关任课(命题)教师联系与咨询。
  5.数据统计阶段(第10、11、12周11月5日—25日)
  对检查过程中形成的原始数据资料进行统计与分析。
  6.报告撰写阶段(第13、14周11月26日—12月9日)
  在对检查情况进行综合分析的基础上,撰写专项督查报告。
  7.通报反馈阶段(第15、16周12月10日—12月23日)
  向教学管理部门和各教学单位通报督查结果,反馈改进意见和建议,督促整改。
  二、试卷形式检查情况分析
  我办对各门课程考试试卷本身的质量和批改、统分、装订、试卷分析、成绩登记等情况进行了认真的查阅,并填写了《试卷质量督查评析表》(见附件)。下面试对试卷形式检查情况分析如下:
  (一)值得肯定的方面
  1.不同教师主讲的同一门课程基本做到了统一命题、统一考试,命题程序基本规范
  本次抽查的25门课程试卷,除旅游学院的《旅游资源与开发》、《旅游心理学》、《旅行社经营与管理》三门课程是由主讲教师自行命题外,其余22门课程试卷都实行了统一命题、统一考试。命题前填写了《双向细目表》,命题后填写有《命题审批表》,并履行了规定的审批手续。
  2.试题质量总体符合要求
  本次抽查的25门课程都有A、B两套试题。除旅游学院的《旅游心理学》课程A、B卷内容重复率达40%外,其余各门课程试题A、B卷内容重复率均在20%以下,符合学校要求。大部分试题内容能覆盖课程的主要章节,试题符合专业人才培养方案、课程大纲和考试大纲对知识、能力的要求,题型多样,题量基本适中,难易程度基本合理,试题能够考察学生对课程知识(技能)的掌握程度。试卷格式基本标准,除少数试题的参考答案缺少部分题目的小题(或要点、步骤)的评分标准,或答案仅有要点但欠明确外,大部分试题的参考答案和评分标准符合要求。
  3.大部分教师能够按要求批改试卷和进行评分
所有教师都用红墨水或红芯圆珠笔批改试卷,多数试卷上面的得分、扣分标记明显,基本做到小题分写在题目右边,大题分汇总填在题首,并登记在卷首的得分栏内,试卷上基本都有阅卷人签名。大部分阅卷教师能够根据参考答案和评分标准认真评卷,基本没有误判、漏判和随意加分、减分情况。
  4.试卷的装订、保管基本规范
  各门课程的试卷都按学生学号顺序装订成册,并附有试题、参考答案、成绩登记表、试卷分析表、课程大纲、考试大纲等,大部分试卷装订顺序与成绩登记表的名单顺序一致,绝大多数试卷封面填写的人数与试卷份数相符。
  5.提高了能力测试考试内容的效度
  不少课程在考题内容上体现了应用型、实践性的要求,如旅游学院的《旅行社经营与管理》课程对考核方法作了调整,平时成绩占10%,实践操作占40%,期末考试成绩占50%,突出了对学生平时动手能力的考查。该课程的考题也注重对学生综合能力的考察,其案例分析题是要求学生设计完整的旅行社产品(旅游路线),学生需要根据所学知识和技能,说明其设计的产品所遵循的原则,分析该产品进入目标市场的定位和拟采用的定价原则、促销手段、售后服务管理等。
  电子商务管理学院的《电子商务物流》课程考题内容突出了当前物流业的热点问题,如物流成本控制、物流标准化、物流企业应对《物流业发展中长期规划》的策略,等等。关于物流技术研发与创新的案例分析题,所选取的案例源自于校企合作单位京东公司,在课程考核层面上初步显现了与校企合作单位的对接。
  信息技术与工程学院的《操作系统》、《计算机网络技术》、《数据结构》课程考题具有很强的实践性,分别着重对学生运用相关理论与技术解决处理器管理、存储管理和设备管理,计算机网络构建、网络操作管理,应用与编程等实际问题的考核。
法学院的《国际经济法》课程考题内容涉及了我国当前对外贸易的热点和学生在实际工作岗位上碰到的常见问题。
  思想政治理论课教学部的《高等数学Ⅱ》课程考题中的应用题,考察了学生运用数学知识解决企业关于经济投入与产出问题的能力。
  三、试卷分析
  考试试卷质量分析包括定性分析与定量分析两个方面。有效考试的一个必要条件是试题要有较高的信度和效度,还要具备必要的区分度和适当的难度。
  (一)基本概念
  1.信度即可靠性,是指测量结果的一致性程度。信度是衡量试卷或考试质量的一项重要指标。一个具有良好信度的测验,使用不同的主试者、评分者、时间、情境,其所得的分数应该接近。
  2.效度即有效性,是指一个测验对它所要测量的对象准确测量的程度。考试总是为达到一定的测量目的的,判断它的效度高低,就要看它达到测量目的的程度。可信的考试未必有效,所以,高效度是评价良好考试的一项重要指标。
  3.难度是指试题的难易程度。一道试题在正常情况下,如大部分考生都能答对,则该题的难度就小,如都不能答对,则难度就大。
  4.区分度是指考试题目对不同考生加以区分的能力。区分度高的试题,能将不同水平的考生区分开来,而区分度低的试题则没有这种鉴别功能。
  (二)指标介定
  为了开展定量研究,我办对所抽查的试卷进行了基于数据的成绩分析工作。具体做法是采集每一门课程试卷中每一小题的得分,用分半法求出信度,取最近一学期的有效科目平均分作为效标求出效标效度,对0、1记分测题与非0、1记分测题用不同公式算出各题难度,通过高分组、低分组的差异算出区分度。
  教育测量学没有明确对上述4个维度的取值范围给出对应的意义,即取值解释可能带有主观的成分。根据所用计算方法,采用以下常用的解释:
  信度解释:低于0.55(不好),0.55—0.64(勉强可用,最好不要),0.65—0.69(合格),0.70—0.79(好),0.80以上(很好)。
  效度解释:低于0.40(不好),0.40—0.59(合格),0.60—0.79(好),0.80以上(很好)。           
  区分度解释:低于0.20(不好),0.20—0.29(合格),0.30—0.39(好),0.4以上(很好)。
  难度解释:低于0.20(容易),0.20—0.29(偏易), 0.30 —0.54(正常), 0.55—0.64(稍难),0.65以上(难)。
  标准差解释:低于7(偏低),7—13(正常),大于13(偏高)。
  (三)数据分析
  (略)
  四、建议及改进措施
  (一)建议教学管理部门高度重视课程考试管理,继续完善相关制度,做到防患于未然
  (二)建议各教学单位进一步强化试卷质量监督,优化试卷管理程序,规范试卷管理过程
  (三)教师树立高度的责任意识,做到科学命题,规范批改,公正考核
  (四)教师要掌握好试题的区分度和难度
  (五)对任课教师开展教育评价技术专项培训
 
 
 
 
                                    广州商学院评建与督导办公室
                                          2017年12月20日