你的浏览器版本太低,请使用chrome、firefox、360极速模式或者IE9以上版本浏览器。

 数字广商          学院首页    

广州商学院2016—2017学年第二学期课程考试试卷质量督查报告

  为贯彻“以评促建,以评促改,以评促管,评建结合,重在建设”的方针,根据校领导9月14日关于本科教学工作合格评估建设工作计划的部署和《2016—2017学年第一学期评建与督导工作要点》的安排,我办组织开展了2016—2017学年第二学期课程考试试卷质量专项督查。现报告如下:
  一、督查基本情况
  (一)督查目的
  课程考试是教学工作的重要环节,是真实反映和评价教学效果的重要途径与手段;试卷是课程考试的主要载体,是学校教学质量的重要组成部分。在本科教学工作合格评估中,对试卷调阅与评审工作具有明确的要求和清晰的指标,可见课程考核环节在本科教学工作合格评估中占有关键的位置。
  该次专项督查工作的目的在于:
  1.根据本科教学工作合格评估工作精神,加强教学过程管理,及时发现考试命题及试卷评阅工作中存在的问题,促进我校教学管理质量的稳步提高,实现课程考核试卷管理的制度化、科学化和规范化。
  2.助力推动课程考核方式改革的深化,促进重记忆和重知识的考核模式向重理解、重综合应用能力运用的考核模式转变,构建科学合理的应用型人才培养的考评机制,并以此带动学生学习方式的转变。
  3.完善教风和学风建设,进一步促进和巩固我校良好教风、考风的形成。
  (二)督查范围
  2016—2017学年第二学期开设课程(除公共体育部外)的考试试卷。抽查以重点建设专业、特色建设专业的专业课和公共必修课为主,具体见表1。
  表1  抽查课程信息表
教学单位名称 专业 考试科目 班级
金融学院 金融学 公司金融 国金1401
国际金融 城镇1501
西方经济学Ⅰ 金融学1609
电子商务管理学院 电子商务 经济法 移商1401
电子商务物流 移商1503
西方经济学Ⅱ 电子商务运营1601
会计学院 会计学 纳税会计实务 会计学1402
财务管理 会计学1503
中级财务会计(上) 会计学1601
旅游学院 旅游管理 旅行社经营管理 旅管1501(旅游管理)
旅游心理学 旅管1504
旅游资源与开发 旅管1601
外国语学院 商务英语 高级商务英语Ⅱ 商英1401
商务英语笔译 商英1402
基础商务英语Ⅱ 商英1501
法学院 法学 国际私法 法学1403,法学1404,
法学1405
国际经济法 法学1403
电子商务法 法学1502
信息技术与工程学院 计算机科学与技术 操作系统 网工1501(网络工程)
计算机网络技术 计科1601
数据结构 计科1602
艺术设计学院 产品设计 设计概论 产品1601
思想政治理论课
教学部
思想政治理论课程、
高等数学
毛泽东思想和中国特色社会主义理论体系概论   品牌推广1601,
网络营销1601
高等数学Ⅱ 酒管1602,旅管1601
经济数学Ⅱ   金融学1606,
金融学1608
    共涉及9个教学单位,8个专业,25门课程,30个教学班1440份试卷。
  (三)督查方式
  1.本次督查由我办组织, 我办领导、相关学科(专业)教学督导员和教务处领导、有关工作人员共同参与, 相关教学单位配合。
  2.集中审核,分层把关,逐课逐份逐项检验, 着重考察试题的信度、难度、区分度、效度等。
  (四)督查依据
  1.本科教学工作合格评估体系与考核评价相关的指标与要求;
  2.广州商学院课程考试暂行管理办法(2016年12月14日颁布);
  3.广州商学院教师教学工作规范(2016年8月30日颁布)。
  (五)督查内容
  1.试题质量
  审查考核方式是否符合专业人才培养方案的要求;命题是否切合专业人才培养方案关于培养目标和规格的要求;是否以课程教学大纲和考试大纲为依据,是否符合课程教学大纲和考试大纲的要求;题量、题型、试题难易度和覆盖面是否适当;试题内容是否科学、客观、合理、正确;分值是否合理;评分标准是否科学、准确、可操作;是否注重考核知识的运用能力和实践创新能力的培养。
  2.卷面质量
  审查试卷文字、插图是否工整、清楚、标准。
  3.试卷评阅
  审查阅卷是否认真、公正、无误;评分是否科学、合理、规范;统考课程是否实行流水阅卷;成绩评定是否客观;签名是否规范;平时成绩依据是否充分;成绩分布是否反映真实水平。
  4.考试质量分析
  审查《试卷分析报告》是否做到相关数据统计正确,对学生答卷的评价是否准确和客观,是否有针对性地给出课程教学与考核的建议。
  5.试卷管理
审查考试资料是否齐全,是否按要求装订和归档。
  6.试题分析
  审查各课程考试试题的信度、难度、区分度、效度等是否合理。
  (六)督查工作安排
  1.部署学习阶段(第4、5周9月24日—10月7日)
  (1)提高认识,统一思想,明确工作目标与方向。
  (2)学习本科教学工作合格评估体系与课程考核(考试)相关的指标与内容,学校课程考核管理制度,教育测量、教学评价相关理论。
  (3)根据校领导的指示和教务管理部门的意见,进一步完善方案。
  (4)制定检查记录用表。
  (5)请教务管理部门提供课程考试清单。
  2.访谈交流阶段(第6、7周10月8日—22日)
  我办主任邬家炜和教务处处长彭娟率有关人员,分别到金融学院、电子商务管理学院、会计学院、旅游学院、外国语学院、法学院、信息技术与工程学院、艺术设计学院、思想政治理论课教学部召开工作沟通会。相关教学单位主要负责人在会上,介绍了本单位课程考试工作的基本情况,包括考试组织管理、考试方式方法、考试评价效果、主要存在问题、考试改革思路、问题解决策略与办法等。艺术设计学院从学科建设的角度谈了关于专业课程考试现状与改革的思考;外国语学院、法学院围绕课程考试工作所作的交流,既有实践总结,又有理论思考,既有改革思路的描述,又有策略方法的分享;信息技术与工程学院在会前作了比较到位的数据统计,结合翔实的数据分析了该院课程考试工作的基本情况与存在问题;金融学院、电子商务管理学院、会计学院组织任课教师和教务员以教研活动的形式,统一对试卷质量工作的思想认识,严格按照批改标准对近两三个学期的试卷进行了复核;旅游学院、思想政治理论课教学部等组织各教研室负责人参加沟通会,及时掌握会议精神。
  3.材料抽调阶段(第8周10月22日—28日)
  各教学单位提供的原始材料,含课程教学大纲;考试大纲;期末考试空白卷(A、B卷)、评分标准及参考答案;学生考试试卷;试卷审批表;命题双向细目表;学生总评成绩单、平时成绩单、课内实验(实训)成绩单;试卷分析报告。
  4.检查评析阶段(第9周10月29日—11月4日)
  我办组织教学督导员对抽调的试卷和资料进行全面的检查。对于督查过程出现的疑问和异议,教学督导员及时与相关任课(命题)教师联系与咨询。
  5.数据统计阶段(第10、11、12周11月5日—25日)
  对检查过程中形成的原始数据资料进行统计与分析。
  6.报告撰写阶段(第13、14周11月26日—12月9日)
  在对检查情况进行综合分析的基础上,撰写专项督查报告。
  7.通报反馈阶段(第15、16周12月10日—12月23日)
  向教学管理部门和各教学单位通报督查结果,反馈改进意见和建议,督促整改。
  二、试卷形式检查情况分析
  我办对各门课程考试试卷本身的质量和批改、统分、装订、试卷分析、成绩登记等情况进行了认真的查阅,并填写了《试卷质量督查评析表》(见附件)。下面试对试卷形式检查情况分析如下:
  (一)值得肯定的方面
  1.不同教师主讲的同一门课程基本做到了统一命题、统一考试,命题程序基本规范
  本次抽查的25门课程试卷,除旅游学院的《旅游资源与开发》、《旅游心理学》、《旅行社经营与管理》三门课程是由主讲教师自行命题外,其余22门课程试卷都实行了统一命题、统一考试。命题前填写了《双向细目表》,命题后填写有《命题审批表》,并履行了规定的审批手续。
  2.试题质量总体符合要求
  本次抽查的25门课程都有A、B两套试题。除旅游学院的《旅游心理学》课程A、B卷内容重复率达40%外,其余各门课程试题A、B卷内容重复率均在20%以下,符合学校要求。大部分试题内容能覆盖课程的主要章节,试题符合专业人才培养方案、课程大纲和考试大纲对知识、能力的要求,题型多样,题量基本适中,难易程度基本合理,试题能够考察学生对课程知识(技能)的掌握程度。试卷格式基本标准,除少数试题的参考答案缺少部分题目的小题(或要点、步骤)的评分标准,或答案仅有要点但欠明确外,大部分试题的参考答案和评分标准符合要求。
  3.大部分教师能够按要求批改试卷和进行评分
  所有教师都用红墨水或红芯圆珠笔批改试卷,多数试卷上面的得分、扣分标记明显,基本做到小题分写在题目右边,大题分汇总填在题首,并登记在卷首的得分栏内,试卷上基本都有阅卷人签名。大部分阅卷教师能够根据参考答案和评分标准认真评卷,基本没有误判、漏判和随意加分、减分情况。
  4.试卷的装订、保管基本规范
  各门课程的试卷都按学生学号顺序装订成册,并附有试题、参考答案、成绩登记表、试卷分析表、课程大纲、考试大纲等,大部分试卷装订顺序与成绩登记表的名单顺序一致,绝大多数试卷封面填写的人数与试卷份数相符。
  5.提高了能力测试考试内容的效度
  不少课程在考题内容上体现了应用型、实践性的要求,如旅游学院的《旅行社经营与管理》课程对考核方法作了调整,平时成绩占10%,实践操作占40%,期末考试成绩占50%,突出了对学生平时动手能力的考查。该课程的考题也注重对学生综合能力的考察,其案例分析题是要求学生设计完整的旅行社产品(旅游路线),学生需要根据所学知识和技能,说明其设计的产品所遵循的原则,分析该产品进入目标市场的定位和拟采用的定价原则、促销手段、售后服务管理等。
  电子商务管理学院的《电子商务物流》课程考题内容突出了当前物流业的热点问题,如物流成本控制、物流标准化、物流企业应对《物流业发展中长期规划》的策略,等等。关于物流技术研发与创新的案例分析题,所选取的案例源自于校企合作单位京东公司,在课程考核层面上初步显现了与校企合作单位的对接。
  信息技术与工程学院的《操作系统》、《计算机网络技术》、《数据结构》课程考题具有很强的实践性,分别着重对学生运用相关理论与技术解决处理器管理、存储管理和设备管理,计算机网络构建、网络操作管理,应用与编程等实际问题的考核。
法学院的《国际经济法》课程考题内容涉及了我国当前对外贸易的热点和学生在实际工作岗位上碰到的常见问题。
  思想政治理论课教学部的《高等数学Ⅱ》课程考题中的应用题,考察了学生运用数学知识解决企业关于经济投入与产出问题的能力。                                                           
  三、试卷分析
  考试试卷质量分析包括定性分析与定量分析两个方面。有效考试的一个必要条件是试题要有较高的信度和效度,还要具备必要的区分度和适当的难度。
  (一)基本概念
  1.信度即可靠性,是指测量结果的一致性程度。信度是衡量试卷或考试质量的一项重要指标。一个具有良好信度的测验,使用不同的主试者、评分者、时间、情境,其所得的分数应该接近。
  2.效度即有效性,是指一个测验对它所要测量的对象准确测量的程度。考试总是为达到一定的测量目的的,判断它的效度高低,就要看它达到测量目的的程度。可信的考试未必有效,所以,高效度是评价良好考试的一项重要指标。
  3.难度是指试题的难易程度。一道试题在正常情况下,如大部分考生都能答对,则该题的难度就小,如都不能答对,则难度就大。
  4.区分度是指考试题目对不同考生加以区分的能力。区分度高的试题,能将不同水平的考生区分开来,而区分度低的试题则没有这种鉴别功能。
  (二)指标介定
  为了开展定量研究,我办对所抽查的试卷进行了基于数据的成绩分析工作。具体做法是采集每一门课程试卷中每一小题的得分,用分半法求出信度,取最近一学期的有效科目平均分作为效标求出效标效度,对0、1记分测题与非0、1记分测题用不同公式算出各题难度,通过高分组、低分组的差异算出区分度。
教育测量学没有明确对上述4个维度的取值范围给出对应的意义,即取值解释可能带有主观的成分。根据所用计算方法,采用以下常用的解释:
  信度解释:低于0.55(不好),0.55—0.64(勉强可用,最好不要),0.65—0.69(合格),0.70—0.79(好),0.80以上(很好)。
  效度解释:低于0.40(不好),0.40—0.59(合格),0.60—0.79(好),0.80以上(很好)。           
  区分度解释:低于0.20(不好),0.20—0.29(合格),0.30—0.39(好),0.4以上(很好)。
  难度解释:低于0.20(容易),0.20—0.29(偏易), 0.30 —0.54(正常), 0.55—0.64(稍难),0.65以上(难)。
  标准差解释:低于7(偏低),7—13(正常),大于13(偏高)。
  • 数据分析
    (略)
  四、建议及改进措施
  (一)建议教学管理部门高度重视课程考试管理,继续完善相关制度,做到防患于未然
  针对此次试卷督查中发现的问题,建议教学管理部门给予专题研究,进一步明确课程考试和命题的方法、技术和管理工作要求,并通过各教学单位传达到各专业教研室(系)和参与相关工作的每一位教师。
  教学管理部门重点要继续完善好有关考试管理的各项制度性安排,做好查漏补缺,防微杜渐,尽可能通过规范化的制度防范和杜绝各种问题的发生。目前,学校对于平时成绩与期末卷面成绩的分值结构问题,并没有硬性规定,而是赋予了教师更多的自主权,这就容易出现抽查中发现的上述问题。建议教务管理部门可以在大原则的基础上,对期末卷面成绩设定最低分数线,对低于该分数线的学生不论其平时成绩,总评成绩均一律判定为不及格。这既赋予教师一定的自主权,又进行一定的限制,保证了灵活性和原则性的统一。
  教学管理部门除做好考试试卷管理的制度性安排外,还可在期中教学检查中,对各教学单位上学期的试卷进行抽查,形成常态化的长效机制。
  (二)建议各教学单位进一步强化试卷质量监督,优化试卷管理程序,规范试卷管理过程
  各教学单位要建立、落实和完善以教学副院长为首,以教研室(系)主任、命题教师为核心,以教务行政人员为辅的多层次的试卷管理体系。教学副院长负责统领安排和监督试卷的命题、审核、批改、归档等工作;命题教师负责试卷的命题内容质量与形式规范;教研室(系)主任负责命题内容质量与形式规范、试卷批改质量与规范的审核与指导;教务员负责命题与批改的形式规范审核、试卷的归档。做好工作分工,责任分解,落实到人,严格按照学校有关规定进行审批,杜绝审批环节流于形式、形同虚设的状况,强化各主体的责任感,形成完善而有力的监控体系。
  各教学单位要进一步加强教师的工作责任感教育,进一步组织教师深入学习学校有关考试工作管理文件,进一步强化对考试工作的监控,完善各个环节和各项细则,如试卷的命题、评阅、统分及核分分别由专人负责;提倡采用流水作业的方式批改;实现命题与评阅、统分与核分分开操作等,坚决杜绝试卷管理中低级错误的发生。各教研室(系)把学习考试工作管理文件纳入到每学期的教研室(系)工作中,把“提高试卷命题质量、规范试卷批改过程”作为教研室的教学研究活动之一,并使之常态化。
  各教学单位进一步完善学院(部)、教研室(系)、教师命题和试卷的自查机制,切实落实自查工作,每学期应对上学期的试卷进行认真复查。通过教师、教研室(系)自查、互查等多种形式,将试卷自查工作制度化,确保试卷质量不断提高。
  (三)教师树立高度的责任意识,做到科学命题,规范批改,公正考核
  从教师的层面看,为了确保试卷命题的质量,要做到“三个符合”(符合教学大纲、符合课程考试大纲、符合学生学情),避免随意和盲目命题。要把握好命题关,关键在于把握好命题的依据。命题要以课程大纲为依据,试卷要与考核大纲保持一致,各单元试题分数分配与学时数分配基本保持一致。命题应做到考试内容重点突出,题型分布合理,难度适中,不出超纲、偏纲的题目。要把握好题量及覆盖面,既要考核学生掌握基本理论、基本知识和基本技能水平,又要考核学生综合运用、分析和解决问题的能力。
  教师注意处理好试题库与自主命题的关系。试题库有利于增强考试的标准化和规范化,有条件的课程要尽量建立起相应的试题库,作为专业和课程建设的重要组成部分。但光依靠试题库命题也有一定的局限性,如无法随机抽查课程内容和学生综合知识的掌握程度;自主命题则具有灵活性和随机性的特点,可以弥补统一试题库的局限。命题教师可根据课程教学和学生学习特点加以考虑,区分“重点掌握”、“掌握”、“熟悉”和“了解”的不同深度,合理选择试题库与自主命题。
  教师要进一步提高责任意识,坚决把握好试卷批改关。要严格按照评分标准批改,得分或减分要和评分标准保持一致。要严格遵循学校规定的试卷评阅规范和要求,认真核分、计分,确保分数不出错。教师要把评阅规范和要求贯穿于试卷工作全过程,认真付诸实施,逐步把“制度化”与“常态化”的试卷批改转变为自身的“习惯化”。
  平时成绩是期末最终成绩的重要组成部分,教师要把握好平时成绩关,按照学生的平时表现和平时作业或测验的实际情况,客观公正地给予平时成绩。平时成绩的评分应明确计算方法,平时作业或测验等应有任课教师评阅的记录。不同水平的学生要有一定的区分度,坚决防止平时成绩“优秀扎堆”的现象,坚决杜绝“人情分”。
课程考核分析是检阅教学质量和考核效果的一个重要环节,教师要按照规定对期末考试卷面成绩给予认真的分析。针对试题的命题质量、学生答题情况、成绩分布等,并结合教学要求、教学过程等方面,对试题或教学上存在的不足与问题提出相应意见与建议,防止“走形式、走过场”。
  • 教师要掌握好试题的区分度和难度
  试题的区分度尽可能大,应基本上能区分考试的上、中、下三种水平。从总体上看,平时用功、复习花时间多、学习能力与水平较高的考生应考出高分数;平时不用功、复习时间少、学习能力与水平较低的考生应考得低分;中等生应考出中等分数。试题应把不同水平考生在相同知识点或能力测试点上掌握的程度或解决问题的能力差异区分出来。
  试题难度的掌握,大体上可分为较易、适中、稍难和偏难四个级别。一般情况下,较易的试题占20%左右,适中和稍难的试题各占30%,偏难的试题占20%左右。一般地,课程期末考试平均分可控制在72—80分之间,标准差控制在7—13(正常值)为宜(少数课程例外)。
  • 对任课教师开展教育评价技术专项培训
  根据应用型课程教学改革的要求与课程考核的特点,对任课教师开展关于教育测量学、试卷编制、试卷质量评价、阅卷规范、分数采集的教育评价技术专项培训,提高课程考试质量。
 
 
 
 
                   广州商学院评建与督导办公室
                                 2017年12月20日