PISA中国试测研究的评分者效应分析对高考网上阅卷的启示

王蕾  张文静

    摘要：针对PISA 2009中国试测研究主观题评分环节所采用的多重编码设计，分析在阅读、数学和科学领域的评分中是否存在评分者效应。根据多侧面Ranch模型方法，分别对这三个领域进行评分者主效应的分析。结果显示：阅读和科学领域中，评分者之间的严苛度/宽松度差异非常显著；而数学领域中，评分者之间

的严苛度/宽松度差异较小。最后，探讨了这些结果的可能原因以及对高考网上阅卷评分借鉴的建议。

关键词：评分者效应；严绮度/宽松度；PISA；多重编码；高考网上阅卷

总结：研究认为PISA 2009中国试测研究在阅读、数学和科学均存在评分者效应。该结论与语言测验领域和成就测试领域中的一些相关研究的结论是一致的。同时，本研究发现如果评分者之间的严苛度或宽松度差异较大，将导致相当一部分考生的真实能力水平被低估(当评分者较为严苛时)或被高估(当评分者较为宽松时)。

中国绝大多数省的高考己经实现网上阅卷，但目前网上阅卷的组织形式更多地只是把人工阅卷积累起来的丰富经验和计算机技术有机结合，从而提高工作效率。事实上，网上阅卷更大的意义是它使得在传统的阅卷组织形式下绝无可能的一种全新的业务创新成为可能。

值得管理部门和研究人员思考和改进的：为主观题评分确定客观公正的评分标准和程序，建立并应用评分者质量指标去挑选和管理高水平的评分队伍，将较为关键和重要的题目分派给较高水平的评分者，实时监测和调整评分者效应，及时发现抄袭和雷同等作弊现象并加以惩罚，及时发现有创见有新意的答案并给予奖励，最大限度地消除评分者效应。

PISA China Trial Rater Effects Analysis for Gaokao Online Rating

WAND Leil，ZHANU Werrjingz

 Abstract：The aim  of  this  study  was to  analyze rater effects  in reading，math，and science for PISA2009 China Trial Study.  Based on the many一facet Rasch measurement methodology，the focus was on the rater main effects in the three subjects respectively.  Results show that considerably strong rater severity/leniency effects occurred in reading and science，but a relatively weak rater severity/leniencyeffects for math.  The potential reasons about these results were discussed and some implications for National College Entrance Examination(commonly referred to as "Uaokao"))online ratings are provided.

 Key words：rater effects；severity/Leniency；PISA；multiple coding；online rating of Uaokao

出处：《统计与信息论坛》2012年第6期