Analysis of rater severity on written expression exam using Many Faceted Rasch Measurement

  1. Gerardo Prieto 1
  2. Eloísa Nieto 1
  1. 1 Universidad de Salamanca, Spain
Revista:
Psicológica: Revista de metodología y psicología experimental

ISSN: 1576-8597

Año de publicación: 2014

Volumen: 35

Número: 2

Páginas: 385-397

Tipo: Artículo

DIALNET GOOGLE SCHOLAR lock_openAcceso abierto editor

Otras publicaciones en: Psicológica: Revista de metodología y psicología experimental

Resumen

En este trabajo se describe cómo se puede aplicar el modelo Many Faceted Rasch Measurement (MFRM) para analizar la evaluación del rendimiento mediante calificadores. El manuscrito presenta una introducción al modelo MFRM, una descripción de los procedimientos de análisis y un ejemplo para ilustrar cómo se analizan los efectos de diversos factores en el rendimiento de los examinados en un test de expresión escrita. Los resultados ilustran la utilidad del modelo para detectar los calificadores que presentan valores extremos en el continuo de severidad. El modelo MFRM aporta puntuaciones en una métrica común de los diversos elementos de las facetas integradas en el proceso de medición (examinados, tareas, calificadores). Esta integración aporta ventajas para comprender el marco de la evaluación.

Referencias bibliográficas

  • Cronbach, L.J., Gleser, G.C., Nanda, H. and Rajaratnam, N. (1972). The dependability of behavioural measurements. New York: Wiley.
  • Eckes, T. (2011). Introduction to Many-Facet Rasch Measurement. Analyzing and Evaluating Rater-Mediated Assessments. Frankfurt am Main: Peter Lang.
  • Kondo-Brown, K. (2002). An analysis of rater bias with FACETS in measuring Japanese L2 writing performance. Language Testing, 19, 1-29. http://dx.doi.org/10.1191/02655322o2it218oa
  • Lane, S. and Stone, C.A. (2006). Performance Assessment. In R. L. Brennan (Ed.): Educational Measurement (pp 387-431). Wesport, CT: ACE/Praeger.
  • Linacre, J. M. (1989). Many-facet Rasch measurement. Chicago: MESA Press.
  • Linacre, J.M. (2002). Optimizing Rating Scale Category Effectiveness. Journal of Applied Measurement, 3, 85-106.
  • Linacre, J. M. (2009). FACETS (Computer program, version 3.66.1). Chicago: MESA Press.
  • Linacre, J.M. and Wright, B.D. (2002). Construction of Measures from Many-Facet Data. Journal of Applied Measurement, 3, 484-509.
  • Myford, C.M. and Wolfe, E.W. (2004a). Detecting and Measuring Rater Effects Using Many-Facet Rasch Measurement: Part I. In E. V. Smith y R.M. Smith (Eds.). Introduction to Rasch Measurement (pp. 460-515). Maple Grove, MN: JAM Press.
  • Myford, C.M. and Wolfe, E.W. (2004b). Detecting and Measuring Rater Effects Using Many-Facet Rasch Measurement: Part II. En E. V. Smith y R.M. Smith (Eds.). Introduction to Rasch Measurement (pp. 518-574). Maple Grove, MN: JAM Press.
  • Park, T. (2004). An Investigation of an ESL Placement Test of Writing Using Many-facet Rasch Measurement, Papers in TESOL & Applied Linguistics, 4, 1-21.
  • Prieto, G. (2011). Evaluación de la ejecución mediante el modelo Many-Facet Rasch Measurement. Psicothema, 23, 233-238. [Performance assessment using Many-Facet Rasch Measurement].
  • Prieto, G. and Delgado, A.R. (2003). Análisis de un test mediante el modelo de Rasch. Psicothema, 15, 94-100. [Test analysis using Rasch model].
  • Tyndall, B. and Kenyon, D. M. (1996). Validation of a new holistic rating scale using Rasch multi-faceted analysis. En A. Cumming y R. Berwick (Eds.), Validation in language testing (pp. 39-57). Clevedon: Multilingual Matters.
  • Wolfe, E.W. (2009). Item and Rater Analysis of Constructed Response Items via the Multi-Faceted Rasch Model. Journal of Applied Measurement, 10, 335-347.
  • Wright, B.D. and Masters, G.N. (1982). Rating scale analysis. Chicago: MESA Press.
Fuente de los datos: Dialnet