Evaluación de la ejecución mediante el modelo many-facet rasch measurement

  1. Prieto Adánez, Gerardo
Revista:
Psicothema

ISSN: 0214-9915

Año de publicación: 2011

Volumen: 23

Número: 2

Páginas: 233-238

Tipo: Artículo

Otras publicaciones en: Psicothema

Resumen

Este trabajo describe cómo se puede aplicar el modelo Many-Facet Rasch Measurement (MFRM) para medir los elementos de las facetas (examinados, ítems y califi cadores) involucradas en las pruebas para evaluar la ejecución. Con este fi n se incluye una introducción al MFRM, una descripción de los procedimientos de análisis y un ejemplo ilustrativo de sus potencialidades en el que se analizan, mediante el programa FACETS, las fuentes de variabilidad de la ejecución de los estudiantes en un test de expresión escrita del DELE (Diplomas de Español como Lengua Extranjera). Los resultados muestran que el procedimiento es especialmente útil para detectar a los califi cadores que presentaron diferencias en el grado de severidad, debido a su diferente empleo de los criterios de asignación de las califi caciones. La medición de los elementos de cada faceta en una métrica común facilita la comprensión de los distintos aspectos que infl uyen en las evaluaciones y permite obtener medidas objetivas de los elementos de una faceta.

Referencias bibliográficas

  • Bravo, A., y Fernández, J. (2000). La evaluación convencional frente a los nuevos modelos de evaluación auténtica. Psicothema, 12, 95-99.
  • Cronbach, L.J., Gleser, G.C., Nanda, H., y Rajaratnam, N. (1972). The dependability of behavioural measurements. New York: Wiley.
  • Fischer, G.H., y Molenaar, I.W. (1995). Rasch models: Foundations, recent developments and applications. New York: Springer-Verlag.
  • Kondo-Brown, K. (2002). An analysis of rater bias with FACETS in measuring Japanese L2 writing performance. Language Testing, 19, 1-29.
  • Lane, S., y Stone, C.A. (2006). Performance assessment. En R.L. Brennan (Ed.), Educational measurement (pp. 387-431). Wesport, CT: ACE/ Praeger.
  • Linacre, J.M. (1989). Many-facet Rasch measurement. Chicago: MESA Press.
  • Linacre, J.M. (2002). Optimizing rating scale category effectiveness. Journal of Applied Measurement, 3, 85-106.
  • Linacre, J.M. (2009). FACETS (Computer program, version 3.66.1). Chicago: MESA Press.
  • Linacre, J.M., y Wright, B.D. (2002). Construction of measures from Many-Facet Data. Journal of Applied Measurement, 3, 484-509.
  • Myford, C.M., y Wolfe, E.W. (2004). Detecting and measuring rater effects using Many-Facet Rasch Measurement: Part I. En E.V. Smith y R.M. Smith (Eds.), Introduction to Rasch Measurement (pp. 460-515). Maple Grove, MN: JAM Press.
  • O'Malley, J.M., y Pierce, L.V. (1996). Authentic assessment for English Language Learners: Practical approaches for teachers. New York: Addison-Wesley.
  • Park, T. (2004). An investigation of an ESL placement test of writing using Many-Facet Rasch measurement. Papers in TESOL & Applied Linguistics, 4, 1-21.
  • Prieto, G., y Delgado, A.R. (2003). Análisis de un test mediante el modelo de Rasch. Psicothema, 15, 94-100.
  • Tyndall, B., y Kenyon, D.M. (1996). Validation of a new holistic rating scale using Rasch multi-faceted analysis. En A. Cumming y R. Berwick (Eds.), Validation in language testing (pp. 39-57). Clevedon: Multilingual Matters.
  • Wolfe, E.W. (2009). Item and rater analysis of constructed response items via the Multi-Faceted Rasch model. Journal of Applied Measurement, 10, 335-347.
  • Wright, B.D., y Masters, G.N. (1982). Rating scale analysis. Chicago: MESA Press.