Validación de una rúbrica para la evaluación de trabajos fin de máster

  1. Garcia-Valcarcel Muñoz-Repiso, Ana 1
  2. Hernández Martín, Azucena 1
  3. Martín del Pozo, Marta 1
  4. Olmos Migueláñez, Susana 1
  1. 1 Universidad de Salamanca
    info

    Universidad de Salamanca

    Salamanca, España

    ROR https://ror.org/02f40zc51

Revista:
Profesorado: Revista de curriculum y formación del profesorado

ISSN: 1989-6395,  1138-414X

Año de publicación: 2020

Título del ejemplar: Enseñanza Superior Contemporánea

Volumen: 24

Número: 2

Páginas: 72-96

Tipo: Artículo

DOI: 10.30827/PROFESORADO.V24I2.15151 DIALNET GOOGLE SCHOLAR lock_openAcceso abierto editor

Otras publicaciones en: Profesorado: Revista de curriculum y formación del profesorado

Objetivos de desarrollo sostenible

Resumen

Las rúbricas se han convertido en un instrumento de evaluación de competencias apropiado para valorar el proceso y los resultados de aprendizaje en el contexto de la educación superior, así como para orientar el trabajo de los estudiantes. En este trabajo se presenta una rúbrica para evaluar el Trabajo Fin de Máster (TFM) de los estudiantes y el proceso de validación de la misma. La rúbrica se compone de 4 dimensiones: aspectos formales, contenido y metodología, resultados y conclusiones, y relevancia de las aportaciones para la mejora educativa. Se ha aplicado a 34 TFM que han recibido un total de 136 valoraciones por parte de los docentes. Los resultados muestran un grado de fiabilidad excelente en base a la concordancia inter-jueces en la puntuación final de la rúbrica (CCI = 0,80), si bien la concordancia en las categorías cualitativas de evaluación es más baja (valores Kappa menores a 0,40). Se garantiza su validez de contenido a través del juicio de expertos y la validez criterial mediante correlación Pearson con la variable externa “nota media del alumnado en el máster exceptuando el TFM” que aporta un valor de 0,58. Así pues, la rúbrica que se propone resulta ser un instrumento de evaluación riguroso cuyo uso podría transferirse a otros contextos similares.

Referencias bibliográficas

  • Aguaded, I. (2020). Los procesos de selección académica del manuscrito por una revista científica. Recuperado de https://comunicarautores.com/2020/02/17/los-procesos-de-seleccion-academica-del-manuscrito-por-una-revista-cientifica/
  • Bailey, J.R. (2014). Crossing the Rubric-Con. Journal of Management Education, 38 (3), 313-318. doi: 10.1177/1052562913515657
  • Blanco, A. (2008). Las rúbricas: un instrumento útil para la evaluación de competencias. En L. Prieto (Coord.) La enseñanza universitaria centrada en el aprendizaje. (pp. 171-188). Barcelona, España: Octaedro.
  • Cano, E. (2015). Las rúbricas como instrumento de evaluación de competencias en educación superior: ¿Uso o abuso?. Profesorado. Revista de curriculum y formación de profesorado, 19 (2), 265-280. Recuperado de https://recyt.fecyt.es/index.php/profesorado/article/view/40925/23289
  • Carrió, C., Soler, M. y Aymerich, M. (2015). Análisis de la Validez de Contenido de un Cuestionario de Evaluación del Aprendizaje Basado en Problemas: Un Enfoque Cualitativo. Formación universitaria, 8(1), 13-22. doi: 10.4067/S0718-50062015000100003
  • Castro, M. (2010). ¿Qué sabemos de la medida de las competencias?. Características y problemas psicométricos en la evaluación de competencias. Bordon, 63(1), 109-113. Recuperado de https://recyt.fecyt.es/index.php/BORDON/article/view/28908/15413
  • Cebrián, M. (2007). Buenas prácticas en el uso de e-portafolios y e-rúbrica. En A. Cid, M. Raposo, M. y A. Pérez (Coords.), El practicum: buenas prácticas en el Espacio Europeo de Educación Superior (pp.67-87). Madrid, España: Tórculo Edicións.
  • Cebrián, M. (2014). Evaluación formativa con e-rúbrica: aproximación al estado del arte. Revista de Docencia Universitaria, 12(1), 15-2.
  • Cebrián, M. y Monedero, J.J. (2014). Evolución en el diseño y funcionalidad de las rúbricas: desde las rúbricas “cuadradas” a las erúbricas federadas. Revista de Docencia Universitaria, 12 (1), 81-98.
  • Cicchetti, D. V. (1994). Guidelines, Criteria, and Rules of Thumb for Evaluating Normed and Standardized Assessment Instruments in Psychology. Psychological Assessment, 6(4), 284-290.
  • Chica, E. (2011). Una propuesta de evaluación para el trabajo en grupo mediante rúbrica. Escuela Abierta, 14, 67-81.
  • Dawson, P. (2017). Assessment rubrics: towards clearer and more replicable design, research and practice. Assessment & Evaluation in Higher Education, 42(3), 347-360. doi: 10.1080/02602938.2015.1111294
  • Del Pozo, J. Á. (2012). Competencias profesionales: Herramientas de evaluación: el portafolios, la rúbrica y las pruebas situacionales (Vol. 9). Madrid, España: Narcea Ediciones.
  • Díaz-Barriga, F. y De la Cruz, G. (2011). Rúbricas en la evaluación de competencias y aprendizaje complejo. Alcances y restricciones en educación superior. En K. Bujan, I. Rekelde, y P. Aramendi, (Coords.), La evaluación de competencias en la Educación Superior. Las rúbricas como instrumento de evaluación (pp. 9-12). Sevilla, España: MAD.
  • Expósito, M., Nicolau, D. y Tomas, J.V. (2017). La evaluación por competencias en los grados. Desarrollo de una experiencia en el Grado en Administración y Dirección de Empresas mediante el uso y validación de rúbrica. Revista Complutense de Educación. 28(4), 1155-1171. doi:10.5209/RCED.51618
  • Fleiss, J. L., Levin, B. y Paik, M. C. (2003). Statistical Methods for Rates and Proportions. Hoboken, New Jersey: John Wiley & Sons.
  • Fraile, J., Pardo, R. y Panadero, E. (2017). Cómo emplear las rúbricas para implementar una verdadera evaluación formativa?. Revista Complutense de Educación 28(4), 1321-1334. doi: https://doi.org/10.5209/RCED.51915
  • Gairín, I. (2009). Guía para la evaluación de competencias en el Area de Ciencias Sociales. Barcelona, España: Agéncia per a la Qualitat del Sistema Universitari de Catalunya.
  • García, M., Belmonte, B. y Nicolásac, G. (2017). Opinión del alumnado sobre el empleo de rúbricas en la universidad. Estudios Pedagógicos, 2, 93-113. Recuperado de http://hdl.handle.net/10230/21151
  • García, M. J., Terrón, Mª J. y Blanco, Y. (2009). Desarrollo de recursos docentes para la evaluación de competencias genéricas. XV Jornadas de Enseñanza Universitaria de la Informática (JENUI). UPC. Recuperado de http://hdl.handle.net/2099/7902
  • García Sanz, M.P. (2014). La evaluación de competencias en Educación Superior mediante rúbricas: un caso práctico. Revista electrónica interuniversitaria de formación del profesorado, 17(1), 87-106. doi: https://doi.org/10.6018/reifop.17.1.198861
  • Goodrich, H. (2000). Using Rubrics to Promote Thinking and Learning. Recuperado de http://www.ascd.org/publications/educational_leadership/feb00/vol57/num05/Using_Rubrics_to_Promote_Thinking_and_Learning.aspx.
  • I-Capó, A.J. Guerrero, C. Miró, J. y Egea, A. (2012). Elaboración de una rúbrica para la evaluación de los TFG y TFM de Informática de la Universitat de les Illes Balears. Actas Simposio-taller JENUI 2012. Ciudad Real, 10-13 de julio, pp. 17-24.
  • Kohn, A. (2006). The trouble with rubrics. The English Journal, 95(4), 12-15.
  • Madariaga, I. y Lekue, P. (2019) Evaluación mediante una rúbrica de las guías docentes de másteres universitarios de arte de la Universidad del País Vasco (UPV/EHU). La valoración de expertos internos y externos. Observar, 13, 26-38. Recuperado de https://www.observar.eu/ojs/index.php/Observar/article/view/101
  • Marcelo, C., Yot, C., Mayor, C., Sánchez, M. y Murillo, P. (2014). Las actividades de aprendizaje en la enseñanza universitaria: ¿hacia un aprendizaje autónomo de los alumnos? Revista de Educación, 363, 334-359. doi: 10.4438/1988-592X-RE-2012-363-191
  • Mateo, J. y Martínez, F. (2008). Mediación y evaluación educativa. Madrid: La Muralla.
  • Moskal, B. y Leydens, J.A. (2000). Scoring Rubric Development: Validity and Reliability, Practical Assessment, Research, and Evaluation, 7 (10). doi: 10.7275/q7rm-gg74
  • Muñiz, J., y Fonseca-Pedrero, E. (2019). Diez pasos para la construcción de un test, Psicothema, 31(1), 7-16 doi: 10.7334/psicothema2018.291
  • Panadero, E. y Jonsson, A. (2013). The use of scoring rubrics for formative assessment purposes revisited: A review. Educational Research Review, 9, 129–144. doi: 10.1016/j.edurev.2013.01.002
  • Panadero, E., y Romero, M. (2014). To rubric or not to rubric? The effects of self-assessment on self-regulation, performance and self-efficacy. Assessment in Education: Principles, Policy & Practice, 21(2), 133-148. doi: 10.1016/j.stueduc.2013.04.001
  • Popham, W. (1997). What’swrong – and what’sright – withrubrics? Recuperado de: http://www.ascd.org/publications/educational-leadership/oct97/vol55/num02/What%27s-Wrong%E2%80%94and-What%27s-Right%E2%80%94with-Rubrics.aspx
  • Raposo, M. y Sarceda, M.C. (2010). El trabajo en las aulas con perspectiva europea: medios y recursos para el aprendizaje autónomo. Enseñanza & Teaching: Revista interuniversitaria de didáctica, 28(2), 45-60.
  • Reddy, M. y Andrade, H. (2010). A review of rubric use in higher education. Assessment & Evaluation in Higher Education, 35(4), 435-448. doi: 10.1080/02602930902862859
  • Rekalde, I., y Buján, K. (2014). Las eRúbricas ante la evaluación de competencias transversales en Educación Superior. Revista Complutense de Educación, 25(2), 355-374. Doi: 10.5209/rev_RCED.2014.v25.n2.41594
  • Rochelle, E., Tractenberg, R.E., Kevin, T, y FitGerarld, K.T. (2012). A Mastery Rubric for the design and evaluation of an institucional curriculum in the responsible conduct of research. Assessment and Evaluation In Higher Education, 37(8), 1003-10021. doi: 10.1080/02602938.2011.596923
  • Rust, C. (2007). Towards a scholarship of assessment. Assessment and Evaluation in Higher Education, 32(2), 229-237. doi: 10.1080/02602930600805192
  • Sadler, P. M. (2009). Indeterminacy in the use of present criteria for assessment and grading in higher education. Assessment & Evaluation in Higher Education, 34,159-179. doi: 10.1080/02602930801956059
  • Sánchez-Elvira, A., Luque-Pulgar, E., García-Cedeño, F.C., López-González, M.A., Fernández-Sánchez M.V., y De Santiago-Alba C. (2010). Del diseño a la evaluación en competencias. Análisis empírico e intervención mediante rúbricas. Proyecto EA 2009-0102. Madrid, España: MEC.
  • Urrutia, M., Barrios, S., Gutiérrez, M. y Mayorga, M. (2014). Optimal method for content validity. Revista cubana de educación médica superior, 3, 547-558.
  • Valverde, J. y Ciudad, A. (2014). El uso de e-rúbricas para la evaluación de competencias en estudiantes universitarios. Estudio sobre fiabilidad del instrumento. Revista de Docencia Universitaria, 12(1), 49-79. doi: 10.4995/redu.2014.6415
  • Vázquez-Cano, E., Martín-Monje, E. y Fernández-Álvarez, M. (2014). El rol de las e-rúbricas en la evaluación de materiales digitales para la enseñanza de lenguas en entornos virtuales de aprendizaje. Revista de Docencia Universitaria, 12 (1), 135-157. doi: 10.4995/redu.2014.6414
  • Velasco, L.C. y Tójar, J.C. (2018). Uso de rúbricas en educación superior y evaluación de competencias. Profesorado. Revista de Currículum y Formación de Profesorado, 22(3), 183-208. Recuperado de https://revistaseug.ugr.es/index.php/profesorado/article/view/7998/6946
  • Velasco, R., Pérez, M., Díaz, A.J., Jordano, M.A. Márquez, C., Soria, E. Sanchidrián, J.L., Bonilla, R., Romero, D., Muñoz, I., Salas, L., Sánchez,
  • B., Mata, J., Carrillo, A. y García Ríos, J.M. (2018). La rúbrica como elemento de evaluación: aplicación y análisis en disciplinas humanísticas. Revista de innovación y buenas prácticas docentes, 18-22. Recuperado de https://www.uco.es/ucopress/ojs/index.php/ripadoc/article/view/11665/10643
  • Villa, A. y Poblete, M. (2011). Evaluación de competencias genéricas: principios, oportunidades y limitaciones. Bordón, 63, 147-170. Recuperado de https://recyt.fecyt.es/index.php/BORDON/article/view/28910
  • Villasís-Keever M.. A., Márquez-González, H., Zurita-Cruz, J.N., Miranda-Novales, G., y Escamilla-Núñez, A. (2018). El protocolo de investigación VII. Validez y confiabilidad de las mediciones. Revista Alergia México., 65(4), 414-421. Recuperado de http://www.scielo.org.mx/pdf/ram/v65n4/2448-9190-ram-65-04-414.pdf
  • Zazueta, M.A. y Herrera, L.F. (2008). Rúbrica o matriz de valoración, herramienta de evaluación formativa y sumativa. Recuperado de http://www.quadernsdigitals.net/index.php?accionMenu=hemeroteca.VisualizaArticuloIU.visualiza&articulo_id=10816
Fuente de los datos: Dialnet