Consistencia intra e inter evaluador de la comparación pareada en la evaluación de la competencia de innovación de estudiantes universitarios

Abstract

(Intra-rater and inter-rater consistency of pair wise comparison in evaluating the innovation competency for university students)The aim of this paper is to propose a critical example to assess student competencies using the paired comparison as multiple criteria decision making tool based on analytic hierarchy process (AHP). We apply it to innovation competency in a subject with few students (10 master's students, divided into two groups). With the proposed methodology it is possible to create an ordered list for each group, having a distance between students (in one dimension) that reflects the degree of learning (knowledge, skills and attitudes). We found that the scores given by an evaluator for a student are consistent with the rest of the evaluation scores given to the other students in the group. It has also been found that the scores obtained by various sources (teacher, student self-assessment and evaluation of student peers) are consistent with each other. In the future, we should check whether this model is viable with large groups and we should propose a variant that allows sorting, in a list, people from different groups or convert the relative distance between group members in an absolute measure of the degree of achieving the learning outcomes set for the course(El objetivo de esta comunicación es proponer un ejemplo crítico del uso de la comparación pareada basada en el proceso de decisión multicriterio de jerarquización analítica (AHP) para evaluar competencias de los alumnos. Lo aplicaremos a la competencia de innovación en una asignatura con pocos alumnos (10 alumnos de máster, repartidos en dos grupos). Con la metodología propuesta es posible crear, en cada grupo, una lista ordenada desde la persona que más domina una competencia a la que menos la domina, teniendo una distancia entre ellos (en una dimensión) que refleje el grado de aprendizaje (conocimientos, habilidades y actitudes) relativo entre las personas del grupo. Hemos comprobado que las puntuaciones que da un evaluador para un alumno son consistentes con el resto de puntuaciones que da ese evaluador al resto de alumnos del grupo. También se ha comprobado que las puntuaciones obtenidas por varias fuentes (profesor, auto-evaluación del alumno y evaluación del alumno a sus compañeros) son consistentes entre sí. En el futuro, deberíamos comprobar si es viable este modelo con grupos numerosos y proponer una variante que permita ordenar, en una misma lista, a las personas de diferentes grupos o convertir la distancia relativa entre las personas del grupo en una media absoluta de grado de consecución de los resultados de aprendizaje planteados para la asignaturaPalabras clave: AHP; Evaluación de estudiantes; educación universitaria; evaluación por compañeros; auto-evaluación; evaluación del profesor; método de decisión multicriterio)

Keywords

• AHP
• higher education
• student assessment
• peer assessment
• self assessment
• teacher assessment
• multicriteria decision method