Educación Médica (Nov 2023)
Concordancia competencial entre el Examen Clínico Objetivo Estructurado y la prueba de casos clínicos computarizados de Medicina: ¿estamos evaluando lo mismo?
Abstract
Resumen: Introducción: en el curso 2020-21 las facultades de Medicina españolas realizaron una evaluación con casos-clínicos computarizados (denominada ECOE-CCS) y algunas, además, una ECOE convencional con simuladores y pacientes simulados (ECOE-CS). El Comité ECOE interfacultativo asumió como iguales las competencias evaluadas con ambas pruebas. El objetivo del estudio es comprobar su similitud valorando la concordancia de resultados de alumnos en las competencias evaluadas con las 2 pruebas. Métodos: ciento ocho alumnos participaron en la ECOE-CCS de 10 casos clínicos y una ECOE-CS de 12 estaciones. Hubo 2 versiones de ECOE-CS para disminuir el efecto copiado entre alumnos. La ECOE-CCS tuvo 303 ítems de evaluación, y las ECOE-CS 320 y 321 ítems respectivamente. Los 5 dominios competenciales evaluados con ambas pruebas fueron: anamnesis, exploración clínica, juicio clínico, prevención y profesionalismo. La consistencia interna de ambas ECOE se midió con el alfa de Cronbach. La correlación entre dominios competenciales se testó con el coeficiente de correlación de Pearson (R). Resultados: los alumnos obtuvieron medias de calificaciones globales similares en ambas pruebas (ECOE-CS: 69,54%; ECOE-CCS: 71,35%). Hubo diferencias significativas en 4 de 5 dominios competenciales evaluados por ambas pruebas. La consistencia interna respecto a sus dominios competenciales fue: ECOE-CS-1 α=0,62; ECOE-CS-2 α=0,54 y ECOE-CCS α=0,38. No se halló correlación entre calificaciones globales de alumnos en las 2 pruebas (R=0,184; p= 0,056), ni entre los dominios competenciales similares evaluados con ambas (R= -0,2 a 0,37). Conclusión: los resultados no avalan la similitud de competencias evaluadas con ambas pruebas. Serán necesarios otros estudios para definir las competencias evaluadas con la ECOE-CCS. Abstract: Background: In the 2020-21 academic year, Spanish medical schools carried out an assessment with computerised clinical cases (called CCS-OSCE) and some, in addition, a conventional OSCE with simulators and simulated patients (CS-OSCE). The inter-faculty OSCE Committee assumed the competencies assessed with both tests to be equal. The aim of the study is to check their similarity by assessing the concordance of students' results in the competencies assessed with the two tests. Methods: 108 students participated in the CCS-OSCE of 10 clinical cases and a CS-OSCE of 12 stations. There were two versions of the CS-OSCE to reduce the copying effect among students. The CCS-OSCE had 303 items, and the CS-OSCE had 320 and 321 items. The five competency domains assessed with both tests were: anamnesis, clinical examination, clinical judgement, prevention and professionalism. The internal consistency of both OSCE was measured with Cronbach's alpha. Correlation between competency domains was tested with Pearson's correlation coefficient (R). Results: Students obtained similar overall mean scores in both tests (ECOEs-CS: 69.54%; ECOE-CCS: 71.35%). There were significant differences in 4 of 5 competency domains assessed by both tests. The internal consistency with respect to their competence domains was: ECOE-CS-1 α=0.62; ECOE-CS-2 α=0.54 and ECOE-CCS α=0.38. No correlation was found between students' overall scores in the two tests (R=0.184; p= 0.056), nor between the similar competency domains assessed with both tests (R= –0.2 to 0.37). Conclusion: The results do not support the similarity of competences assessed with both tests. Further studies will be necessary in order to define the competences assessed with the CCS-OSCE.
