Red U (Oct 2012)
Variabilidad interobservador. Analizando algunas fuentes de error: heurísticas y categorizaciones
Abstract
La educación médica ha intentado aprovechar la capacidad de observación humana para evaluar el desempeño de sus profesionales y estudiantes. Las herramientas de evaluación basadas en observadores han demostrado por un lado tener fortalezas en cuanto a su validez, fácil aplicabilidad, bajo costo y buena aceptación por parte de docentes y alumnos pero por otro una marcada debilidad en cuanto a su nivel de reproducibilidad. Son bien conocidas las diferencias de desempeño entre los estudiantes atribuible a la especificidad del contexto o del caso pero uno de los principales problemas es la variabilidad interobservador. Analizando la dificultad de este problema utilizando los marcos de referencia tradicionales, es necesario buscar otros puntos para analizar como las personas toman decisiones o como perciben a otras personas. Con respecto a la toma de decisiones es importante considerar que los evaluadores utilizan principios heurísticos de representatividad, de disponibilidad y anclajes que reducen las tareas mentales en el cálculo de probabilidades complejas en procesos simples, pero muchas veces promueven errores severos. Con respecto al acto de percibir a otra persona, podría describirse como una tarea de categorización analizable bajo 3 conceptos: a) formación de la impresión como una construcción de modelos de personas, b) formación de la impresión como la formación de un proceso de categorización nominal y c) formación de la impresión como un proceso de categorización multidimensional. Es posible que exista una discordancia entre forma en que los humanos perciben la información y la forma en que esta información es documentada. Hay mucho que aprender e investigar en relación al comportamiento de los observadores. Por el momento es necesario introducirnos en sus mentes, con el fin de comprender qué es específicamente lo que consideran importante al momento de tomar decisiones sobre el desempeño de un alumno y desde un punto de vista práctico, se impone la necesidad de realizar múltiples-mini observaciones con el fin de amortiguar estos sesgos. AbstractMedical education has tried to use human observation to evaluate students and professional performance. Assessment tools based on direct observation have shown, on one side, to have good results in terms of validity, feasibility, costs and acceptable satisfaction rates from teachers and students; but on the other side, they have as well shown a marked weakness in their reliability levels. The differences in performance among students related to case or context specificity are well known, but one of the main problems is the interrater variability. It is not easy to understand this problem using traditional frameworks, it is necessary to look to a different alternative to analyze how people make decisions or how they perceive others. Regarding to decision-making it is important to bear in mind that evaluators use heuristic principles of representativeness, availability and anchors to reduce complex mental process, but these principles often provoke errors. The act of perceiving another person could be described as an analyzable categorization task under 3 concepts: a) impression formation as a construction of person models, b) impression formation as a nominal categorization process and c) impression formation as a multidimensional categorization process. There is a mismatch between how humans perceive information and how this information is documented. There is too much to learn and research regarding the observers’ behavior. At this moment it is necessary to gain access to their minds, to understand what specifically they consider important when they are making decisions about a student's performance, and from a practical point of view, we need to apply multiple-mini observations in order to reduce these biases.
