GMS Zeitschrift für Medizinische Ausbildung (May 2012)
Retrospektive Anpassung der Selbsteinschätzung ärztlicher Kompetenzen – Beachtenswert bei der Evaluation praktischer Weiterbildungskurse [Retrospective adjustment of self-assessed medical competencies – noteworthy in the evaluation of postgraduate practical training courses]
Abstract
[english] Aim: The efficacy of postgraduate practical training courses is frequently evaluated by self-assessment instruments. The present study analyses the effect of a basic course in laparoscopic surgery on self-assessed medical competencies.Methods: The 3-day course included teaching of knowledge and training of practical skills. In relation to course evaluation, a questionnaire for self-assessment was applied Results: 89 out of 110 participants (81%) attending 10 courses completed all the questionnaires; 83% were postgraduate trainees in surgery and 82% were inexperienced as an independent surgeon. At the beginning of the course most trainees rated themselves as 'moderately competent' or 'fully competent' with respect to the various task levels as well as to specific areas of medical competencies. At the end of the course however pronounced retrospective revisions of self-assessment to lower ratings became apparent. Statistically significant differences were seen for the task 'performing surgical procedures under supervision' and for most of the practical skills trained during the course (p <0.01). In contrast, no significant differences were observed for knowledge taught during the course as well as for 'ability to work in a team' and 'ability to concentrate', which were not foci of the course.Conclusions: Surgeons with little experience change their self-assessment of pre-course competencies to a lower level after participation in a practical postgraduate training course. Evaluations comparing 'pre-course' and 'post-course' ratings only – without 'retrospective pre-course' ratings – may underestimate the training effects. This phenomenon needs to be taken into account when evaluations are dependent exclusively on self-assessment instruments.[german] Zielsetzung: Die Wirksamkeit von praktischen Weiterbildungskursen wird häufig mittels Selbsteinschätzungsinstrumenten evaluiert. Diese Studie analysiert den Effekt eines Basiskurses in laparoskopischer Chirurgie auf die Selbsteinschätzung ärztlicher Kompetenzen durch die Teilnehmer.Methodik: Der dreitägige Kurs beinhaltete das Vermitteln von Fachwissen und das Üben von praktischen Fertigkeiten. Im Rahmen der Kursevaluation wurde ein Fragebogen zur Selbsteinschätzung eingesetzt Ergebnisse: An 10 Kursen füllten 89 von 110 Teilnehmern (81%) alle Fragebogen aus. Davon befanden sich 83% in chirurgischer Weiterbildung, 82% hatten noch keine Erfahrung als selbstständiger Operateur. Zu Beginn des Kurses schätzte sich die überwiegende Mehrheit der Teilnehmer als 'mittel befähigt' oder 'voll befähigt' ein, sowohl hinsichtlich verschiedener Tätigkeitsniveaus als auch spezifischer Kompetenzbereiche. Am Ende des Kurses zeigten sich im Rückblick deutliche Revisionen der Selbsteinschätzungen nach unten. Hinsichtlich der 'Tätigkeit als Operateur unter Aufsicht' und den meisten am Kurs geübten praktischen Fertigkeiten erreichten diese Differenzen Signifikanzniveau (p<0.01). Im Gegensatz dazu fanden sich bei der Einschätzung des am Kurs vermittelten Fachwissens beziehungsweise der nicht im Zentrum des Trainings stehenden Teamfähigkeit und Konzentrationsfähigkeit keine signifikanten Unterschiede.Schlussfolgerungen: Wenig erfahrene Chirurgen passen die Selbsteinschätzung ihrer 'vorkurslichen' Kompetenzen nach Absolvieren eines praktischen Weiterbildungskurses nach unten an. Beim ausschliesslichen Vergleich der 'vorkurslichen' und 'nachkurslichen' Selbsteinschätzung – ohne 'retrospektiv vorkursliche' Einschätzung – kann die Wirkung des Trainings unterschätzt werden. Es gilt, dieses Phänomen bei derartigen Evaluationen mit Einsatz von Selbsteinschätzungsfragebogen zu beachten.
Keywords
