GMS Zeitschrift für Medizinische Ausbildung (Aug 2007)
Offene Fragen vs. Multiple-Choice-Fragen im 1. Abschnitt des Medizinstudiums: Untersuchung am Beispiel von Topographischer Anatomie [Open-answer questions vs. multiple-choice questions for undergraduate medical exams: a case study in topographical anatomy]
Abstract
[english] Multiple choice questions (MCQ) have become the basis of state medical examinations in Germany since 1970. Single answer questions (SAQ) have become a convenient alternative for undergraduate testing in medicine. Our aim was to study the best use of both types of questions by comparison of examination results. In a retrospective study, examination results of 351 second year students of medicine were selected from written exams that contained both MCQ and SAQ, and evaluated by statistical analysis. Rank correlation coefficients according to Spearman and F-ratio were calculated from the paired data of rates of correct answers from MCQ and SAQ. The reliability of selected exam questions was estimated by comparing results from answers to comparable questions from consecutive years. The effect of learning was evaluated by comparing results from exams before the start of the class with results obtained during the course. Statistical evaluation revealed that the mean rate of correct answers was 0.84 (ratio right answers / total number) for SAQ, and significantly differed from the answer rate of 0.71 for MCQ. The difference was more pronounced in the subgroup of low performance students. The rate of correct answers of selected SAQ and MCQ were sufficiently reliable in consecutive examinations. There was a clear correlation between rate of successfully solved SAQ in entrance exams and in consecutive examination results. Parameters that were included in statistical calculation (Age, sex, language) as controls did not influence the difference between SAQ and MCQ. In conclusion, the results suggest that SAQ had the same level of discrimination when compared to MCQ, although their level of difficulty was lower than MCQ. They had a sufficient level of reliability, and were easier to modify for re-use in further examinations. Examinations that consist solely of MCQ are difficult to compose, and can hardly be re-used. The combination of SAQ and MCQ in exams helps to overcome this problem. [german] Multiple-Choice (MC) Fragen sind seit 1970 die Grundlage der staatlichen Ärztlichen Prüfungen. In den vorklinischen Fächern werden neben MC-Fragen auch Aufgaben mit offenen Fragen (OF) zur Prüfung verwendet. Der statistische Vergleich beider Fragentypen in der praktischen Anwendung sollte ihre Eignung zur kursbegleitenden Prüfung, als Anreiz zur Steuerung des Lernverhaltens, prüfen. In einer retrospektiven Studie wurden die Prüfungsergebnisse von 351 Studierenden der Wintersemester 2003/04, 2004/05 und 2005/06 statistisch ausgewertet. Aus den gepaarten Daten der Prüfungsergebnisse von OF und MC-Fragen im gleichen Testatbogen wurden die Rang-Korrelationskoeffizienten nach Spearman und die F-Ratio berechnet. Zur Abschätzung der Reliabilität der beiden Fragenformate wurden die Raten korrekter Antworten auf einzelne, in zwei aufeinanderfolgenden Semestern eingesetzte, MC-Fragen und offene Fragen vergleichend untersucht. Als Maß für den Lernerfolg wurde die statistische Korrelation zwischen dem Ergebnis des Eingangstestats und späterer, im Verlaufe des Kurses abgelegter Testate ermittelt. Die statistische Untersuchung der gepaarten Daten ergab in allen untersuchten Semestern einen signifikanten Unterschied zwischen einem Anteil (Anzahl richtig beantworteter Fragen/Anzahl aller Testatfragen) von 0.84 richtig beantworteter OF und von 0.71 richtig beantworteter MC- Fragen. Studierende mit insgesamt schlechterem Abschneiden wiesen eine signifikant höhere Fehlerrate bei der Beantwortung von MC-Fragen im Vergleich zu OF auf. Studierende mit einem unterdurchschnittlichen Ergebnis im Eingangstestat schnitten auch in späteren Testaten signifikant schlechter ab. Andere Einflußgrößen, die als Kontrolle in die Berechnung einbezogen wurden (Alter, Geschlecht und Deutsch als Zweitsprache), beeinflußten das Ergebnis der Prüfung nicht. Offene Fragen mit einem niedrigen bis mittleren Schwierigkeitsgrad waren im Unterschied zu MC-Fragen geeignet, um Studierende mit befriedigendem Wissensniveau von Kursteilnehmern abzugrenzen, die die Kriterien zum Bestehen des Kurses nicht erfüllten. Im praktischen Einsatz erwiesen sich MC-Fragen wegen ihres größeren Aufwandes bei der Erstellung und ihrer eingeschränkten Wiederverwendbarkeit als problematischer als OF. Nach unseren Erfahrungen ist eine vom Kursabschnitt abhängige Kombination von OF und MC-Fragen empfehlenswert.
