GMS Zeitschrift für Medizinische Ausbildung (Aug 2013)
Der Einfluss von Anonymität in der Lehrevaluation durch Studierende [The Effects of Anonymity on Student Ratings of Teaching and Course Quality in a Bachelor Degree Programme]
Abstract
[english] Research Question: Are there any clear differences between the outcomes of anonymous and personalised student evaluations of teaching quality?Methods: During a two-year period students were randomly divided into two separate groups, “anonymous” and “personalised”, for end-of-module evaluations. The quality of the module was assessed using a standardised questionnaire. Additionally, students were given the option to add “further comments” if they wanted to highlight specifics.These optional comments were independently assessed by three people, using a five-dimensional rating instrument: positive/negative; differentiated/absolute; naming a person/general; containing an order/neutral; visually accentuated/blank.The database consisted of 615 evaluation forms, of which 306 were completed anonymously. In order to identify whether there were any differences between the anonymous and personalised data, a multivariate variance analysis was performed. Based on the scale, the answers to the questions and the quality of the comments were evaluated. Furthermore, an assessment was made to determine if there were any differences in the number of optional comments between the two groups. Results: No significant differences were identified in the informative quality of data between the anonymous and personalised student evaluations. However, students in the personalised group had a tendency to include more details in their written answers.Conclusion: Personalised evaluations do not generate more biased results in terms of social desirability, as long as the evaluation concept is characterised by a closed-circle process and is transparent. In other words, it is imperative that the outcomes of the evaluation are reported back to the students. Moreover, there has to be an opportunity for students to discuss any further suggestions and/or future desires in an open environment. In this way the students respect and understand that their feedback is being taken seriously; consequently, they feel able to provide a constructive and honest evaluation.[german] Zielsetzung und Fragestellung: Unterscheiden sich die Ergebnisse anonymisierter und personalisierter Evaluationen? Methodik: Während zweier Jahre wurden bei jeder Modulevaluation alle Studierenden randomisiert den Halbgruppen „anonym“ und „personalisiert“ zugeteilt. Die Qualität des Moduls in seinen relevanten Aspekten wurde mit einem standardisierten Fragebogen erhoben. Zusätzlich konnten optionale Textantworten formuliert werden. Drei unabhängige Personen bewerteten die Aussagequalität der Antworten gemäss einem Leitfaden. Dieser beinhaltete die fünf Dimensionen positiv-negativ, differenziert-absolut, Nennung einer Person-allgemein, Befehl enthaltend-neutral und optisch akzentuiert-blank. Der Datensatz bestand aus 615 Fragebogen, davon waren 306 in anonymer Form. Mit einer multivariaten Varianzanalyse wurde überprüft, ob sich zwischen anonym und personalisiert erhobenen Daten ein Unterschied sowohl bei den durch Skalen bewerteten Aspekten als auch bei der Qualität der optionalen Textantworten zeigte. Zusätzlich wurde untersucht, ob sich die Häufigkeit der optionalen Textantworten unterschied.Ergebnisse: In der Aussagequalität liess sich kein signifikanter Unterschied zwischen anonym und personalisiert erhobenen Daten nachweisen. Hingegen haben Studierende aus der personalisierten Gruppe tendenziell häufiger optionale Textantworten geliefert.Schlussfolgerung: Personalisierte Evaluationen generieren dann keine verfälschten Resultate im Sinne der sozialen Erwünschtheit, wenn der Evaluationszirkel geschlossen und transparent ist: Die Verantwortlichen melden den Studierenden die Evaluationsergebnisse konsequent zurück und Änderungs-, Optimierungswünsche und Umsetzungsmöglichkeiten werden mit ihnen diskutiert. Die Studierenden erfahren so, dass ihre Rückmeldungen ernst genommen werden. So können sie sich echte Kritik erlauben.
Keywords
