Uniped (Jan 2011)
Om vurdering av essaybesvarelser i høyere utdanning – en studie av vurderer-reliabilitet
Abstract
En analyse av vurderer-reliabiliteten når det gjaldt å karaktersette studenters innleverte essays, avdekket forskjeller mellom de to sensorene som oversteg to trinn på en sekstrinnsskala. For videre analyse ble det valgt ut et begrenset antall av de vurderte essaybesvarelsene. Fem sensorer som alle inngikk i det lokale sensorkorpset for vurdering av slike oppgaver ble trukket ut og bedt om å vurdere de utvalgte essaybesvarelsene og redegjøre for den prosedyre som ble fulgt når de satte karakter. Deres bruk av definerte og spesifiserte vurderingskriterier ble gjort til hovedsak ved rapporteringen. For essaybesvarelser der det i utgangspunktet var stor forskjell mellom de opprinnelige sensorene, viste også de nye vurderingene store forskjeller mellom sensorene. For besvarelser der det opprinnelig var høy grad av enighet mellom sensorene, viste også de nye vurderingene at det var stor enighet mellom sensorene. Sensorenes kommentarer indikerer at til tross for at eksplisitte kriterier var tilgjengelig, ble ikke disse anvendt i særlig grad. I stedet kunne vi identifisere et holistisk utgangspunkt med subjektive og tause kriterier som basis for vurderingen. Nøkkelord: Higher Education; Inter-rater reliability; Essays
