West African Journal of Open and Flexible Learning (Jan 2018)
Evaluation of Validity of Computer Based Test Items in NOUN
Abstract
Multiple Choice Items (MCI) are one of the most commonly used Computer Based Assessment (CBA) instrument for assessment of students in educational settings especially in Open and Distance Learning (ODL) with large class sizes. The MCI making up the assessment instruments need to be examined for quality which depends on its Difficulty Index (DIF I), Discrimination Index (DI), and Distractor Efficiency (DE) if they are to meaningfully contribute to validity of the students’ examination scores. Such quality characteristics are amenable to examination by item analysis. Hence, the objective of this study is to evaluate the quality of MCI used for CBA in the National Open University of Nigeria (NOUN) as formative assessment measures by employing expost facto research design. One foundation course in School of Education of the University was used for the study. The aim was to develop a pool of valid items by assessing the items DIF I, DI and DE and also to store, revise or discard items based on obtained results. In this cross-sectional study, 240 MCI taken in four (4) sets of CBA per semester per course in 2012 – 2014 academic years were analysed. The data was entered and analysed in MS Excel 2007. The results indicated items of “good to excellent” DIF I and “good to excellent” DI, Efficient Distractors (DE) and non-functional distractors (NFD). Also established were items with poor DI. This study emphasized the selection of quality MCI which truly assess levels of students learning and differentiate students of different abilities in correct manner in NOUN thereby contributed to improving the validity of the test items. Résumé : Les éléments à choix multiples (MCI) sont l'un des instruments d'évaluation par ordinateur (CBA) les plus couramment utilisés pour l'évaluation des étudiants dans les milieux éducatifs, en particulier dans la formation à distance (ODL) avec de grandes tailles de classe. L'ICM qui composent les instruments d'évaluation doit être examiné pour la qualité qui dépend de son indice de difficulté (DIF I), de son indice de discrimination (DI) et de son efficacité de distraction (DE) s'ils doivent contribuer de manière significative à la validité des notes d'examen des étudiants. Ces caractéristiques de qualité peuvent être examinées par l'analyse des points. Par conséquent, l'objectif de cette étude est d'évaluer la qualité de l'ICM utilisée pour le CBA à l’Université Nationale Ouverte du Nigeria (NOUN) comme mesures d'évaluation formative en employant la conception de la recherche exposit facto. Un cours de base à l'École d'éducation de l'Université a été utilisé pour l'étude. L'objectif est de développer un ensemble d'éléments valides en évaluant les éléments de DIF I, DI et DE et aussi de stocker, réviser ou jeter des éléments en fonction des résultats obtenus. Dans cette étude transversale, 240 MCI répartis en quatre (4) ensembles de CBA par semestre par cours pour les années académiques 2012 - 2014 ont été analysés. Les données ont été saisies et analysées dans MS Excel 2007. Les résultats ont indiqué des éléments de «bon à excellent» DIF I et «bon à excellent» DI, Distracteurs efficaces (DE) et Distracteurs non-fonctionnel (NFD). Les éléments dont le DI est pauvre ont également été établis. Cette étude a mis l'accent sur la sélection de MCI de qualité qui évalue vraiment les niveaux d'apprentissage des étudiants et différencie les étudiants de différentes capacités de manière correcte à NOUN, contribuant ainsi à améliorer la validité des éléments de test.
