Studia Universitatis Babeş-Bolyai. Philologia (Jun 2017)
STATISTICAL ANALYSIS OF ROMANIAN AS A FOREIGN LANGUAGE PRETEST AND EXAM DATA
Abstract
Statistical Analysis of Romanian as a Foreign Language Pretest and Exam Data. In the European Union, linguistic policies have gained an essential role within the European policy in its entirety. In this context, in 2014 we started an experiment with the aim of creating an instrument for analysing the quality of tests of Romanian as a foreign language. The instrument thus created contains a succession of statistics tests including factor structure, internal consistency and convergent validity evidence, IRT and ROC analysis for validation. Our creation reached the point where it successfully fulfills the task of Reading the Mind in the process of learning Romanian, also applicable to other languages. The present article shows the manner in which the authors apply the IRT models. It will demonstrate that the IRT models can help improve test scoring and facilitate the development of superior quality tests in Reading Mind applied to the process of studying foreign languages. In the authors' perspective, the present work has a significant contribution to the applicability and usability of IRT models in educational testing, as the presented results show. Furthermore, the paper brings arguments in favour of utilizing IRT and ROC curve models in common, which leads to the conclusion that the achieved results are important in the process of improving the precision of marking and the manner in which the tests are administered through the adaptive use of discriminating elements pertaining to the testing procedure, which saves time, space and impacts on the number of assigned tests. Rezumat. Analiza statistică a pretestărilor și examenelor de română ca limbă străină. În Uniunea Europeană politicile lingvistice au câștigat un rol esențial în cadrul politicii europene în ansamblul său. În acest context, în anul 2014 am demarat un experiment cu scopul de a realiza un instrument de analiză a calității testelor de limba română ca limbă străină. Instrumentul care a rezultat este alcătuit dintr-o succesiune de teste statistice, incluzând factor structure, internal consistency, convergent validity evidence, IRT și ROC analysis for validation, acesta ajungând să îndeplinească cu succes rolul de Reading the Mind în procesul de învățare a limbii române și fiind aplicabil, de asemenea, în cazul altor limbi. Articolul are drept scop prezentarea modului în care autoarele au decis să aplice modelele IRT. Studiul va demonstra faptul că modelele IRT pot ajuta la îmbunătățirea notării testelor și pot facilita crearea unor teste de o calitate superioară, care să corespundă tehnicilor Reading Mind aplicate procesului de studiere a limbilor străine. Din punctul de vedere al autoarelor, instrumentul prezentat aici aduce o contribuție semnificativă la aplicabilitatea și modul de folosire a modelelor IRT în evaluarea educațională, așa cum va reieși din rezultatele prezentate. În plus, în lucrare se aduc argumente pentru utilizarea în comun a modelelor IRT și ROC curve, concluzionându-se că rezultatele la care s-a ajuns sunt importante în procesul de îmbunătățire atât a preciziei în notare, cât și a modului în care se administrează testele, prin utilizarea adaptivă a elementelor discriminative ale procedurii de testare, acest proces generând o economie de timp, spațiu și număr de teste administrate. Cuvinte cheie: analiză statistică, examene de competență lingvistică, pretestare, modelul IRT, analiza ROC, teste de calitate, aspecte reading mind
Keywords
