Abstract
Zusammenfassung. Mit der zufallsparallelen Itemauswahl von Gibson und Weiner (1996, 1998) wird ein Verfahren aus der Klasse der automatisierten Testkonstruktion vorgestellt, das itembankgestütztes Testen mit den Parallelitätskriterien der Klassischen Testtheorie (KTT) verbindet. Zur Itemselektion werden lediglich die Itemparameter Schwierigkeit und Trennschärfe verwendet. Die resultierenden Testformen werden nach inhaltlichen und psychometrischen Kriterien zusammengestellt. Anhand eines Mathematik- und eines Techniktests wird die zufallsparallele Itemauswahl im Rahmen der Eignungsuntersuchung für Nachwuchsflugzeugführer als Testprinzip dargestellt und dessen Funktionalität hinsichtlich psychometrischer Gütekriterien diskutiert. Beide Tests erfüllten trotz jeweils unterschiedlicher Testformen für jeden Bewerber die geforderten Parallelitätskriterien und erwiesen sich als essentiell tau-äquivalent.
Abstract. This paper describes a procedure by Gibson & Weiner (1996, 1998) for automated test construction, the random parallel item selection. It combines itembank based testing with the criteria of parallel tests within the framework of classical test theory (CTT). Only item difficulty and the item discrimination index are used for item selection. The resulting test forms are constructed according to content and psychometric criteria. The test rationale is demonstrated by two realizations of the random parallel item selection procedure using two knowledge tests (mathematics and mechanical comprehension) from the aptitude test battery for student airline pilots. Its functionality concerning psychometric criteria is discussed. In spite of a different test form for every applicant, both tests met the criteria of parallel tests and turned out to be essentially tau equivalent.
Literatur
(2002). Automatisierte Paralleltestkonstruktion “APART” . (Software-Programm). Hamburg: Deutsches Zentrum für Luft- und Raumfahrt
(1989). Algorithms for computerized test construction using classical item parameters. Journal of Educational Statistics , 14 , 279– 290
(1992). An automated test development of parallel tests from a seed test. Psychometrika , 57 , 271– 288
(1994). Automated parallel test construction using classical test theory. Journal of Educational Statistics , 19 , 73– 90
(1996). Multivariate Analysemethoden: Eine anwendungsorientierte Einführung . Berlin: Springer
(2004). Richtig unter Dampf. Der Spiegel , 7 , 46– 47
(1998). Item response theory and classical test theory: an empirical comparison of their item/person statistics. Educational and Psychological Measurement , 58 , 357– 381
(1996). Licensing and certification test construction: a balancing act. Clear Exam Review , 7 , 23– 27
(1998). Generating random parallel test forms using CTT in a computer-based environment. Journal of Educational Measurement , 35 , 297– 310
(2000). System design and operation. In H. Wainer (Ed.), Computerized adaptive testing: A primer (2nd ed., pp. 23-35). Mahwah, NJ: Erlbaum
(1950). Theory of mental tests . New York, NY: Wiley
(1998). Testtraining 2000 . Frankfurt: Eichborn
(2002). Der Pilotentest . Frankfurt: Eichborn
(1995). Licensure testing: Purposes, procedures, and practices . Lincoln: Buros Institute of Mental Measurement
(1987). Kriteriumsorientierte Tests: Lehrbuch der Theorie und Praxis lehrzielorientierten Messens. . Göttingen: Hogrefe
(1994). Testaufbau und Testanalyse . (5. Aufl.) Weinheim: Beltz
(2000). Computerized adaptive testing: Theory and practice . Dordrecht: Kluwer
(2003). Automated test assembly systems. In R. Fernandez-Ballesteros (Ed.), Encyclopedia of psychological assessment (pp. 123-128). London: Sage
(1968). Item sampling in test theory and in research design. In F. M. Lord & M. R. Novick (Ed.), Statistical theories of mental test scores. (pp. 234-260). Reading, MA: Addison-Wesley
(2002). A Monte Carlo comparison of item and person statistics based on item response theory versus classical test theory. Educational and Psychological Measurement , 62 , 921– 943
(2002). Modernisierung der Eignungsdiagnostik im Psychologischen Dienst der Bundeswehr - Ergebnisse und Perspektiven. Zeitschrift für Personalpsychologie , 1 , 35– 41
(1995). Policy issues with psychometric implications. In J. C. Impara (Ed.), Licensure testing: Purposes, procedures, and practices (pp. 59-87). Lincoln: Buros Institute of Mental Measurement
(1997). Computerized adaptive testing: From inquiry to operation . Washington, DC: APA
(1993). Messen und Testen . Berlin: Springer
(2001). A greedy approach to test construction problems. Proceedings National Science Council ROC(D) , 11 , 78– 87
(1996). Generation of equivalent unique conventional test forms . Paper presented at the SIOP conference, San Diego, CA
(2000). Computerized adaptive testing: A primer . (2nd ed.) Mahwah, NJ: Erlbaum
(2003). Computer-based testing. In R. Fernandez-Ballesteros (Ed.), Encyclopedia of psychological assessment (pp. 258-263). London: Sage
