АНАЛИЗ DIF В ОЦЕНКЕ ОБЩЕГО ИНТЕЛЛЕКТА ДЛЯ ГЕНЕРИРУЕМЫХ КОМПЬЮТЕРОМ ГРАФИЧЕСКИХ ТЕСТОВЫХ ЗАДАЧ В ДВУХ ЭТНИЧЕСКИ РАЗЛИЧНЫХ ВЫБОРКАХ |
5 | |
2012 |
316.62 | |||
334-341 | графические матричные задания, свободные от культуры тесты интеллекта, дифференцированное функционирование заданий |
Графические матричные задания нашли широкое применение для измерения общего интеллекта. Данный тип задач в силу их невербального характера считается относительно свободным от культуры или, по меньшей мере, не столь культурно нагруженным, как, например, при использовании вербальных заданий. В то же время последние исследования показывают, что большинство невербальных тестов в той же степени культурно обусловлены, как и вербальные тесты. В данном исследовании для конструирования матричных заданий использовались алгоритмы автоматического генерирования задач. Перед выполнением тестовых заданий всем испытуемым была дана подробная инструкция с целью создания равных экспериментальных условий. Данные, полученные на немецкой и русской выборках, были проанализированы на наличие дифференцированного функционирования заданий (DIF). Было показано отсутствие DIF в каждом из заданий, что позволяет сделать вывод о том, что свободные от культуры матричные задания могут быть сконструированы при использовании принципов автоматического генерирования задач и после создания равных экспериментальных условий. |
1 . Cattell R.B., Horn J.L. A check on the theory of fluid and crystallized intelligence with description of new subtest designs // Journal of Educational Measurement. 1978. 15. 139–164. 2 . Court J.H. Raven Progressive Matrices // In R. J. Sternberg (Ed.), Encyclopedia of human intelligence. New York: Macmillan, 1994. P. 916–917. 3 . Spearman C. The abilities of man. New York: Macmillan, 1927. 4 . Ones D.S., Viswesvaran C., Dilchert, S. Cognitive abilities in selection decisions // In O. Wilhelm & R. W. Engle (Eds.), Handbook of understanding and measuring intelligence. Thousand Oaks, CA: Sage Publications, 2005. P. 431–468. 5 . Schmidt F.L., Hunter J.E. The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings // Psychological Bulletin. 1998. 124. Р. 262–274. 6 . Bartholomew D.J. Measuring intelligence. Facts and fallacies. Cambridge, UK: Cambridge University Press, 2004. 7 . Cattell R.B. A culture free intelligence test I // Journal of Educational Psychology. 1940. 31. Р. 161–180. 8 . Cattell R.B. Are culture fair intelligence tests possible and necessary? // Journal of Research and Development in Education. 1979. 12. Р. 2–13. 9 . Cole M. Cultural Psychology. A once and future discipline. Cambridge, MA: Belknap Press, 1996. 10 . Nenty H. Cross-culture bias analysis of Cattell Culture-Fair Intelligence Test // Perspectives in Psychological Researches. 1986. 9. Р. 1–16. 11 . Nenty H.J., Dinero T.E. A cross-cultural analysis of the fairness of the Cattell Culture Fair Intelligence Test using the Rasch model // Applied Psychological Measurement. 1981. 5. Р. 355–368. 12 . Ross N. Culture & Cognition. Implications for theory and method. Thousand Oaks: Sage, 2004. 13 . Greenfield P.M. You can't take it with you – why ability assessments don't cross cultures // American Psychologist. 1997. 52. Р. 1115–11224. 14 . Serpell R., Haynes B.P. The cultural practice of intelligence testing: Problems of international export // In R. J. Sternberg & E. L. Grigorenko (Eds.), Culture and competence. Washington, DC: American Psychological Association, 2004. P. 163–185. 15 . Camilli G., Shepard L.A. Methods for identifying biased test items. Newbury Park, CA: Sage, 1994. 16 . Dorans N.J., Holland P.W. DIF detection and description: Mantel-Haenszel and standardization // In P.W. Holland, & H. Wainer (Eds.), Differential item functioning. Hillsdale, NJ: Lawrence Earlbaum, 1993. P. 35–66 17 . Lord F.M. Applications of Item Response Theory to Practical Testing Problems. Hillsdale NJ: Erlbaum, 1980. 18 . Holland P.W., Thayer D.T. Differential item performance and the Mantel - Haenszel procedure // In H. Wainer & H. I. Braun (Eds.), Test validity. Hillsdale, NJ: Lawrence Erlbaum, 1988. P. 129–145 19 . Pe.nfield R.D. Application of the Breslow-Day test of trend in odds ratio heterogeneity to the detection of nonuniform DIF // Alberta Journal of Educational Research. 2003. 49. Р. 231–243. 20 . Carpenter P.A., Just M.A., Shell, P. What one intelligence test measures: A theoretical account of the processing in the Raven Progressive Matrices test // Psychological Review. 1990. 97. Р. 404–431. 21 . Bart W.M., Rothen W., Read S. An ordering-analytic approach to the study of group differences in intelligence // Educational and Psychological Measurement. 1986. 46. Р. 799–810. 22 . Corman L., Budoff M. Factor structures of Spanish-speaking and non-Spanish-speaking children on Raven’s Progressive Matrices // Educational and Psychological Measurement. 1974. 34. Р. 977–981. 23 . Jensen A.R. How biased are culture-loaded tests? // Genetic Psychology Monographs. 1974. 90. Р. 185–244. 24 . Abad F.J., Colom R., Rebollo I., Escorial S. Sex differential item functioning in the Raven’s Advanced Progressive Matrices: Evidence for bias // Personality and Individual Differences. 2004. 36. Р. 1459–1470. 25 . Arendasy M., Sommer M., Gittler G., Hergovich A. Automatic Generation of Quantitative Reasoning Items: A Pilot Study // Journal of Individual Differences. 2006. 27. Р. 2–14. 26 . Embretson S.E. A cognitive design system approach to generating valid tests: Application to abstract reasoning // Psychological Methods. 1998. 3. Р. 380–396. 27 . Van der Linden W.J. Linear models for optimal test design. New York: Springer, 2005. 28 . Freund Ph.A., Hofer S., Holling H. Explaining and controlling for the psychometric properties of computer-generated figural matrices items // Applied Psychological Measurement. 2008. 32. Р. 195–210. 29 . Anastasi A. Coaching, test sophistication, and developed abilities // American Psychologist. 1981. 36. Р. 1086–1093. 30 . Preckel F. Diagnostik intellektueller Hochbegabung. Testentwicklung zur Erfassung der fluiden Intelligenz [Assessment of intellectual giftedness: Test development for the assessment of fluid intelligence]. G?ttingen: Hogrefe, 2003. 31 . Hofer S. Matrix Developer. Unpublished computer software, University of M?nster, 2006. 32 . Rheinberg F., Vollmeyer R., Burns B.D. FAM: Ein Fragebogen zur Erfassung aktueller Motivation in Lern- und Leistungssituationen [QCM: A questionnaire for the assessment of current motivation in learning situations] // Diagnostica. 2001. 47. Р. 57–66. 33 . Rasch G. Probabilistic models for some intelligence and attainment tests. Copenhagen: Danish Educational Research Institute, 1960. 34 . Glas C.A.W., Verhelst N.D. Testing the Rasch model // In G. H. Fischer & I. W. Molenaar (Eds.), Rasch models. Foundations, recent developments, and applications. New York: Springer, 1995. P. 69–95. 35 . Rost J., von Davier M. A conditional item fit index for Rasch models // Applied Psychological Measurement. 1994. 18. Р. 171–182. 36 . Mantel N., & Haenszel W. Statistical aspects of the analysis of data from retrospective studies of disease // Journal of the National Cancer Institute. 1959. 22. Р. 719–748. 37 . Breslow N.E., Day N.E. Statistical methods in cancer research: Volume 1 – The analysis of case-control studies. Lyon: International Agency for Research on Cancer, 1980. 38 . Zieky M. Practical questions in the use of DIF statistics in item development // In P. W. Holland & H. Wainer (Eds.), Differential item functioning. Hillsdale, NJ: Lawrence Erlbaum, 1993. P. 337–364. 39 . Nevo B. The effects of general practice, specific practice, and item familiarization on change in aptitude test scores // Measurement and Evaluation in Guidance. 1976. 9. Р. 16–20. 40 . M?ller A. Variation Einfachbezug versus Mehrfachbezug und Training versus kein Training bei regelgeleitet konstruierten Matrizenaufgaben auf die Ergebnisleistung [Variation of single vs. multiple rules per element and training vs. no training in rule-based generated matrix items and performance]. Unpublished master’s thesis, University of Muenster, 2001. 41 . Holland P. W., & Wainer H. Differential Item Functioning. Hillsdale, NJ: Lawrence Erlbaum, 1993. 42 . Raven J. C. Advanced Progressive Matrices, set II. London: H. K. Lewis, 1962. 43 . Swaminathan H., & Rogers H. J. Detecting differential item functioning using logistic regression procedures // Journal of Educational Measurement. 1990. 27. Р. 361–370. |