DOI: https://doi.org/10.7203/relieve.12.2.4229

Funcionamiento diferencial del ítem de la evaluación internacional PISA. Detección y comprensión


Resumen


Este trabajo analiza el funcionamiento diferencial del ítem (FDI) de la prueba de comprensión lectora de la evaluación PISA2000 entre la muestras del Reino Unido y España. Se estudian los ítems liberados con el fin de aunar las fases de detección del FDI con la comprensión de sus causas. En la fase de detección se comparan los resultados de los procedimientos Mantel-Haenszel, Regresión Logística y Medias Estandarizadas en sus versiones para ítems dicotómicos y politómicos. Los resultados muestran que dos ítems presentan funcionamiento diferencial aunque el estudio post-hoc llevado a cabo sobre su contenido no ha podido precisar sus causas.

Palabras clave


Funcionamiento Diferencial del ítem, PISA, Mantel-Haenszel, Regresión Logística, FDI politómico, Adaptación de tests

Texto completo:

PDF

Referencias


  1. Agresti, A. (1984). Analysis of ordinal categorical data. New York: Wiley and Sons.

  2. Agresti, A. (1990). Categorical Data Analysis. New York: Wiley and Sons.

  3. Allauf, A., Hambleton, R.K., y Sireci, S.G. (1999). Identifying the Causes of DIF in Translated Verbal Items. Journal of Educational Measurement, 36(3), 185-198

  4. http://dx.doi.org/10.1111/j.1745-3984.1999.tb00553.x

  5. Berk, R. A. (Ed.) (1982). Handbook of methods for detecting item bias. Baltimore, John Hopkins Universtity Press.

  6. Camilli, G., y L. A. Shepard (1994). Methods for identifying biased test items. London, Sage.

  7. Dorans, N.J., y Holland, P.W. (1993). DIF detection and description: Mantel-Haenszel and Standarization. En P.W.Holland y H.Wainer (Eds.) Differential Item Functioning (pp. 35-66) Hillsdale, NJ: Erlbaum

  8. Dorans, N. J., y Kulick, E. (1986). Demonstrating the utility of the standarization approach to assessing unexpected differential item performance on the scholastic aptitude test. Journal of educational measurement 23(4), 355-368.

  9. http://dx.doi.org/10.1111/j.1745-3984.1986.tb00255.x

  10. Elosua, P., y Hambleton, R.K. (en prensa). Improving the Methodology for Detecting Biased Test Items. International Journal of Testing Elosua, P., y López, A. (1999). Funcionamiento diferencial de los ítems y sesgo en la adaptación de dos pruebas verbales. Psicológica, 20, 23-40.

  11. Elosua, P., y López-Jauregui, A. (en prensa). Potential DIF sources in the adaptation of tests. International Journal of Testing.

  12. Elosua, P., y López-Jauregui, A. (en prensa). Aplicación de cuatro procedimientos de detección del funcionamiento diferencial so-bre ítems politómicos. Psicothema.

  13. Elosua, P., López, A., y Egaña, J. (2000). Idioma de aplicación y rendimiento en una prueba de comprensión verbal. Psicothema 12(2), 201-206.

  14. Elosua, P., López, A., Ega-a, J., Artamendi, J. A., y Yenes, F. (2000). Funcionamiento diferencial de los ítems en la aplicación de pruebas psicológicas en entornos bilingües. Revista de Metodología de las Ciencias del Comportamiento, 2(1), 17-33.

  15. Elosua, P., López, A., y Torres, E. (2000). Desarrollos didácticos y funcionamiento diferencial de los ítems. Problemas inherentes a toda investigación empírica sobre sesgo. Psicothema, 12(2), 198-202.

  16. Ercikan, K. (2002). Disentangling Sources of Differential Item Functioning in Multilanguage Assessments. International Journal of Testing 2(3-4), 199-215.

  17. http://dx.doi.org/10.1080/15305058.2002.9669493

  18. Gierl, M.J., y McEwen, N. (1995). Differential Item Functioning on the Alberta Education Social Studies 30 Diploma Exams. Pa-per presented at the annual meeting of the Canadian Society for Studies in Education, Ottawa, Ontario, Canada.

  19. Gierl, M. J., y Khaliq, S.N. (2001). Identifying Sources of Differential Item and Bundle Functioning on Translaten Achievement Tests: A Confirmatory Analysis. Journal of Educational Measurement 38(2), 164-187.

  20. http://dx.doi.org/10.1111/j.1745-3984.2001.tb01121.x

  21. Hambleton, R. K. (2001). The next genera-tion of the ITC test translation and adaptation guidelines. European Journal of Psychological Assessment, 17(3), 164-172.

  22. http://dx.doi.org/10.1027//1015-5759.17.3.164

  23. Hambleton, R. K., Merenda, P.F., y Spielberger, C.D. (Eds.) (2005). Adapting Edu-cational and Psychological Tests for Cross-Cultural Assessment. Mahwah, NJ, Lawrence Erlbaum Associates.

  24. Hambleton, R.K., y Jones, R.W. (1994). Comparison of Empirical and Judgmental Procedures For Detecting Differential Item Functioning. Educational Research Quarterly, 18 (1), 21-37.

  25. Hambleton, R. K., y Patsula, L. (1999). In-creasing the validity of Adapted tests: Myths to be avoided and guidelines for im-proving test adaptation practices. Journal of Applied testing Technology, 1(1).

  26. Holland, P.W., y Thayer, D.T. (1988). Differential Item Performance and the Mantel-Haenszel procedure. En H. Wainer y H.J. Braun (Eds.), Test validity (pp. 129-145). Hillsdale, NJ: Lawrence Erlbaum

  27. Hulin, C.L. (1987). A psychometric theory of evaluations of Item Scale Translations. Journal of Cross-Cultural Psychology, 18(2), 115-142.

  28. http://dx.doi.org/10.1177/0022002187018002001

  29. Hulin, C.L., y Mayer, L. (1986). Psychometric equivalence of a translation of the job descriptive index into Hebrew. Journal of Applied Psychology, 71(1), 83-94.

  30. http://dx.doi.org/10.1037/0021-9010.71.1.83

  31. INECSE (2005). Programa PISA. Pruebas de Comprensión Lectora. Madrid: INECSE

  32. López, A., y Elosua, P. (2002). Análisis de contenido y funcionamiento diferencial del ítem en una prueba de aptitud numérica. Revista de Psicología General y Aplicada 55(3), 349-362.

  33. Mantel, N., y Haenszel, W. M. (1959). Statistical aspects of the analysis of data from retrospective studies of disease. Journal of the National Cancer Institute, 22, 719-748.

  34. Millsap, R. E., y Everson, H.T. (1993). Methodology review: statistical approaches for assessing measurement bias. Applied psychological measurement 17(4), 297-334.

  35. http://dx.doi.org/10.1177/014662169301700401

  36. Potenza, M. T., y Dorans, N.J. (1995). DIF assessment for polytomously scored items: a framework for classification and evaluation. Applied psychological measurement 19(1), 23-37.

  37. http://dx.doi.org/10.1177/014662169501900104

  38. Rogers, H.J., y Swaminathan, H. (1993) A comparison of the logistic regression and Mantel-Hanszel procedures for detecting Differential Item Functioning. Applied Psychological Measurement, 17(2), 105-117.

  39. http://dx.doi.org/10.1177/014662169301700201

  40. Shealy, R., y Stout, W. (1993). A model-based standarization approach that separates true bias/dif from group ability differences and detects test bias/DTF as well as item bias/DIF. Psychometrika 58(2), 159-194.

  41. http://dx.doi.org/10.1007/BF02294572

  42. Spray, J., y Miller, T. (1994). Identifying nonuniform DIF in polytomously scored test items (American College Testing Research Report Series 94-1). Iowa City, IA: American College Testing Program.

  43. Swaminathan, H., y Rogers, H.J. (1990). Detecting differential item functioning us-ing logistic regression procedures. Journal of educational measurement 27(4), 361-370.

  44. http://dx.doi.org/10.1111/j.1745-3984.1990.tb00754.x

  45. Tian, F. (1999). Detecting differential item functioning in polytomous items. Un-published doctoral dissertation, Faculty of Education, University of Ottawa.

  46. Thomas, D.R., y Zumbo, B.D. (1996). Variable importance in regression and related analysis. Paper presented at the Annual Meeting of the Psychometric Society, Banff, AB, Canada.

  47. van de Vijver, F. J. R., y Tanzer, N. K. (1997). Bias and equivalence in cross-cultural assessment: An overview. Europe-an Review of Applied Psychology, 47(4), 263-279.

  48. Zwick, R., Donogue J. R., y Grima, K.L. (1993). Assessment of Differential Item Functioning for Performance Tasks. Journal of Educational Measurement 30(3), 233-251.

  49. http://dx.doi.org/10.1111/j.1745-3984.1993.tb00425.x

  50. Zwick, R., y D. T. Thayer (1996). Evaluating the magnitude of differential item functioning in polytomous items Journal of educational and behavioral statistics 21(3), 187-201.

  51. http://dx.doi.org/10.3102/10769986021003187


Enlaces refback

  • No hay ningún enlace refback.




https://ojs.uv.es/public/site/images/aliaga/scopus_170 https://ojs.uv.es/public/site/images/aliaga/esci_225 https://ojs.uv.es/public/site/images/aliaga/sello-calidad-revistas-2016_697_01