DOI: https://doi.org/10.7203/relieve.22.1.8293

Análisis metodológico del Proyecto PISA como evaluación internacional


Resumen


En este artículo el objetivo es realizar un análisis global del Proyecto PISA como programa de evaluación internacional. Asimismo, se analizan características metodológicas de los procesos métricos que sustentan los instrumentos que se utilizan en el proyecto: las pruebas de logro y los cuestionarios de contexto. Se identifican las fortalezas y debilidades del proyecto, en diversas áreas, desde el Diseño y validación del proyecto como programa de evaluación internacional, sus usos y modos de comunicación de resultados, hasta las características métricas de sus instrumentos. Se proponen alternativas para optimizar el uso del proyecto en general y en los países involucrados en particular.  Se concluye que se trata de un proyecto que, por su calidad metodológica e impacto socio-político es valioso, si bien tiene diferentes aspectos que podrían mejorarse -tanto como programa de evaluación, como en sus fundamentos de medición educativas- para que pudiera aportar informaciones de mayor calidad y que pudieran orientar decisiones de mejora.

Palabras clave


proyecto PISA; análisis metodológico; evaluación del aprendizaje; cuestionarios de contexto; evaluación de sistemas educativos; educación; medición.

Texto completo:

PDF PDF (English)

Referencias


  1. Andréu, J. (2011). El análisis multinivel: una revisión actualizada en el ámbito sociológico. Metodología de Encuestas, Vol. 13, 161-176.2 ISSN: 1575-7803

  2. Backhoff, E., Bouzas, R., Contreras, C., Hernández, P. & García, P. (2007). Factores escolares y aprendizaje en México. El caso de la educación básica. México: INEE.

  3. Basterra, M. R. (2011). Cognition, culture, language, and assessment. In M. R. Basterra, E. Trumbull, and G. Solano-Flores (Eds.), Cultural validity in assessment (pp. 72-95). New York: Routledge.

  4. Booth, T. & Ainscow, M. (2000). Index for Inclusion. Bristol: CSIE.

  5. Borges, A. & Sánchez-Bruno, A. (2004). Algunas consideraciones metodológicas relevantes para la investigación aplicada. Revista Electrónica de Metodología Aplicada, Vol. 9 nº 1, pp. 1-11.

  6. Camilli, G., & Shepard, L. (1994). Methods for identifying biased test items. Thousands Oaks, CA: Sage.

  7. Carabaña, J. (2015). La inutilidad de PISA para las escuelas. Madrid: La Catarata.

  8. Coleman, J. S.; Campbell, E.; Hobson, C.; McPartland, J.; Mood, A.; Weinfeld, F. & York., R. (1966). Equality of educational opportunity. Washington: Government Printing Office.

  9. Cordero, J. M., Crespo, E. & Pedraja, F. (2013). Rendimiento educativo y determinantes según PISA: una revisión de la literatura en España. Revista de Educación, 362, 273-297. DOI: http://dx.doi.org/10.4438/1988-592X-RE-2011-362-161

  10. De la Orden, A. (2007). Evaluación de la calidad de la educación. Un modelo sistémico como base para la construcción de un sistema de indicadores. En INEE, Conceptos, metodologías y experiencias para la construcción de indicadores educativos (pp. 6-21). México: Instituto Nacional para la Evaluación de la Educación (INEE).

  11. De la Orden, A. (2012). La función general de la evaluación y la optimización educativa. Ponencia invitada en el I Foro Iberoamericano de Evaluación Educativa. México: Ensenada, UABC-IIDE (5-7 Noviembre). Recuperado de http://uee.uabc.mx/uee/eventos/primerForoRIEE/ponencias/6.pdf

  12. De la Orden, A. (Dir.) (1997). Desarrollo y validación de un modelo de calidad universitaria como base para su evaluación. RELIEVE, 3(1-2). Recuperado de http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_2.htm

  13. De la Orden, A., & Jornet, J.M. (2012). La utilidad de las evaluaciones de sistemas educativos: la consideración del contexto. Bordón, 64, 2; 69-88.

  14. Ercikan, K., & Solano-Flores, G. (2016). Assessment and sociocultural context: A bidirectional relationship. En G. T. L. Brown & L. Harris (Eds.), Human Factors and Social Conditions of Assessment. New York: Routledge.

  15. Ercikan, K., Roth, W.-M., Simon, M., Sandilands, D., & Lyons-Thomas, J. (2014). Inconsistencies in DIF detection for sub-groups in heterogeneous language groups. Applied Measurement in Education, 27, 275-285.

  16. Frías, M.D., Pascual, J., & García, J.F. (2000). Tamaño del efecto del tratamiento y significación estadística. Psicothema, 12(2), 236-240.

  17. García-Bellido, Rosario (2015). Diseño y validación de un instrumento para evaluar la competencia "Aprender a aprender" en profesionales de la educación. Tesis Doctoral. Universitat de València:.

  18. Gaviria, J. L., Martínez, R., & Castro, M. (2004). Un Estudio Multinivel Sobre los Factores de Eficacia Escolar en Países en Desarrollo: El Caso de los Recursos en Brasil. Policy Analysis Archives, 12(20). DOI: http://dx.doi.org/10.14507/epaa.v12n20.2004

  19. González-Montesinos, M.J. & Jornet, J.M. (2010). Modelo para detección de funcionamiento diferencial de reactivos (DIF) en pruebas INEE. Informe Técnico 2010. México: INEE, Dirección General de Pruebas, Documento interno.

  20. Green, J. (1988). Stakeholder Participation and Utilization in Program Evaluation. Evaluation Review, April (12), 91-116. DOI: http://dx.doi.org/10.1177/0193841X8801200201

  21. Hambleton, R.K. (2005). Issues, designs, and technical guidelines for adapting tests into multiple languages and cultures. In R.K. Hambleton, P.F. Merenda, & C.D. Spielberger (Eds.), Adapting educational and psychological tests for cross-cultural assessment. Mahwah, NJ: Lawrence Erlbaum.

  22. Hernández, R., Fernández, C., & Baptista, P. (2010). Metodología de la investigación. México: Editorial Mc Graw Hill.

  23. Hox, J. (2002). Multilevel Analysis: Techniques and applications. London: Lawrence Erlbaum Associates.

  24. INEE -Instituto Nacional para la Evaluación de la Educación de México- (2005). PISA para docentes: La evaluación como oportunidad de aprendizaje. México D.F.: INEE. Recuperado de http://www.inee.edu.mx/index.php/84-publicaciones/materiales-para-docentes-capitulos/455-pisa-para-docentes-la-evaluacion-como-oportunidad-de-aprendizaje

  25. Jornet, J. M. & Suárez, J. M. (1989). Conceptualización del dominio educativo desde una perspectiva integradora en Evaluación Referida al Criterio (ERC). Bordón, 41, 237-275.

  26. Jornet, J. M. (2014). Asignaturas pendientes en las evaluaciones a gran escala. En M. C. Cardona, y E. Chiner. (Eds.). Investigación educativa en escenarios diversos, plurales y globales. (pp. 115 – 128). Madrid: EOS.

  27. Jornet, J. M., Perales, M. J. & Sánchez-Delgado, P. (2011). El Valor Social de la Educación: Entre la Subjetividad y la Objetividad. Consideraciones Teórico-Metodológicas para su Evaluación. Revista Iberoamericana de Evaluación Educativa, 4(1), 51-77. Recuperado de http://www.rinace.net/riee/numeros/vol4-num1/art3.pdf

  28. Jornet, J.M. & González-Such, J. (2009). Evaluación criterial: determinación de estándares de interpretación (EE) para pruebas de rendimiento educativo. Estudios sobre Educación, 16, 103-123. Recuperado de http://dadun.unav.edu/bitstream/10171/9172/1/16%20Estudios%20Ee.pdf

  29. Jornet, J.M., García-García, M. & González-Such, J (Eds.)-(2014). La evaluación de sistemas educativos. Informaciones de interés para los colectivos implicados. Universitat de València –PUV-.

  30. Jornet, J.M., López-González, E., & Tourón, J. (Coords.) (2012). Los cuestionarios de contexto en la evaluación de sistemas educativos. Bordón, 64(2). (Monográfico).

  31. Jornet, J.M., Sánchez-Delgado, P. & Perales, M. J. (2015) La evaluación del impacto y la relevancia de la educación en la sociedad. Universitat de València -PUV-.

  32. Ledesma, R., Macbeth, G. & Cortada de Kohan, N. (2008). El tamaño del efecto: una revisión conceptual y aplicaciones de la vista con sistema de estadística. Revista Latinoamericana de psicología, 40(3), 425-439.

  33. Lizasoain, L. & Joaristi, L. (2010). Estudio Diferencial del Rendimiento Académico en Lengua Española de Estudiantes de Educación Secundaria de Baja California (México). Revista Iberoamericana de Evaluación Educativa,3(3), pp..115-134. Recuperado de http://www.rinace.net/riee/numeros/vol3-num3/art6.pdf.

  34. Martínez Rizo, F. (2009) Evaluación formativa en aula y evaluación a gran escala: hacia un sistema más equilibrado. REDIE, 11(2), 1.18. Recuperado de http://redie.uabc.mx/redie/article/download/231/388

  35. Martínez Rizo, F. (2012). La evaluación en el aula: promesas y desafíos de la evaluación formativa. México: Universidad Autónoma de Aguascalientes.

  36. Martínez-Rizo, F. (2016). Impacto de las pruebas en gran escala en contextos de débil tradición técnica: Experiencia de México y el Grupo Iberoamericano de PISA. RELIEVE, 22(1). DOI: http://dx.doi.org/10.7203/relieve.22.1.8244

  37. Martinez-Rizo, F. (Coord.) (2015). Las pruebas ENLACE y Excale. Un estudio de validación. Cuaderno de Investigación No. 40. México. DF: Instituto Nacional para la Evaluación de la Educación. Recuperado de http://publicaciones.inee.edu.mx/buscadorPub//P1/C/148/P1C148_01E01.pdf

  38. Martínez, R. (2006). La metodología de los estudios PISA. Revista de Educación, núm. Extraordinario, 111-129.

  39. MECD. (2014). Panorama de la educación. Indicadores de la OCDE 2014. Madrid: MECD. Recuperado de http://www.mecd.gob.es/dctm/inee/indicadores-educativos/panorama2014/panorama2014web.pdf?documentId=0901e72b81b20622

  40. MECD. (2015). Panorama de la educación. Indicadores de la OCDE 2015. Madrid: MECD. Recuperado de http://www.mecd.gob.es/dctm/inee/internacional/panorama-de-la-educacion-2015.-informe-espanol.pdf?documentId=0901e72b81ee9fa3

  41. Mehrens, W. (1997). The consequences of consequential validity. Educational Measurement: Issues and Practice, 16(2), 16-18.

  42. Ministerio de Educación, Cultura y Deporte. (2012). PISA 2012. Programa para la Evaluación Internacional de los alumnos. Informe español. Madrid: MECD. http://www.mecd.gob.es/dctm/inee/internacional/pisa2012/pisa2012lineavolumeni.pdf?documentId=0901e72b81786310

  43. Ministerio de Educación (2009). PISA 2009. Programa para la evaluación internacional de los alumnos. Informe español. Madrid: Ministerio de Educación. http://www.mecd.gob.es/dctm/ievaluacion/internacional/pisa-2009-con-escudo.pdf?documentId=0901e72b808ee4fd

  44. Muñiz, J., Elosua, P. & Hambleton, R.K. (2013). Directrices para la traducción y adaptación de los tests: segunda edición. Psicothema, 25(2), pp. 151-157. DOI: http://dx.doi.org/10.7334/psicothema2013.24

  45. Murillo, F.J. (2003). Una panorámica de la investigación iberoamericana sobre eficacia escolar. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 1(1), 1-14.

  46. Murillo, F.J. (2007). School Effectiveness Research in Latin America. En T. Townsend (Ed.), International Handbook of School Effectiveness and Improvement, (pp. 75-92). New York: Springer.

  47. Murillo, F. J. (2008). Los modelos multinivel como herramienta para la investigación educativa. Magis, Revista Internacional de Investigación en Educación, 1, 45-62.

  48. Murillo, F.J. & Hernández-Castilla, R. (2011a). Factores escolares asociados al desarrollo socio-afectivo en Iberoamérica. RELIEVE, 17(2). DOI: http://dx.doi.org/10.7203/relieve.17.2.4007

  49. Murillo, F. J., & Hernández-Castilla, R. (2011b). Efectos escolares de factores socio-afectivos. Un estudio Multinivel para Iberoamérica. Revista de Investigación Educativa, 29(2), 407-42. Recuperado de http://revistas.um.es/rie/article/view/111811

  50. OECD. (1999). Measuring student knowledge and skills. A new Framework for assessment. Paris: OECD. Recuperado de http://www.oecd.org/edu/school/programmeforinternationalstudentassessmentpisa/33693997.pdf

  51. OECD. (2003). The PISA 2003. Assessment Framework. Mathematics, Reading, Science and Problem Solving knowledge and skills. Paris: OECD. Recuperado de http://www.oecd.org/edu/school/programmeforinternationalstudentassessmentpisa/33694881.pdf

  52. OECD. (2005). PISA 2003. Technical Report. Paris: OECD Publishing.

  53. OECD. (2006). Assessing Scientific, Reading and Mathematical Literacy. A Framework for PISA 2006. Paris: OECD. Recuperado de http://www.oecdilibrary.org/docserver/download/9806031e.pdf?expires=1465551043&id=id&accname=guest&checksum=02E5A7F7B73F1CCFA0DA6E8336A2F3D8

  54. OECD. (2009). PISA 2009. Assessment Framework. Key competencies in reading, mathematics and science. Paris: OECD. Recuperado de https://www.oecd.org/pisa/pisaproducts/44455820.pdf

  55. OECD. (2009b). PISA 2006. Technical Report. Paris: OECD Publishing.

  56. OECD. (2012). Pisa 2012. Assessment and analytical Framework. Mathematics, reading, science, problem solving and financial literacy. Paris: OECD. https://www.oecd.org/pisa/pisaproducts/PISA%202012%20framework%20e-book_final.pdf

  57. OECD. (2012b). PISA 2009. Technical Report. París: OECD Publishing.

  58. OECD. (2014). PISA 2012. Technical Report. París: OECD Publishing.

  59. OECD. (2015). PISA 2015. Assessment and Analytical Framework. Science, Reading, Mathematic and Financial Literacy. Paris. OECD. http://www.keepeek.com/Digital-Asset-Management/oecd/education/pisa-2015-assessment-and-analytical-framework_9789264255425-en#page201

  60. Popham, W. (1997). Consequential validity: Right concern - wrong concept. Educational Measurement: Issues and Practice, 16(2), 9-13.

  61. Ravela, P. (2002). ¿Cómo presentan sus resultados los sistemas nacionales de evaluación educativa en América Latina? Documento de Trabajo No. 2. Santiago de Chile: PREAL. Recuperado de http://www.preal.org/docs-trabajo/ravela_n22.pdf

  62. Ravela, P. (2003). ¿Cómo aparecen los resultados de las evaluaciones educativas en la prensa? Grupo de Trabajo sobre Estándares y Evaluación del PREAL. Recuperado de http://www.preal.cl/GTEE/pdf/prensa.pdf

  63. Rothman, R. (2004). Benchmarking and alignment of state standards and assessment. En S. Fuhrman and R. Elmore (Eds.), Redesigning accountability systems for education (pp. 96-114). New York: Teachers College Press.

  64. Ruiz-Primo, M.A. (2006). A Multi-Method and Multi-Source Approach for Studying Fidelity of Implementation. CSE Report 677. SEAL, Stanford University/CRESST.

  65. Ruiz-Primo, M. A., & Li, M. (2015). The relationship between item context characteristics and student performance: The case of the 2006 and 2009 PISA Science items. Teachers College Record, 117(1), 1-36.

  66. Ruiz-Primo, M. A., Li, M., & Minstrell, J. (2014). Building a framework for developing and evaluating contextualized ítems in science assessment (DECISA). Proposal submitted to the DRL–CORE R7D Program to National Science Foundation. Washington, DC: National Science Foundation.

  67. Ruiz-Primo, M. A., Shavelson, R. J., Hamilton, L. & Klein, S. (2002). On the evaluation of systemic education reform: Searching for instructional sensitivity. Journal of Research in Science Teaching, 39(5), 269-393. DOI: 10.1002/tea.10027

  68. Ruiz-Primo, A., Jornet, J.M. y Backhoff, E. (2006). Acerca de la Validez de los exámenes de la calidad y el logro educativos (Excale). México: Instituto Nacional de Evaluación Educativa. Recuperado de http://www.uv.es/gem/gemhistorico/publicaciones/Acerca_de_la_Validez_de_los_examenes_de_la_calidad_y_el_logro_educativos_Excale.pdf

  69. Ruiz-Primo, M.A.; Li, M.; Wills, K.; Giamellaro, M.; Ming-Chih, L.; Mason, H., & Sand, D. (2012). Developing and Evaluating Instructionally Sensitive Assessments in Science. Journal of research in science teaching. 49(6), pp. 691–712.

  70. Sancho-Álvarez, C., Jornet, J. & González-Such, J. (2016). El constructo Valor Social Subjetivo de la Educación: validación cruzada entre profesorado de escuela y universidad. Revista de Investigación Educativa, 34(2). DOI: http://dx.doi.org/10.6018/rie.34.2.226131

  71. Shavelson, R. J., Ruiz-Primo, M. A., Li, M., & Ayala, C. C. (2002). Evaluating new approaches to assessing learning. CSE Technical Report 604. National Center for Research on Evaluation, Standards, and Student Testing (CRESST) University of California, Los Angeles.

  72. Solano-Flores, G. & Li, M. (2013). Generalizability theory and the fair and valid assessment of linguistic minorities. Educational Research and Evaluation: An International Journal on Theory and Practice, 19(2-3), pp. 245-263. DOI: http://dx.doi.org/10.1080/13803611.2013.767632

  73. Solano-Flores, G. (2008, July). A conceptual framework for examining the assessment capacity of countries in an era of globalization, accountability, and international test comparisons. Paper given at the 6th Conference of the International Test Commission. Liverpool, UK.

  74. Solano-Flores, G. (2011). Assessing the cultural validity of assessment practices: An introduction. En M. R. Basterra, E. Trumbull, & G. Solano-Flores, Cultural validity in assessment (pp. 3-21). New York: Routledge.

  75. Solano-Flores, G., & Li, M. (2009). Generalizability of cognitive interview-based measures across cultural groups. Educational Measurement: Issues and Practice, 28(2), pp.9-18.

  76. Solano-Flores, G., Contreras-Niño, L.A., & Backhoff, E. (2006). Test translation and adaptation: Lessons learned and recommendations for countries participating in TIMSS, PISA, and other international comparisons. REDIE: Electronic Journal of Educational Research, 8(2). Recuperado de http://redie.uabc.mx/vol8no2/contents-solano2.html

  77. Tejedor, F. (1995). Perspectiva metodológica del diagnóstico y evaluación de necesidades en el ámbito educativo. Metodología en el diagnóstico y evaluación en los procesos de intervención educativa. Actas del V Seminario de Modelos de Investigación Educativa. Murcia: AIDIPE.

  78. Webb, N. (1997). Criteria for alignment of expectations and assessments in mathematics and science education. Council of Chief State School Officers and National Institute for Science Education. Madison, Wisconsin: Wisconsin Center for Education Research, University of Wisconsin.

  79. Webb, N.M., Herman, J. & Webb, N.L. (2007). Alignment of mathematics state-level standards and assessment: The role of reviewer agreement. Educational Measurement: Issues and Practice, 26(2), 17-29.

  80. Weiss C.H. (1984). Toward the future of stakeholders approaches in evaluation. En R.F. Conner, D.G. Altman & C. Jackson (eds), Evaluation studies. Review Annual, 9, pp. 255-268. Beverly Hills, California: Sage Publishers.


Enlaces refback

  • No hay ningún enlace refback.




Copyright (c)



https://ojs.uv.es/public/site/images/aliaga/scopus_170 https://ojs.uv.es/public/site/images/aliaga/esci_225 https://ojs.uv.es/public/site/images/aliaga/sello-calidad-revistas-2016_697_01