DOI: https://doi.org/10.7203/relieve.22.1.8294

Interpretaciones no intencionadas e intencionadas y usos de los resultados de PISA : Una perspectiva de validez consecuencial


Resumen


Este artículo explora la relevancia de considerar las consecuencias de las pruebas como parte de las discusiones acerca de la validez, la investigación sobre validación, en el contexto del Programa Internacional para la Evaluación de Estudiantes de la OCDE, PISA. Lo primero que describe la concepción moderna de validez como un aspecto fundamental de la calidad de los ensayos y sistemas de pruebas, es que evoluciona en torno a las interpretaciones propuestas y usos de las puntuaciones de las pruebas: "La validez se refiere al grado en el cual la evidencia y la teoría apoyan las interpretaciones de las puntuaciones de las pruebas sobre las propuestas de su uso en los test. La validez es, por tanto, la consideración más fundamental en el desarrollo y evaluación de las pruebas. " (AERA, APA & SNEM, 2014, p. 11). En particular, nos centramos en el papel que han jugado sus consecuencias en la literatura sobre validez de la prueba y validación. Así como a continuación, introducimos PISA y sus interpretaciones y usos previstos como base para el examen de su validez. Esto es seguido por un resumen de los estudios empíricos existentes sobre los usos y consecuencias de PISA. Finalmente, el documento presenta piezas que faltan en la evidencia de validez en relación con las consecuencias y se analiza la importancia de una agenda pro-activa en estos temas por parte de los grupos de interés de PISA a nivel internacional y nacional.

Palabras clave


PISA; validez; usos puntuaciones de test; validación; construcción de pruebas.

Texto completo:

PDF (English) PDF

Referencias


  1. American Educational Research Association, American Psychological Association & National Council for Measurement in Education [AERA, APA & NCME] (2014). The Standards for Educational and Psychological Testing. Washington, D.C.: AERA.

  2. Amoroso, J. M., Moreno, J. M., Gortazar, L., Herrera Sosa, K. M., Kutner, D., & Bodewig, C. (2015). Poland - Skilling up the next generation : an analysis of Poland’s performance in the program for international student assessment, 1–21. Retrieved from http://documents.worldbank.org/curated/en/2015/12/25518729/poland-skilling-up-next-generation-analysis-poland%E2%80%99s-performance-program-international-student-assessment

  3. Baird, J.-A., Isaacs, T., Johnson, S., Stobart, G., Yu, G., Sprague, T., & Daugherty, R. (2011). Policy effects of PISA. Retrieved from http://research-information.bristol.ac.uk/en/publications/policy-effects-of-pisa(833739c4-7e0a-4c18-b249-a3f12120065f).html

  4. Bonal, X., & Tarabini, A. (2013). The role of PISA in shaping hegemonic educational discourses, policies and practices: The case of spain. Research in Comparative and International Education, 8(3), 335–341. http://dx.doi.org/10.2304/rcie.2013.8.3.335

  5. Breakspear, S. (2012). The policy impact of PISA: An Exploration of the Normative Effects of International Benchmarking in School System Performance. OECD Journals, (71), 1–32. DOI: http://dx.doi.org/10.1787/19939019

  6. Brennan, R. (2006). Perspectives on the Evolution and Future of Educational Measurement. In R. Brennan (ed.), Educational Measurement, 4th ed., pp. 1-16. Westport, CT: Praeger.

  7. Carabaña, J. (2008). Las diferencias entre pa´ises y regiones en las pruebas PISA. Retrieved from papers3://publication/uuid/2C1CA410-1F9E-49FE-8384-85AC6D3F3C84

  8. Choi, Á., & Jerrim, J. (2015). The Use (and Misuse) of PISA in Guiding Policy Reform: The Case of Spain. SSRN Electronic Journal, 1–16. Doi: http://dx.doi.org/10.2139/ssrn.2580141

  9. Chung, J. (2016). The (mis)use of the Finnish teacher education model: “policy-based evidence-making”? Educational Research. Retrieved from http://www.tandfonline.com/doi/full/10.1080/00131881.2016.1167485

  10. Cronbach, L. (1988). Five perspectives on the validity argument. In H. Wainer & H. Braun (eds.), Test validity, pp. 3-17. Hillsdale, NJ: Lawrence Erlbaum.

  11. Elstad, E. (2010). Pisa Debates and Blame Management Among the Norwegian Educational Authorities : Press Coverage and, 48, 10–22.

  12. Ertl, H. (2006). Educational standards and the changing discourse on education: the reception and consequences of the PISA study in Germany. Oxford Review of Education, 32(5), 619–634. DOI: http://dx.doi.org/10.1080/03054980600976320

  13. Gür, B. S., Çelik, Z., & Özoğlu, M. (2012). Policy options for Turkey: a critique of the interpretation and utilization of PISA results in Turkey. Journal of Education Policy, 27(1), 1–21. DOI: http://dx.doi.org/10.1080/02680939.2011.595509

  14. Instituto Nacional de Evaluación Educativa. (2014). PISA 2012 Resolución de problemas de la vida real. Resultados de matemáticas y lectura por ordenador. Informe Español. Versión preliminar. Instituto Nacional de Evaluación Educativa. Retrieved from http://www.mecd.gob.es/dctm/inee/internacional/pisa2012-resolucionproblemas/pisaresoluciondeproblemas.pdf?documentId=0901e72b8198bee8

  15. Instituto Nacional para la Evaluación de la Educación. (2013). México en 2012. Mexico: Instituto Nacional parala Evaluación de la Educación. Retrieved from http://www.inee.edu.mx/images/stories/2013/principal/PISA2013/PISA_2012041213web1.pdf

  16. Jakubowski, M. (2015). Opening up opportunities: education reforms in Poland, (January).

  17. Jornet, J. (2013, January 30). Cuestionados los supuestos malos datos españoles del informe Pisa. Comunidad Valenciana. Valencia. Retrieved from http://ccaa.elpais.com/ccaa/2013/01/30/valencia/1359572336_318312.html

  18. Jornet, J. (2016a). España en PISA. Valencia: Ateneo Mercantil de Valencia.

  19. Jornet, J. (2016b, January 26). "La educación no está tan mal; el informe PISA. Levante. El Mercantil Valenciano, p. 10. Valencia.

  20. Jornet, J. (2016c, January 26). Cómo desmontar el informe PISA. Las Provincias. Valencia. Retrieved from http://www.lasprovincias.es/comunitat/201601/26/como-desmontar-informe-pisa-20160126001834-v.html

  21. Kane, M. (2006). Validity. In Brennan, R. (ed.), Educational Measurement, 4th ed., pp. 17-64. Westport, CT: Praeger.

  22. Kane, M. (2013). The argument-based approach to validation. School Psychology Review, 42(4), 448-457.

  23. Linn, R. (1998). Partitioning responsibility for the evaluation of the consequences of use. Educational Measurement: Issues and Practice, 17(2), 28-30.

  24. Martens, D. K., Nagel, A.-K., Windzio, M., & Weymann, A. (2010). Transformation of Education Policy. Basingstoke: Palgrave.

  25. Martinez Rizo, F. et al. (2015). Las pruebas ENLACE y Excale. Un estudio de validación. Cuaderno de Investigación No. 40. México. DF: Instituto Nacional para la Evaluación de la Educación.

  26. Mehrens, W. (1997). The consequences of consequential validity. Educational Measurement: Issues and Practice, 16(2), 16-18.

  27. Messick, S. (1989). Validity. In R. Linn (ed.), Educational measurement (3rd ed.), pp. 13-103. Washington, D.C.: American Council on Education.

  28. Meyer, H.-D. & Zahedi, K. (2014, May 4). Open Letter to Andreas Schleicher, OECD, Paris. Retrieved from http://www.globalpolicyjournal.com/blog/05/05/2014/open-letter-andreas-schleicher-oecd-paris

  29. Ministerio de Educación de Chile. (2012). Evidencias para Políticas Públicas en Educación: Selección de Investigaciones Concurso Extraordinario FONIDE-PISA. Santiago de Chile: Ministerio de Educación de Chile. Retrieved from https://s3.amazonaws.com/archivos.agenciaeducacion.cl/documentos-web/Estudios+Internacionales/PISA/Evidencias_para_Politicas_Publicas_en_Educacion_FONIDE_PISA.pdf

  30. Ministerio de Educación de Chile. (2014). Informe Nacional Resultados Chile Pisa 2012. Santiago de Chile: MINEDUC. Retrieved from https://s3.amazonaws.com/archivos.agenciaeducacion.cl/documentos-web/Estudios+Internacionales/PISA/Informe_Nacional_Resultados_Chile_PISA_2012.pdf

  31. Neumann, K., Fischer, H. E., & Kauertz, A. (2010). FROM PISA TO EDUCATIONAL STANDARDS: THE IMPACT OF LARGE-SCALE ASSESSMENTS ON SCIENCE EDUCATION IN GERMANY. International Journal of Science and Mathematics Education, 8(3), 545–563. http://doi.org/10.1007/s10763-010-9206-7

  32. Organisation for Economic Co-Operation and Development (2008). External evaluation of the policy impact of PISA, (November), 3–5. Retrieved from http://www.oecd.org/officialdocuments/publicdisplaydocumentpdf/?cote=EDU/PISA/GB(2008)35/REV1&docLanguage=En

  33. Organisation for Economic Co-Operation and Development (2010). PISA 2009 Results: Executive Summary. Executive Summary, 1–21. Retrieved from http://www.oecd.org/pisa/pisaproducts/46619703.pdf

  34. Organisation for Economic Co-Operation and Development (2013). General guidelines for the availability and uses of the PISA-based test for schools. Retrieved on May 15, 2016 from https://www.oecd.org/pisa/aboutpisa/PISA-based-test-for-schools-guidelines.pdf

  35. Organisation for Economic Co-Operation and Development (2014, April). Education Policy Outlook Spain. Retrieved May 1, 2016, from http://www.oecd.org/edu/EDUCATION%20POLICY%20OUTLOOK%20SPAIN_EN.pdf

  36. Organisation for Economic Co-Operation and Development (2014). PISA 2012 Technical Report. Retrieved on May 1, 2016, from https://www.oecd.org/pisa/pisaproducts/PISA-2012-technical-report-final.pdf

  37. Popham, W. (1997). Consequential validity: Right concern - wrong concept. Educational Measurement: Issues and Practice, 16(2), 9-13.

  38. Prenzel, M., Sälzer, C., Klieme, E. & Köller, O. (eds.) (2013). PISA 2012. Fortschritte und Herausforderungen in Deutschland (PISA 2012. Improvements and challenges in Germany). Münster: Waxmann.

  39. Ravela, P. (2011). ¿ Qué hacer con los resultados de PISA en América Latina ? PREAL. Programa de Promoción de La Reforma Educativa En América Latina Y El Caribe, 58.

  40. Schafer, W., Wang; J. & Wang, V. (2009). Validity in action: State assessment validity evidence for compliance with NCLB. In R. Lissitz (ed.), The concept of validity, pp. 173-193. Charlotte, NC: Information Age Publishing.

  41. Shepard, L. (1997). The centrality of test use and consequences for test validity. Educational Measurement: Issues and Practice, 16(2), 5-8.

  42. Stobart, G., & Eggen, T. (2012). High-stakes testing – value, fairness and consequences. Assessment in Education: Principles, Policy & Practice, 19(1), 1–6. DOI: http://dx.doi.org/10.1080/0969594X.2012.639191

  43. Takayama, K. (2008). The politics of international league tables: PISA in Japan’s achievement crisis debate. Comparative Education, 44(4), 387–407. DOI: http://dx.doi.org/10.1080/03050060802481413

  44. Taut, S., Santelices, V. & Stecher, B. (2012). Validation of a national teacher assessment and improvement system. Educational Assessment Journal, 17(4), 163-199. DOI: DOI: http://dx.doi.org/10.1080/10627197.2012.735913

  45. Taut, S., Santelices, V., Araya, C. & Manzi, J. (2010). Theory unterlying a national teacher evaluation program. Evaluation and Program Planning, 33, 477-489. DOI: DOI: http://dx.doi.org/10.1016/j.evalprogplan.2010.01.002

  46. Tveit, S. (2013). Educational assessment in Norway. Assessment in Education: Principles, Policy & Practice, 21(2), 221–237. DOI: http://dx.doi.org/10.1080/0969594X.2013.830079

  47. Urteaga, E. (2010). Los resultados del estudio PISA en Francia. Revista Complutense de Educación, 21, 231–244.


Enlaces refback

  • No hay ningún enlace refback.




https://ojs.uv.es/public/site/images/aliaga/scopus_170 https://ojs.uv.es/public/site/images/aliaga/esci_225 https://ojs.uv.es/public/site/images/aliaga/sello-calidad-revistas-2016_697_01