Lo que no te contarán del Informe PISA

He de reconocer que este año me ha pillado por sorpresa la publicación del Informe PISA 20015. No es que otros años estuviera alerta esperándolo, lo que me ha sorprendido son algunos análisis bastante positivos que he visto publicados en distintos medios de comunicación.

Algunos medios, incluso, han tomado los resultados de este año como una prueba de que no hace falta invertir más en educación para mejorar el rendimiento. Algo así como que gracias a la crisis y a los recortes nos ha ido mejor.

Todo esto me ha picado la curiosidad y, por primera vez, me he propuesto entender de que va todo esto de PISA.

Veamos las conclusiones que he sacado.

¿Realmente hemos mejorado tanto en el Informe PISA 2015?

Pues no, como dicen los deportistas, ni antes eramos tan malos ni ahora somos tan buenos.

Queda claro que solo hemos subido de forma apreciable en las pruebas de lectura, incluso hemos bajado en ciencias. Lo que si se aprecia es una bajada general de las medias de la OCDE, lo cual nos ha llevado a estar más cerca.

Visto esto, sigo sin entender los titulares de los periódicos.

Algunos ejemplos:

• El Periódico de Cataluña: «Informe PISA: la escuela española empieza por fin a salir de la mediocridad»
• La Razón: «El informe Pisa desmonta la demagogia de la izquierda»
• El confidencial.com: «Los recortes le sientan bien a la educación pública»
• El Español: Informe PISA: «España sigue a la cola en Matemáticas y Ciencias aunque mejora en Lectura»
• La Vanguardia: «España se sitúa por primera vez en lectura por encima de la media de la OCDE»

Como vemos, en lineas generales, parece que vamos mejor, aunque algunos medios siguen diciendo que estamos a la cola. ¿Será todo esto verdad? ¿Somos tan malos?

Vamos a ver en que consiste realmente el informe pisa.

¿Que es el Informe PISA?

Se trata de una evaluación que pretende medir el sistema educativo de todos aquellos países que participan.

En cada edición PISA, hay una competencia que constituye el dominio principal. En la edición del 2015 es Ciencias.

Se hace cada tres años y solo sobre alumnos de 15 años.

Aquí viene la primera cuestión que no suele aparecer en los artículos de medios generalistas.  Los alumnos tienes que tener 15 años pero no todos están en 4º de la ESO, también se evalúa a aquellos que por repetir algún cursos se encuentran en niveles inferiores.

Esto no termina de convencerme, como pueden examinar a un alumno que está en 2º de la ESO de contenidos de 4º de ESO. Lógicamente, en aquellas regiones en las que el nivel sociocultural y económico sea más bajo, también será mayor el número de alumnos que repiten curso, y esto se reflejará en peores resultados en el Informe PISA.

Lo que quiero decir con esto, es que si los medios de comunicación solamente muestran un número como resumen del Informe PISA, están omitiendo su verdadera función.

La información que recoge el Informe PISA la obtiene de:

• Cuestionario de contenidos para los alumnos donde se evalúa lo que saben y lo que son capaces de hacer.
• Cuestionario de contexto para los alumnos que  trata de recopilar información sobre los propios alumnos, sus hogares, y sus centros escolares y experiencias de aprendizaje.
• Los directores de centro deben responder a un cuestionario sobre el sistema de organización del centro escolar y el entorno de aprendizaje.
• Algunos países, como España, también realizan el cuestionario de profesor, así como los cuestionarios de padres, en los que se pregunta sobre su percepción del entorno de aprendizaje de sus hijos, su apoyo para el aprendizaje en casa y sus expectativas sobre la futura carrera profesional de sus hijos, particularmente en ciencias.

Como vemos no es simplemente un examen que los alumnos han de contestar. Va mucho más allá con la pretensión de hacer un diagnóstico de la situación educativa de cada pais.

Si se aíslan los datos puramente académicos estaremos inutilizando el informe.

Resultados del Informe PISA 2015

EN CIENCIAS

Como hemos visto al principio del artículo, España en Ciencias ha obtenido una puntuación de 496. Para calibrar si es esto bueno o malo conviene saber que las puntuaciones del Informe PISA se clasifican en en 6 niveles de rendimiento.

En principio, estar en el Nivel 3 no parece que sea para tirar cohetes. Lo que ocurre, es que el Nivel 3 va de los 484 a los 559 puntos, y en este intervalo están incluidos todos países con las mejores clasificaciones, incluido Singapur con 556 puntos. Lo vemos en la tabla siguiente.

Además, en la tabla, se muestran los intervalos de confianza de cada país. Si estos intervalos de confianza tienen intersección común, la diferencia entre sus resultados no es estadísticamente significativa.

De esto se deduce que «el rendimiento de los alumnos españoles está, con un 95% de confianza, en el intervalo de 490 a 496 puntos. De modo que los resultados de España no se diferencian significativamente de los de Estados Unidos (496), Francia (495), Austria (495), Suecia (493), República Checa (493) y Letonia (490), ya que los intervalos de confianza de estos países coinciden, al menos en parte, con el de España.»

También apreciamos, en la tabla anterior, los resultados por comunidades, que como siempre, son bastante dispares.

A raíz de estos resultados por comunidades se me ha ocurrido compararlos con la riqueza de los hogares para ver si podíamos sacar alguna conclusión. La tabla comparativa es la siguiente:

Como se aprecia, hay bastante relación entre nivel económico y los resultados del Informe PISA. Las grandes excepciones son País Vasco, con unos resultados desastrosos para su nivel económico, y Castilla y León con unos resultados excepcionales si tenemos en cuenta su renta por hogar.

Otro gráfico interesante es el que nos muestra la distribución de los alumnos por niveles de rendimiento:

Nuevamente vemos que la educación española no sale mal parada ya que, sin ser unos resultados excelentes, solo el 18 % de los alumnos se encuentran en los niveles más bajos del rendimiento de ciencias.  En el conjunto OCDE es el 22 % y en la UE el 21%. Paises como EEUU, Francia, Suecia, Italia, etc, quedan al mismo nivel o peor.

EN COMPETENCIA LECTORA

De nuevo nuestro país queda encuadrado en el Nivel 3, que va de los 480 a los 553 puntos, al igual que todos los países que quedan por delante. España consigue una puntuación media en lectura de 496 puntos, tres por encima del promedio de la OCDE (493) y dos por encima del total de la UE (494).

De nuevo teniendo en cuenta los intervalos de confianza «los resultados de España no se diferencian significativamente de algunos países y como consecuencia se puede decir que está en el grupo constituido por: Suecia (500), Dinamarca (500), Bélgica (499), Portugal (498), Reino Unido (498), Estados Unidos (497), Federación Rusa (495) y Suiza (492), ya que los intervalos de confianza de estos países coinciden, al menos en parte, con el de España«.

EN MATEMÁTICAS

En matemática, con 486 puntos, volvemos a estar en el Nivel 3 (482,4 – 544,7) y solo Singapur, muy por delante, entra en el Nivel 4.

Estudiando la gráfica anterior llegamos a la conclusión de que, aunque estamos algo peor que en ciencias y lectura, seguimos a un nivel similar al de países como el Reino Unido, Francia, Francia o Italia y por encima de EEUU.

Diferencia entre centros público y privados

Este apartado también se estudia en el Informe PISA y podemos sacar algunos datos interesantes.

En primer lugar, me parece destacable que el país con mejores resultados, Singapur, tiene el 92% de sus centros de titularidad pública, la media en la UE es del 84 % y en España andamos por el 69 %.

Curiosamente la Comunidad Autónoma con menos centros públicos es el Pais Vasco con solo el 53 %.

Otro dato importante es la diferencia de resultados entre centros privados y centros públicos.

Como es lógico, los centros privados obtienen mejores puntuaciones que los públicos en todos los países. En España la diferencia de puntuación es de 30 puntos, mientras que la media de la UE es de 36 y la de la OCDE de 29. Nuevamente nada que haga saltar las alarmas.

El índice de estatus socio-económico y cultural en PISA (ESCS)

Y llegamos a lo que, en mi opinión, es el factor determinante para valorar lo bien o lo mal que funciona un sistema educativo. Me refiero al índice que pone en relación los resultados académicos con el nivel socio-económico y cultural de cada país. Veamos como tienen en cuenta todo esto al elaborar el Informe PISA:

«Para medir diversos aspectos del origen social y familiar de los alumnos se construye un Índice Social, Económico y Cultural (ESCS, en sus siglas en inglés, o ISEC, en sus siglas en español), que refleja la ocupación profesional y el nivel educativo de los padres, así como los recursos disponibles en el hogar, por ejemplo, el número de libros en casa, que sigue siendo un indicador fiable para este propósito, o qué dispositivos digitales existen en casa, como ordenadores, portátiles o tabletas,…«

Como se muestra en la gráfica anterior el Índice Social, Económico y Cultural  de España es claramente inferior al promedio de países OCDE y UE. Todos los países cercanos, incluidos Grecia o Portugal, superan a España en este importante aspecto.

En el Informe PISA se destaca la correlación entre este índice y las puntuaciones obtenidas. Esto no lo he visto mencionado en ningún medio y me parece esencial.

Literalmente en el informe encontramos las siguientes palabras:

«Como en todas las ediciones PISA hasta la actual, la correlación entre este índice y las puntuaciones medias en ciencias es positiva, es decir, a mayor valor del ESCS, mejores resultados. Más concretamente, la relación observada entre las puntuaciones medias en ciencias obtenidas por los países seleccionados y el valor medio de su índice social, económico y cultural muestra que este índice explica el 38,8% de la variabilidad en las puntuaciones medias obtenidas.«

La siguiente gráfica es muy ilustrativa ya que pone en relación la puntuación obtenida por cada país y su índice ESCS:

En la gráfica la banda gris es la zona en la que se espera que se encuentren las puntuaciones de cada país para su nivel de ESCS. Para su nivel, España obtiene una puntuación media en ciencias significativamente más alta que la esperada para su nivel de ESCS. Lo mismo ocurre con países como Singapur, Japón, Estonia o Finlandia, entre otros. Otros países como Suecia, Noruega, Dinamarca o Islandia obtienen puntuaciones medias
en ciencias inferiores a las esperadas para su nivel de ESCS.

Relación de los resultados con el nivel de estudios de los padres

Este es otro factor determinante, sin el cual, es imposible entender los resultados del Informe PISA.

En el propio informe encontramos los siguiente:

«El nivel de estudios de los padres es el factor asociado que más se correlaciona con los resultados de los alumnos en PISA, y eso sucede en las tres principales competencias evaluadas, y en todas las ediciones del estudio, tanto en España como en el conjunto de los países de la OCDE y de la Unión Europea.«

A la hora de elaborar el informe se consideran cuatro niveles según el nivel de estudio de los padres:

• Bajo: ninguno de los dos padres ha culminado la educación secundaria obligatoria (ESO).
• Medio-bajo: al menos uno de los padres ha culminado la educación secundaria obligatoria.
• Medio-alto: al menos uno de los padres ha culminado la educación secundaria post-obligatoria (bachillerato o formación profesional de grado medio o de grado superior).
• Alto: al menos uno de los padres ha culminado la educación terciaria (titulaciones universitarias o de formación profesional de grado superior).

El grafico siguiente muestra los resultados:

Dentro de los países de la Unión Europea, España triplica el porcentaje de alumnos de 15 años cuyos padres tienen nivel educativo bajo y medio-bajo (25% frente a 8%). En cuanto al nivel educativo alto, la proporción de alumnos de España (55%) queda próxima a la de la OCDE (57%) y de la UE (57%).

Además, vemos que aquellas comunidades autónomas con menor nivel de estudios de los padres coinciden casi de forma exacta con aquellas que han sacado resultados más bajos en el Informe PISA.

Poco se puede añadir.

Conclusiones al Informe PISA

De todo lo expuesto debería quedar claro que soltar tres numeritos y decir que un sistema educativo no funciona, que unos profesores son muy malos o buenos, o que se ha mejorado mucho no vale para nada. Hay que tener en cuenta el resto de factores que incluye el informe, que es mucho más completo de lo que nos hacen ver en los medios.

Creo que es esencial tener en cuenta dos factores muy importantes:

• Nivel Socio-cultural y económico de las familias.
• Nivel de estudios de los padres.

Sin estos factores cualquier conclusión queda coja.

Para acabar, comentar que si quieres más información puedes descargar el documento completo en este enlace del MECD.