‘Dato mata relato’: la importancia de medir la calidad educativa

‘Dato mata relato’: la importancia de medir la calidad educativa

En Panamá, ya por décadas, se debate mucho la necesidad de implementar pruebas estandarizadas internacionales para conocer, de forma cuantitativa, cuál es el nivel real del sistema educativo y qué tan preparados están los estudiantes en el sistema.

El debate sobre la necesidad de medir de forma estandarizada la competencia educativa del sistema va más allá de las ya famosas pruebas PISA y los resultados que logra Panamá cada vez que participa. La conversación es sobre las prioridades, los mecanismos internos que existen para medir la calidad educativa en el país y las metas propuestas.


Prueba

La discusión sobre aplicar o no la prueba PISA se reduce a temas de necesidad, costo, efectividad y cambios a las políticas públicas. Intentaremos desmenuzar las opiniones, de la mano de expertos.

El Programa para la Evaluación Internacional de Alumnos —PISA por su siglas en inglés— es la prueba estandarizada en el centro del debate. Es una prueba elaborada y liderada por la Organización para la Cooperación y el Desarrollo Económico (OECD). Los resultados son presentados en el contexto de los países miembro de la OECD, en comparación con países aliados.

Aplicada por primera vez en Panamá en 2009, se criticó mucho que no se volviera a aplicar la prueba hasta 2018. La decisión de retirarse de ella fue tomada por la entonces –y actual— ministra de Educación, Lucy Molinar.

Si bien la primera vez que Panamá participó fue en 2009, los esfuerzos para volverse miembro de la prueba de PISA iniciaron mucho antes.

En 2018, se volvió a aplicar la prueba y fue repetida en 2022. En teoría —obviando la demora por la pandemia—la prueba se aplica cada tres años en los países que así lo deciden. Expertos consideran que la continuidad en la aplicación es esencial para sacarle provecho.


Resultados

Los resultados publicados en 2023 de la prueba aplicada en 2022 en Panamá muestran deficiencias en matemáticas, ciencias y lectura.

Si bien hubo un incremento ligero en la puntuación de los estudiantes panameños, los resultados siguen estando por debajo de la media, tanto regional como global.

La evaluación fue aplicada a 4,544 estudiantes panameños de 15 años de edad en un total de 215 planteles educativos, tanto oficiales como particulares. Los resultados de la prueba también permiten comparar las puntuaciones entre ambas modalidades.

En matemáticas, se logró una puntuación promedio de 357. En lectura, se alcanzó una puntuación de 392 y en ciencias fue 388. Más allá de las puntuaciones netas, la prueba tiene escalas de competencia que permiten situar a los estudiantes.

Por ejemplo, competencia en matemática es llegar a mínimo un Nivel 2 en la prueba. En el caso de Panamá, solo el 16% de los estudiantes evaluados alcanzó ese nivel básico de competencia. El 84% se situó por debajo de la competencia básica.

De los 14 países de la región que participaron de la prueba en 2022, solo cuatro tienen menos porcentaje de estudiantes en Nivel 2 de competencias: Paraguay, Guatemala, El Salvador y República Dominicana.

En los países que mejores resultados lograron, Chile y Uruguay, el 56% y 57% de los estudiantes alcanzó el nivel básico de competencia, respectivamente.

Porcentaje de país que muestra deficiencias por país y materia

País Matemáticas Lectura Ciencia
Argentina 73% 55% 54%
Brasil 73% 50% 55%
Chile 56% 34% 36%
Colombia 71% 51% 51%
Costa Rica 72% 47% 51%
El Salvador 89% 72% 71%
Guatemala 87% 68% 73%
Jamaica 74% 50% 55%
México 66% 47% 51%
Panamá 84% 58% 62%
Paraguay 86% 66% 71%
Perú 66% 50% 53%
República Dominicana 92% 75% 77%
Uruguay 57% 41% 41%
Promedio regional 75% 55% 57%
Fuente: Resultados de la prueba PISA 2022, BID

Panamá supera en estos porcentajes el promedio regional en los tres casos.


Lectura

En lectura los resultados son igual de dispares con otros países pero menos graves, por decirlo de alguna forma. Apenas el 42% de los estudiantes panameños alcanzó el Nivel 2 o superior en lectura. La media de la OECD, por ejemplo, es del 74%. Por otro lado, solo 1% de los estudiantes panameños lograron una puntuación de nivel 5 o superior, lo cual los situaría en un alto rendimiento.

Otros estudios sobre lectura han arrojado resultados similares sobre la capacidad de los estudiantes panameños para comprender lo que leen. La gran mayoría de quienes cursan grados de pre media o media no comprenden a profundidad lo que leen. Estas carencias se arrastran desde los primeros años educativos en adelante.


Ciencia

En ciencias también hay deficiencias.

Por ejemplo, solo el 38% de los estudiantes panameños logró el Nivel 2 o más en las pruebas.

No obstante, fue en la sección de ciencias donde se logró el aumento más significativo en 2022 en comparación a los resultados de 2018, un incremento de 23 puntos.


Factores

Para Miguel Ángel Cañizales, exministro de Educación y experto en el tema, la importancia de las pruebas radica en la capacidad que le da a Panamá para compararse con otros países, tanto a nivel global como regional.

“La prueba PISA mide otros aspectos que no miden otras pruebas y permiten hacer análisis estadísticos complejos,” dijo a Nueva Nación.

Habla del concepto de competencia global que aborda la prueba. Se miden las capacidades que debe tener un estudiante del siglo XXI para ser competitivo a nivel global.

Además de las preguntas teóricas y temáticas en matemática, lectura y ciencia, la prueba PISA también hace un diagnóstico de situación del contexto educativo de los estudiantes.

La prueba, explicó Cañizales, analiza los factores asociados al desempeño educativo, como la situación familiar del estudiante, los niveles de seguridad que perciben y la cultura escolar.

La realidad es que el reporte completo de los resultados consolidados que arroja la prueba PISA generan cientos, sino miles, de puntos de datos relevantes para el país que participa.


Grave

Para Cañizales, los resultados que arroja la más reciente prueba PISA son prueba de que el sistema vulnera las competencias básicas que requieren los estudiantes para desenvolverse efectivamente. “Eso le produce un efecto al Estado,” considera.

Agrega que es necesario que Panamá se compare con países que inviertan lo mismo en educación, países con similares situaciones económicas y con niveles de desarrollo comparables.

Resalta, igualmente, la importancia de la continuidad en la aplicación de pruebas. “Para que las pruebas tengan un significado social deben ser continuas, pues eso nos permite tener parámetros de medición,” explicó. A su juicio, “Panamá adolece de estadística continua y precisa”.

“Al decidir cuáles son las pruebas que vamos a tener, hay que escogerlas por calidad y no por presupuesto,” dijo Cañizales a Nueva Nación. Reiteró que lo considera un aspecto importante para el sistema educativo y su capacidad de auto-evaluación.


Impacto

Johel Batiata es Presidente de la Fundación Ayudinga, una ONG Educativa Sin Fines de Lucro. Es, además, creador del programa PilandoAndo, un proyecto del Canal de Panamá y Ayudinga que impulsa tutorías masivas para estudiantes de distintas edades.

Inicialmente las tutorías estaban dirigidas a estudiantes recién graduados de la escuela que buscaban pasar la prueba de admisión en la Universidad Tecnológica de Panamá. Dos años después, se ha expandido, ofreciendo tutorías de matemáticas a más de 2,800 estudiantes, a la vez, de distintas edades, desde quinto hasta décimo grado.

Batista explica que las carencias que presentan los estudiantes en todos los niveles son palpables, particularmente en problemas de comprensión lectora y en aritmética básica. De momento, el programa se ha llevado a tres provincias: Panamá, Panamá Oeste y Colón. La meta es expandirlo.


Bases

Sobre aritmética, explica, queda claro que “no tuvieron una buena base ni tuvieron el estímulo necesario para comprender que los conceptos no son teóricos, sino que forman parte de la manera en la que funciona nuestro mundo día a día”.

“Hemos notado que les cuesta mucho el concepto de la abstracción. El reto es entender que un número representa algo,” explicó. En PilandoAndo se aplican pruebas diagnósticas al principio del programa y otras al final de las sesiones de tutoría.

Batista explica que si bien él puede ver cuáles son las carencias y dónde se necesitan refuerzos, son los resultados de las pruebas PISA los que le dan un marco teórico sobre el cuál trabajar.


Aplicación

No obstante, Batista comprende que lo frustrante de las pruebas puede ser lo que se hace, o no se hace, con los resultados que arroja.

La inversión en dinero, tiempo y esfuerzo para aplicar la prueba, puede no ser aprovechada si no se implementan cambios o políticas en base a los resultados que son analizados por el Meduca. “Eso es frustrante para el sistema,” dijo Batista.

Con ese argumento se genera otra cuestión del debate: ¿cómo se pueden tomar decisiones basadas en datos si la continuidad de la prueba es un reto?


Tiempos

Batista también resalta un aspecto clave de las pruebas y es su constancia y cómo los tiempos dan un pantallazo oportuno para Panamá.

La siguiente prueba, de Panamá mantenerla, sería aplicada en 2025 y sus resultados podrían verse como un pantallazo claro de lo que fue el quinquenio pasado en materia educativa.

Los tiempos de la prueba, con el sistema quinquenal en el que cambian los gobiernos en Panamá, dan una perspectiva interesante para medir la eficacia de políticas en materia de educación y cambios puntuales a los sistemas.

Batista, al igual que Cañizales y otros expertos, considera muy necesario mantener la continuidad.

“Perder un punto de dato en PISA sería el equivalente a borrar lo sucedido o no en educación durante tres años. No tendríamos ningún tipo de imagen, ningún tipo de sustento, solo tendríamos la anécdota. Y dato mata relato,” dijo.


Capacidad

Con el debate sobre la necesidad de la prueba PISA surge la duda sobre la posibilidad —y la capacidad— que tiene Panamá de crear una prueba estandarizada propia que mida el desempeño estudiantil y docente. Para Batista, la capacidad existe y lo consideraría una paso en la dirección correcta.

Argumenta que participar de una prueba internacional no elimina la posibilidad de aplicar parámetros locales. “Panamá tiene la capacidad de hacer pruebas y las necesitamos,” considera Batista.


Ministra

El debate sobre la participación de Panamá en la prueba PISA se revivió con la designación de Lucy Molinar, una vez más, como ministra de Educación.

En las primeras entrevistas que dio posterior a tomar posesión del cargo, respondió preguntas sobre el tema, dado que fue bajo su administración en 2009 que se decidió dejar de aplicar la prueba.

Molinar asegura que serán expertos educativos, nacionales e internacionales, los que tomen la decisión final sobre la participación, o no, de Panamá.

No obstante, ha dejado clara su posición y es que las considera demasiado caras para el resultado que arrojan. En entrevista con Telemetro, manifestó que “cualquier prueba sólo confirmará lo que ya sabemos sobre educación en el país”.

Dijo que la prueba es muy costosa y que considera que ese dinero podría tener mejor uso. “Con ese dinero puedo capacitar a los docentes y equipar las escuelas […] No voy a gastar ocho millones de dólares en una prueba para que me diga lo que ya sé,” dijo.

Es evidente que la ministra pone en duda la efectividad de aplicar las pruebas. Su opinión se enfrenta con aquella de otros expertos en el tema, quienes consideran que los datos que arrojan los resultados son clave para entender la realidad del sistema.


Decisión

La decisión de aplicar o no la prueba PISA en 2025 evidenciará las prioridades de la actual administración educativa y marcará un punto clave en la importancia que se le da a los datos educativos.

Recordemos que dicha prueba sería aplicada a estudiantes de 15 años de edad en 2025 y los resultados se divulgarán en 2026, a dos años de iniciada la nueva administración.

Las pruebas estandarizadas, particularmente la prueba PISA, continuarán siendo un punto de debate entre la comunidad educativa y las autoridades. Quienes abogan por la continuidad enfatizan la necesidad de aplicar la prueba en 2025 para así contar con nueve años de información seguida.