El Observatorio de Políticas Educativas de la Facultad de Ciencias de la Educación de la Universidad Nacional de Entre Ríos abrió una ronda de entrevistas con referentes de áreas específicas de Educación, con la intención de analizar y debatir sobre las pruebas PISA.
La Evaluación PISA, sigla en inglés de Programa para la Evaluación Internacional de Estudiantes, tendrá lugar en septiembre en nuestro país. Es una iniciativa de la Organización para la Cooperación y el Desarrollo Económicos (OCDE) que se realiza cada tres años, desde el 2000.
Argentina formó parte del estudio en todas las aplicaciones, a excepción de 2003. La prueba estandarizada se efectúa a alumnas y alumnos de 15 años para medir su rendimiento académico en matemáticas, ciencias y lengua. Tras una prueba piloto desarrollada en 2021, este año, 467 escuelas argentinas realizarán la prueba por primera vez de manera digital, a través de un software específico que no precisa conexión a internet. El Consejo General de Educación de Entre Ríos informó que habrá 13 escuelas de nuestra provincia.
Asimismo, se explicó desde el organismo provincial: «PISA evalúa la habilidad de los estudiantes para inferir los conocimientos adquiridos a lo largo de su vida y aplicarlos en situaciones nuevas o desconocidas. Es un estudio que permite construir y analizar periódicamente información comparable sobre el dominio que evidencian los estudiantes en algunos conocimientos y habilidades fundamentales para participar con protagonismo en la sociedad actual y futura. La intención es visibilizar las capacidades de los estudiantes para utilizar conocimientos y habilidades en temas clave, en situaciones que responden a la estructura típica de un contexto real. Dicha utilización implica organizar la información, razonar, acudir a conceptos y procedimientos centrales de los diferentes campos de conocimiento, comunicar y argumentar su postura personal con fundamentos».
La edición de 2021 quedó suspendida por el contexto de pandemia. Por tal motivo, los resultados del examen de este año pueden aportar a reconocer el nivel de aprendizaje y brindar datos para conocer el impacto del aislamiento por COVID-19 en el grupo seleccionado para la prueba.
Con los resultados de las PISA se confecciona un ranking de países según el rendimiento en cada área evaluada. En las primeras ediciones, Finlandia ocupó el puesto número uno, en las últimas dio paso a Shanghái, Singapur y Hong-Kong, con sistemas educativos muy diferentes. Este ranking y la mirada de la «rendición de cuentas» son quizá los temas más controvertidos alrededor de estas pruebas. Es así que esta y otras evaluaciones estandarizadas son y han sido muy cuestionadas en el ámbito de la educación a nivel internacional, específicamente en nuestro país. El pedagogo argentino radicado en Brasil, Pablo Gentili, expresa: «PISA construye un mecanismo artificial, lo impone y nadie lo cuestiona, y luego compara, porque en realidad es un complejo mecanismo de evaluación, pero al final hace un ranking, es como un concurso de belleza de la pedagogía para ver quién salió primero y quién salió último» (Gentili, P. Publicación Digital Sputnik, Montevideo, 1916).
Desde el Observatorio de Políticas Educativas de la FCEDU se buscará visibilizar posiciones y perspectivas con respecto a las evaluaciones externas en general y a las pruebas PISA en particular. En este marco, la docente Susana Celman, en entrevista con el OPE, invita a problematizar una práctica arraigada en nuestra provincia y en nuestro país.
Entrevista a Susana Celman
La magíster Marisa Mazza dialogó con Susana Celman, licenciada y profesora en Ciencias de la Educación por la UNL y la UNER, una referente en la temática de Evaluación.
Celman fue también profesora titular de la cátedra de Evaluación de las carreras de Ciencias de la Educación y del Profesorado en Comunicación Social de la UNER. Dirigió las carreras de Especialización y Maestría en Docencia Universitaria de la UNER y es docente a cargo de seminarios de posgrado en universidades de Argentina y Uruguay. Ha realizado, junto a otros colegas, numerosas investigaciones y trabajos de extensión. Publicó libros en co-autoría en Argentina y Brasil y ha participado en congresos, jornadas y simposios con trabajos sobre la Evaluación Educativa.
OPE: ¿Cómo repercute la información que arrojan las pruebas PISA en la elaboración de políticas educativas?
Susana Celman: Es una instancia evaluativa diseñada y aplicada por organismos técnicos internacionales que se propone producir información comparativa sobre el rendimiento escolar. Es un instrumento estructurado y estandarizado que toma datos, los sistematiza y los pone a disposición. En cuanto a su sentido y finalidad, podemos verlas desde, al menos, dos perspectivas. Primero desde el punto de vista de las finalidades de estos operativos (en los documentos fundantes aparece una explicitación de esto) y luego desde el lugar de otros sujetos, otras instituciones que pueden hacer uso de esa información.
Las pruebas pretenden/intentan evaluar la eficiencia y eficacia de los sistemas educativos. Se cree que cuanto mejores resultados obtengan los estudiantes, es mejor el sistema educativo, porque implementa medidas para que los estudiantes puedan resolver las pruebas. Hay un supuesto que consiste en pensar que los resultados en estos exámenes, indicarían el nivel de desarrollo, éxito o calidad de los sistemas educativos en cada país. Con estos datos, se establece un ranking que indica el lugar relativo de cada país. Si los estudiantes obtienen un rendimiento alto, se supone que el sistema educativo funciona bien. Si no lo logra, se supone que ese sistema educativo presenta problemas, dificultades, fallas en su organización y diseño para el logro de sus objetivos. Desde mi punto de vista, estas afirmaciones son un tanto simplistas, pues los rendimientos de los estudiantes en unas pruebas son la resultante de una enorme y compleja red de factores: alimentación, salud, accesibilidad, procesos socio-culturales y familiares, por citar solo algunos de los más estudiados. Imaginemos qué complejo es pensar las relaciones de un sistema educativo para la enorme diversidad de estudiantes que debe incluir.
Por otra parte, cabe aclarar que en ningún país todos los estudiantes logran resolver exitosamente la prueba en su totalidad. Algunas veces, pueden tener buen puntaje en un área y menos en otra. En estos estudios que refieren a objetos tan complejos como comparar y rankear sistemas educativos hay que tener cuidado con las conclusiones que se elaboran por simple asociación de unas pocas variables. Las PISA califican y sistematizan las respuestas, ante una prueba, de una muestra de estudiantes ante esos particulares ejercicios y problemas que un equipo técnico seleccionó, derivados de los contenidos curriculares en algunas áreas. De allí que nos parezca arriesgado afirmar que esos resultados reflejan el nivel de desarrollo y calidad de los respectivos sistemas educativos.
Otro punto importante es quiénes diseñan, seleccionan los ítems y construyen las pruebas. Llama la atención que este instrumento no surge de equipos de investigación educativa. Estas pruebas fueron elaboradas bajo la órbita de la OCDE (Organización para la Cooperación del Desarrollo Económico). ¿Por qué a una organización como ésta, le interesa medir la calidad del sistema educativo? Quizá se supone que aquellos países cuyos rendimientos son más altos en estas pruebas, producen más y mejores trabajadores y profesionales capacitados y están en mejores condiciones que otros para promover un desarrollo industrial, técnico, económico en general. Pero, nuevamente, cabe una advertencia: es necesario proceder con atención para no atribuirles a las pruebas unas intencionalidades o efectos que en realidad, en sus documentos fundantes, no aparecen. A modo de síntesis: la prueba no evalúa rendimiento docente, capacidad de los profesores, formas de enseñar. Tampoco evalúa organización escolar, financiamiento, diseños curriculares, etc. No los evalúa ni incide en su calidad. Y todos estos, junto a otros, son componentes centrales de los sistemas educativos.
Las críticas a PISA
Ante la polémica y los debates que genera la prueba, Celman admite: «No todos adhieren a su aplicación, por el modo en que se obtienen los datos, por la forma de los instrumentos y sobre todo por tres razones: porque en su elaboración no han participado los docentes sino solo equipos técnicos; porque se juzga a partir de una sola prueba y más que nada, por afirmar que los resultados traducen la calidad del sistema educativo».
En este sentido, la referente menciona investigaciones y especialistas que la critican a fondo. «A título de ejemplo, voy a tomar una de ellas, que tiene que ver con la forma en que están construidas las preguntas, los ítems, ejercicios. Estas investigaciones afirman que los resultados que obtienen los estudiantes, sus éxitos o fracasos, dependen más de la inteligencia de los alumnos y sus habilidades para manejarse con estas pruebas, que de lo que aprendieron en la escuela. Por lo tanto, se cae la hipótesis de que el rendimiento en las pruebas mostraría la calidad del sistema educativo. Los críticos afirman, con estudios consistentes y serios, que la buena resolución de los ejercicios depende más de los chicos que de los aprendizajes escolares. Esto tiene que ver con la construcción de pruebas de esta naturaleza: tienen un formato, un modo de presentar el ítem, que no todos los adolescentes están habituados a resolver y a darse cuenta qué les están preguntando, qué tienen que marcar, de qué modo resolverlo».
Asimismo, advierte que «los resultados de las PISA no constituyen información concreta y útil para el trabajo de docentes y directivos escolares. Son informaciones que, en última instancia, constituyen un insumo más para los procesos de análisis y planeamiento».
OPE: Pienso en la dificultad que se agrega este año en cuanto las pruebas van a ser hechas en formato digital. Va a mediar un dispositivo al que no todos están habituados.
Susana Celman: Totalmente, hay un componente nuevo. En algunas escuelas de ciertos países se han adoptado estas formas de enseñanza, aprendizaje y evaluación que incluyen el uso de tecnologías de la información y la comunicación desde antes de la pandemia. En otras, no ha ocurrido lo mismo. Es posible que en Argentina los efectos de la suspensión de la presencialidad sean diversos y no todos los estudiantes se encuentren en idéntica situación ante la exigencia de responder a PISA usando un dispositivo informático. O hay adolescentes que, por realizar otras actividades no sólo en la institución escolar, están acostumbrados a enfrentarse a pruebas con diferentes alternativas. Pero hay otros lugares y culturas escolares y familiares donde esto no es habitual. Ahí aparece una dificultad: a lo mejor el pibe sabe la respuesta, pero no sabe de qué manera y en el tiempo disponible, expresarla en el formato de ese ejercicio y esa prueba. Ese es uno de los pilares de estas investigaciones: los resultados de pruebas como PISA miden solamente respuestas de chicos más o menos inteligentes, o que saben más o menos que otros. Poder elegir la respuesta correcta depende de muchos factores, entre ellos, las habilidades y destrezas desarrolladas y ejercitadas para hacer frente a una prueba armada de este modo. En este caso, pandemia mediante y administración de las pruebas en línea, es probable que estos factores tengan un poder de incidencia mayor.
OPE: ¿Cuáles son las consecuencias posibles que le trae al país y a las instituciones educativas participar de estas pruebas?
Susana Celman: Las consecuencias dependen de quienes toman esos resultados para hacer algo con eso, o no hacer nada. La finalidad implícita y explícita en los organizadores de las pruebas ha sido brindar información a distintos colectivos, pero en especial a quienes formulan políticas públicas, en este caso políticas públicas de educación, para la toma de decisiones. De allí ha derivado la práctica de ubicar al país en un ranking internacional. Esto provoca distintos efectos en distintos colectivos. Por ejemplo, si nuestro país obtiene promedios de puntajes bajos, los medios de difusión pueden decir que el sistema educativo argentino es pésimo. Ese es un efecto de los resultados. Pero, desde allí, pueden derivar otras líneas de reflexión y acción: ver cómo están las escuelas, qué hacen los directores, la crítica a los maestros porque para algunos piden muchas licencias, proponer la extensión de la jornada escolar, rever el tema de comedores escolares, asignaciones por escolaridad, etc.; toda una historia que ya no depende de la prueba sino del uso que le da un sector como es en este caso el periodismo o el público en general.
Otros efectos podrían ser los de empresas relacionadas con la educación decidiendo dónde invierten, qué, cómo y para quiénes difunden esa información, etc. O ciertas organizaciones de padres, ese 0,5% de la población que puede pensar no vale la pena, no voy a poner mis esfuerzos en mandar a mis chicos a educar en la Argentina, voy a mandarlos a otro país. Lo pueden usar políticos al señalar a otros países, como Finlandia, que se puso tan de moda: Ahí sí los educadores y los especialistas en educación trabajan bien, ese país sí sabe invertir en educación por eso los resultados en las pruebas son tan altos.
También podrían tomar los datos para reflexionar sobre el planeamiento de políticas educativas para un país que sufre graves desniveles de segmentación y desigualdad social. Armar otras políticas con la intención de influir positivamente en los procesos cuyos resultados parecen expresar lo que estas pruebas miden: que los alumnos desarrollen esas habilidades solicitadas y así poder obtener mejores resultados, no solo para mostrar sino como condición para una sociedad más justa e igualitaria.
No simplificar lo complejo
Para Celman, un elemento principal de análisis es tener en cuenta que «los rendimientos en educación y salud no dependen de un solo factor. En el caso de la salud, por ejemplo, no depende solo de la actividad profesional de médicos y enfermeros, sino también de las condiciones de higiene, herencia, vacunas, alimentación, por ejemplo. Y en educación podríamos señalar la actividad de los docentes, y también, por ejemplo, la disponibilidad de medios para estudiar, para desarrollar esas habilidades, o el acceso a las tecnologías. No hay que caer en una simplificación, eso no es trabajar el tema con rigurosidad y seriedad».
En el panorama que los estudios complejos en educación aportan a describir aparece, según la especialista, «la confluencia de una multiplicidad enorme de factores, algunos muy estudiados y conocidos». Por ejemplo, la alimentación. «Se estudió que niños bien alimentados en la primera infancia tienen capacidades diferentes a aquellos niños que han sido alimentados precariamente. No tenemos un instrumento que mida y determine que, a menos cantidad de proteínas, menos capacidad para aprender. Lo que sí podemos afirmar es que el aprendizaje es resultante de una gran variedad de factores: alimenticios, edilicios, de salud general, factores que tienen que ver con expectativas y proyectos, las culturas», sostiene.
Entre los efectos de esta simplificación, Celman advierte la importancia de «diseñar proyectos educativos a largo plazo»: «Es posible pensar que lo que da PISA podría ser una información que, junto al estudio de otras variables, permita diseñar políticas públicas. Un gobierno puede querer castigar a los docentes porque los resultados son bajos y han hecho mal su trabajo. Eso podría ocurrir y sería una lamentable simplificación. Insisto: los resultados deberían servir para reflexionar, profundizar los estudios y diseñar estrategias de intervención sin descuidar la complejidad del tema objeto de estudio».
Evaluaciones desde afuera
En cuanto a la característica internacional de la prueba, Celman resalta: «Son evaluaciones externas, desarrolladas por organismos y equipos externos a las escuelas, a los sujetos que las habitan, externas incluso a los países en los que se aplica. Entonces, esto trae otra complejidad: ¿cómo se adapta esta prueba? No solo es traducir el lenguaje, también la estructura lingüística y del ítem para que sea comprensible y aplicable en países tan diferentes. Los equipos que trabajan en estas pruebas lo evalúan, pero otros encuentran dificultades que, pese a ello, persisten e inciden en los resultados. El lenguaje es un componente central en la comprensión y elaboración de respuestas de los ítems de una prueba. Debemos considerar que en los resultados finales de estos operativos, no hay certeza».
Para la especialista, esta externalidad incluye, además, «una relación lejana con las preocupaciones, la vida cotidiana escolar y el diseño de sus propias tareas como miembros de una sociedad y cultura». Propone preguntarnos: «¿Le sirven a la señorita Rosita, que está en la escuela del Paracao, los resultados nacionales de las pruebas PISA? La respuesta posible sería: Y… le sirve como información general. Pero el trabajo, el día a día y su posibilidad de influir en futuros resultados, es lejanísima. Los problemas de Rosita son otros. Entonces, ella, conociendo los resultados, ¿va a poder modificar el diseño de sus estrategias didácticas? No, para eso necesita otra información, otros trabajos de evaluación e investigación y espacios – tiempos colectivos para reflexionar y planificar otros modos de trabajar con sus estudiantes. Necesita aprender a investigar su propia práctica, en ese contexto y con esos alumnos y colegas».
En este sentido, «existen evaluaciones mucho más cercanas a la vida cotidiana escolar, de los docentes, de los alumnos y de los padres, nacidas desde el interior de las escuelas –afirma Celman–. Están diseñadas con la participación de sujetos involucrados en estas tareas y cercanas a los problemas que tienen, que afrontan cotidianamente y les sirven mucho más para su tarea de diseño de las estrategias de enseñanza y organización escolar, o de asistencia y capacitación docente».
Nuestras (auto)evaluaciones
Celman analiza, entonces, las diferencias entre las pruebas externas y las que se desarrollan en el interior de las escuelas, llamadas evaluaciones formativas. «Las pruebas PISA miden, supuestamente, el rendimiento de la escolarización. Miden resultados del aprendizaje escolar. Pretenden hacer ranking desde los mejores a los peores y ver las variaciones de esos promedios cada tres años. Por otro lado, la evaluación formativa está pensada al interior del trabajo docente, del trabajo de enseñanza y los procesos de aprendizaje. Está diseñada no para medir sino para poder conocer y comprender, a través de una reflexión de lo que va pasando, heterogeneidades, diferencias, procesos particulares y distintos que ocurren para poder ayudar, colaborar, mejorar, facilitar la reflexión, la toma de conciencia. Permite diseñar, si es interés de los docentes y alumnos, prácticas para intentar aprender mejor, identificar estrategias de enseñanza para que los estudiantes puedan desplegar al máximo sus capacidades, sus formas de trabajo, o encarar otras, subsanar problemas, trabajan con los errores para deconstruirlos y poder aprender. Una de las finalidades centrales de este enfoque es aprender a través de la evaluación. Tiene finalidades mucho más cualitativas y los sujetos que intervienen son los que cotidianamente interactúan en los procesos de enseñanza y aprendizaje», sintetiza.
OPE: Entonces, para los que estamos cotidianamente en las escuelas, ¿la evaluación formativa puede llegar a provocar cambios más generales?
Susana Celman: Sí, a la larga esa acción formativa podría incidir en resultados generales y globales. Pero cómo se hace, para qué, dónde están los impactos inmediatos y mediatos de una y otra, son diferentes. Una trabaja en niveles macro con políticas que pueden, a largo plazo, incidir en los cambios de resultados. Otra a nivel micro, con otros procedimientos de toma de la información. No aplican una prueba, reflexionan, anotan, conversan, dialogan. Las formas de trabajo son totalmente distintas. El efecto más genuino de una evaluación formativa es que los sujetos tomen conciencia de esas problemáticas y puedan intentar cambiar cosas para mejorar en su práctica individual o de pequeños grupos. Por eso es formativa, porque educa a los propios sujetos, los forma. En cambio, las evaluaciones externas comunican los resultados, pero de ahí a que los sujetos cambien su actividad y conducta, hay un mundo.
Desde mi trayectoria y formación, fui muy crítica con las pruebas PISA. Cuando surgieron, nos parecía que estaban hechas con la intencionalidad de armar un ranking para mostrar lo que ya se sabía: que los resultados obtenidos en ciertos países iban a ser más altos que en otros, y que estaban hechas para convalidar y confirmar esas jerarquías. Sosteníamos que iban a convalidar las diferencias sociales, políticas, económicas de un sistema mundial que está plagado de desigualdades, y del cual la educación es un componente y una resultante más. Y sigo pensando que esas desigualdades operan a raíz de intereses de sistemas de poder cada vez más concentrados y más poderosos. Esto lo digo hoy y no desde aquellas épocas. Entonces, lo que molesta y preocupa es la parcialidad de los juicios que se hacen a partir de la aplicación de instrumentos como estos.
En Argentina nos preocupan las diferencias de resultados tanto como los procesos de desigualdad social, la justicia educativa, las diferenciaciones en cuanto a la posibilidad en ciertas regiones, la capacidad de acompañar y asistir a los estudiantes; problemas constitutivos que debemos trabajar y afrontar. Nos preocupa que se deriven fondos a estos operativos que sabemos cómo van a dar o, al menos, tenemos una aproximación estimativa. Si hay que incluirse en las PISA para poder tener esta información global, cuantitativa y de brocha gorda, bueno, la haremos.
Pero mi mayor preocupación es que sigamos ocupándonos de las problemáticas que existen en nuestro país; y no necesitamos de las pruebas PISA para conocerlas y comprobarlas. La justicia educativa, propiciar ambientes y lugares en donde sea posible el aprendizaje trabajando con los factores que inciden en él, y trabajando en otras esferas que seguramente van a incidir, donde la expectativa de trabajo, de vida, de información sea más alta. Que se propicien cambios para las familias y los chicos y que la educación tenga un sentido desde sus vidas, desde sus trayectorias, sus proyecciones, en donde sepan que vale la pena hacer este esfuerzo, y que es posible.
Palabras finales
Celman nos deja importantes reflexiones y una punta de lanza para tomar en la construcción de políticas educativas: «Se trata de construir entre todos un futuro mejor, no sólo económico, sino también política y éticamente mejor. Con procesos de continuidad democrática, de formación, que intenten sostener a los docentes en su trabajo cotidiano con algunas medidas, sostener a las familias con condiciones de vida digna. Ahí la educación cobra otro sentido, tiene otro lugar, otra posibilidad de gestarse. Hoy no haría de la batalla contra las pruebas PISA el eje de nuestro compromiso. Creo que debemos poner los esfuerzos en esto otro que es urgente y muy complejo de abordar».