Una evaluación educativa con carácter de censo, que debía tomarse a todos los chicos del último año de secundaria, abarcó sólo el 65,6% de los alumnos del país y en algunos casos, como la Capital, a apenas el 45,8%. Lo que debió ser un censo de los aprendizajes alcanzados al llegar a quinto año terminó convirtiéndose en una prueba parcial y sesgada.

El mismo operativo de evaluación nacional que debía testear escuelas públicas y privadas, urbanas y rurales, excluyó, en algunas provincias, a los colegios privados y a los rurales. Y, en el peor de los casos, se perdieron resultados en diversos distritos.

Éstos son apenas una parte de los “severos” problemas detectados en las últimas evaluaciones educativas nacionales, las del Operativo Nacional de Educación (ONE) que se hizo en 2013. Así surge de un documento que el Ministerio de Educación nacional terminó de elaborar la semana pasada, al que accedió LA NACION y que está en el portal Educ.ar desde hoy.

Se trata del trabajo "Operativo Nacional de Evaluación (ONE) 2013. Diagnóstico y consideraciones metodológicas necesarias para el análisis y difusión de los resultados" elaborado desde la Secretaría de Evaluación Educativa.

"Estos problemas -afirma el informe- han afectado fuertemente la calidad del relevamiento, comprometiendo la pertinencia, transparencia, confiabilidad y validez de la información vinculada a los aprendizajes de los estudiantes."

La gravedad de las revelaciones que aporta el documento queda clara cuando se tiene en cuenta la importancia de las pruebas ONE: una información estadística central para conocer los niveles de aprendizaje alcanzados por chicos de tercer y sexto grado de primaria y de segundo, tercer y quinto, o sexto, de secundaria en cuatro áreas claves,como Matemática, Lengua, ciencias naturales y Ciencias sociales. Es la información en la que se basan las autoridades nacionales y provinciales para orientar sus políticas de mejora educativa.

"La noticia es demoledora", dice la secretaria de Evaluación Educativa de la Nación, Elena Duro. "Es terrible que no se haya informado de estos problemas a las provincias porque hay jurisdicciones que tomaron el ONE como una Biblia. Es complicado porque, en definitiva, es un engaño", afirma.

El documento publicado resulta un cuestionamiento directo a la gestión del ex ministro de Educación del kirchnerismo, Alberto Sileoni, y a la Dirección Nacional de Información y Estadística de la Calidad Educativa (Diniece), responsable del ONE que, según el documento publicado, falló en muchas de sus etapas (ver aparte).

"En esa dimensión denominada «pesada herencia», este Gobierno siempre muestra una recurrencia a mirar para atrás, a exhibir los «horrores» del pasado. Yo les digo: «ya pasaron 10 meses, que arranquen con la gestión de una vez por todas»". Así responde Sileoni, en diálogo telefónico, a la consulta de LA NACION para conocer su opinión sobre el documento.

¿No tiene sentido revisar los resultados anteriores cuando se trata de una serie estadística? "Lo entiendo -reconoce Sileoni-, en una serie es necesario mostrar cuestiones que pueden hacer que una prueba no sea comparable con otra."

Entre los déficits más delicados señalados está el de la conformación de las muestras de escuelas y alumnos a ser evaluados, que afecta a todas las jurisdicciones, que en algunos casos excluyó a los colegios privados o con una cantidad "sensiblemente menor" o con número "insuficiente" de escuelas rurales como sucedió en Neuquén y San Luis, donde se hizo imposible hacer estimaciones de la oferta rural.

En Córdoba, la muestra de sexto grado no incluyó ninguna escuela privada urbana, lo que alteró la validez de los resultados. "Una barbaridad: no se pueden excluir por un problema de representatividad de las privadas en el total del sistema", comenta sorprendido un experto en estadísticas de peso internacional que prefiere hablar off the record.

Ya por e-mail, Sileoni responde: "Obedeció a un error del referente jurisdiccional de ese momento". El ministro de Educación de Córdoba que está al frente del área desde 2007, Walter Grahovac, refuta esa información: "Nosotros no seleccionamos las escuelas de las muestras. El listado lo armaba la Diniece".

Sileoni insiste con la validez de las pruebas: "Las muestras se elaboraron bajo criterios metodológicos internacionalmente aceptados garantizando representatividad nacional y jurisdiccional. La aplicación nos permitió mirar escuelas públicas y privadas urbanas y rurales".

"Una estrategia"

Otro de los puntos más cuestionados se refiere al diseño de las pruebas, con "exceso" de preguntas a responder, con porcentajes de no respuesta que se triplican en las preguntas finales, impidió también saber con exactitud qué áreas los chicos argentinos eran capaces de dominar y cuáles no llegaron a contestar simplemente por falta de tiempo y fatiga.

Respecto de la pérdida de información en la etapa de recolección de los datos, Duro explica: "Para provincias enteras como el caso de Mendoza fue tremendo sobre todo con los datos de tercer grado". El ministro de Educación de esa provincia, Jaime Correas, de la gestión radical de Alfredo Cornejo, no cree que se hayan perdido. "Fue una estrategia para no mirarse en el espejo", desliza acerca de la gestión anterior del Frente para la Victoria en la provincia.

Otro aspecto muy cuestionado es la cobertura real en cada provincia, es decir la cantidad de alumnos efectivamente evaluados, que fue muy baja, no sólo a nivel nacional y en CABA. Respecto de las muestras de tercer grado, la cobertura en promedio fue de 47,9%.

El contraste con los ONE anteriores salta a la vista: el de 2003 tuvo una cobertura mayor al 80% en todos los grados, años y áreas evaluados. En el caso de las pruebas, PISA la cobertura buscada es del 85% de la muestra.

Duro reconoce que la implementación de la prueba también es responsabilidad de las provincias. Sin embargo, devuelve la responsabilidad mayor al gobierno kirchnerista: "En un operativo de esta magnitud, que moviliza a mas de 150.000 agentes del sistema educativo, si no le das la relevancia política que merece, la gente se desanima".

Junto con el documento, el Ministerio también publicará por primera vez desde la creación del operativo en 1993 la base de datos resultante del ONE 2013, sin datos con la identidad de alumnos o de escuelas. "Es un hecho inédito", dice Duro.

La falta de publicación oficial de los datos por provincia fue una crítica que pesó sobre el gobierno nacional y muchas provincias durante 2015. Los sesgos impactaron negativamente en los resultados y hubo consenso para no exponer la información al público.

Ahora, la base de datos estará al alcance de todos y podrá ser explotada por técnicos y especialistas. Pero el ciudadano común no contará con información manejable. "Las información no va a estar elaborada -reconoce Duro-. No habrá gráficos ni cuadros. El ciudadano común por el momento no va a tener esa información."

No todas son malas noticias. A pesar de los cuestionamientos a los resultados por provincia, el documento rescata los datos a nivel nacional. "En términos estadísticos y muestrales, los nacionales tienen un porcentaje de error aceptable aunque las muestras a nivel jurisdiccional estén sesgadas", dice Duro.

Las fallas en algunos distritos

El Ministerio de Educación alerta sobre el sesgo por la baja cobertura y los déficits en las muestras

En la Ciudad: El resultado del censo estuvo afectado por su baja cobertura: sólo el 45,4 % de la población de estudiantes de 5° y 6° año del secundario

El resultado del censo estuvo afectado por su baja cobertura: sólo el 45,4 % de la población de estudiantes de 5° y 6° año del secundario En la provincia: La evaluación de 6° grado de Matemática debió tomarse en 7 escuelas rurales de acuerdo con la muestra diseñada. Finalmente, no se evaluó en ninguna. Esa misma prueba debió hacerse en 62 escuelas urbanas, de acuerdo con la muestra diseñada, pero sólo se evaluó a 54

La evaluación de 6° grado de Matemática debió tomarse en 7 escuelas rurales de acuerdo con la muestra diseñada. Finalmente, no se evaluó en ninguna. Esa misma prueba debió hacerse en 62 escuelas urbanas, de acuerdo con la muestra diseñada, pero sólo se evaluó a 54 En Córdoba: Hubo errores en la conformación de la muestra de 6° grado de primaria, que excluyó completamente a las escuelas privadas

Hubo errores en la conformación de la muestra de 6° grado de primaria, que excluyó completamente a las escuelas privadas En otras provincias: En 3° grado de primaria son numerosas las provincias con una participación real escasa respecto de la muestra prevista, lo que da un promedio de tan sólo 47,9%. En el resto de las pruebas muestrales de 6° grado y 2° y 3° año de secundaria no superó el 68,7%