Evaluar para avanzar: resultados de una estrategia nacional de evaluación formativa*

Sara Márquez Gutiérrez

Instituto Colombiano para la Evaluación de la Educación - Icfes, Bogotá (Colombia)

https://orcid.org/0000-0003-1105-1869

María Camila Gómez Serrano

Instituto Colombiano para la Evaluación de la Educación - Icfes, Bogotá (Colombia)

https://orcid.org/0009-0002-6493-5596

Lobsang Parra Peña

Instituto Colombiano para la Evaluación de la Educación - Icfes, Bogotá (Colombia)

https://orcid.org/0009-0006-8028-8359

Recepción: 31 de agosto de 2023 | Aceptación: 31 de julio de 2024 | Publicación: 30 de septiembre de 2024

DOI: http://dx.doi.org/10.18175/VyS16.3.2024.2

RESUMEN

Evaluar para Avanzar 3.o a 11.o es una estrategia gubernamental colombiana orientada a apoyar los procesos de enseñanza y aprendizaje en los niveles de educación básica y media, a través de un conjunto de herramientas diseñadas desde el enfoque de evaluación formativa. En este documento se presentan los hallazgos de la investigación cuyo objetivo fue identificar resultados de las implementaciones de Evaluar para Avanzar durante los años 2020 y 2021 en Colombia. Para ello se hizo una aproximación a las experiencias y percepciones de docentes, directivas(os) docentes y estudiantes. Se desarrollaron 24 instrumentos de recolección de información que fueron aplicados en modalidad presencial. De estos, 7 fueron entrevistas a rectoras(es) y/o coordinadoras(es) de las instituciones educativas. Con docentes se realizaron 10 grupos focales procurando que en cada institución se llevarán a cabo dos espacios de diálogo, cada uno con docentes de un mismo nivel educativo (primaria y secundaria/media). Finalmente, se aplicaron 7 grupos focales con estudiantes, en los cuales participaron mayoritariamente estudiantes de media. Los análisis realizados dan cuenta de la necesidad de mejorar la apropiación de los objetivos de la estrategia y el uso de las herramientas que ofrece, para que esta cumpla su propósito de aportar al mejoramiento de las prácticas pedagógicas con base en el seguimiento a los aprendizajes de las(os) estudiantes, sus necesidades emocionales y las de su entorno, e impactar en la calidad educativa en el largo plazo.

PALABRAS CLAVE

evaluación formativa, evaluación en pandemia, métodos cualitativos.

Evaluating to Move Forward: Results of a National Formative Evaluation Strategy

ABSTRACT

Evaluar para Avanzar 3.o a 11.o is an initiative of the Colombian national government for supporting teaching and learning in primary, secondary and high school level, through a set of tools for formative assessment. We present the results of a study intended to identify the results of the implementation of Evaluar para Avanzar during the years 2020 and 2021. For this, we approximate the perception and experiences of the teachers, school principals and students through focal groups and interviews, whose analysis reveals the need to improve the appropriation of the objectives of the strategy and the use of the tools it offers, so that it fulfills its purpose of contributing to the improvement of pedagogical strategies based on the monitoring of students’ learning, their emotional needs and those of their environment; impacting educational quality in the long term.

KEYWORDS

evaluation during pandemic, formmative assestment, qualitative research.

Avaliando para avançar: resultados de uma estratégia nacional de avaliação formativa

RESUMO

Evaluar para Avanzar 3° a 11° (2020) é uma estratégia governamental que visa apoiar os processos de ensino e aprendizagem nos níveis primário, secundário e médio, por meio de um conjunto de ferramentas concebidas a partir de uma abordagem de avaliação formativa. Este documento apresenta as conclusões da pesquisa destinada a identificar os resultados preliminares da implementação do Evaluar para Avançar durante 2020 e 2021. Para tanto, foi feita uma abordagem das experiências e percepções de professores, gestores de professores e alunos por meio de entrevistas e grupos focais, cuja análise mostra a necessidade de melhorar a apropriação dos objetivos da estratégia e o uso das ferramentas que ela oferece, para que cumpra seu propósito de contribuir para a melhoria das práticas pedagógicas com base no monitoramento da aprendizagem dos alunos, suas necessidades emocionais e as de seu ambiente, e o impacto na qualidade da educação a longo prazo.

PALAVRAS-CHAVE

avaliação em pandemias, avaliação formativa, métodos qualitativos.

Introducción

El cierre masivo de las escuelas para prevenir la propagación del covid-19 durante 2020 implicó múltiples esfuerzos de los gobiernos y actores del sector educativo para garantizar el derecho a la educación de casi diez millones de niñas, niños y jóvenes en Colombia. En ese contexto, el Ministerio de Educación Nacional (MEN) y el Instituto Colombiano para la Evaluación de Educación - Icfes diseñaron e implementaron Evaluar para Avanzar (ExA)1, una estrategia orientada a apoyar los procesos de enseñanza-aprendizaje y la evaluación educativa para mitigar los impactos negativos en los procesos de aprendizaje de las(os) estudiantes, en particular en contextos con alta vulnerabilidad.

ExA es una estrategia diseñada con base en los enfoques de evaluación formativa y evaluación por competencias basada en evidencias. la evaluación formativa caracteriza por ser continua, desarrollarse en el aula y tener como ejes centrales la retroalimentación y la posibilidad de ajustar las prácticas pedagógicas de acuerdo con los resultados de aprendizaje de las(os) estudiantes (Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura [Unesco], 2020). Distintas investigaciones muestran que este enfoque favorece los procesos de aprendizaje, pues a través de la retroalimentación se fortalece la relación entre docentes y estudiantes, así como la adquisición de habilidades, lo cual deviene en mejores resultados en las evaluaciones de tipo sumativo (Akpan et al., 2012; Mihelič y Zore, 2021; Sepasi, 2003).

En la última década, la evaluación formativa como herramienta para mejorar los aprendizajes ha sido objeto de discusión debido a su potencial para informar la toma decisiones a un nivel micro, que se complementa con las evaluaciones sumativas enfocadas en el resultado (Bennett, 2011). Mientras que la evaluación sumativa se realiza casi siempre en la etapa final del proceso de aprendizaje en los ciclos educativos específicos (básica primaria, básica secundaria y media, y educación superior), la evaluación formativa utiliza diferentes herramientas a lo largo de todas las etapas del proceso (Tobin et al., 2015). De ahí que a la primera se le reconozca como evaluación del aprendizaje; y a la segunda, como evaluación para el aprendizaje.

Por lo anterior, aunque sus mecanismos son distintos, ambos tipos de evaluación están orientados a proporcionar los insumos necesarios para abordar los retos de nuestro sistema educativo. En tanto ofrecen información complementaria sobre los resultados alcanzados por las(os) estudiantes en diversos dominios del conocimiento y sobre los procesos de aprendizaje implicados, ambos resultan fundamentales para los sistemas de evaluación del aprendizaje (Unesco, 2010).

Teniendo en cuenta su potencial, no solo en Colombia se ha emprendido la labor de incorporar la evaluación formativa como parte de la agenda política educativa; en distintos países de la región este enfoque de evaluación se convirtió en una necesidad, debido a la urgencia de medir y responder a los efectos que tuvieron los cierres de escuelas ocasionados por la pandemia sobre la pérdida de aprendizajes (Unesco, 2020). Por ejemplo, el Consejo de Exámenes del Caribe (CXC) creó una plataforma interactiva para que las(os) docentes mantuvieran una comunicación cercana y constante con sus estudiantes; en Chile, la Agencia de Calidad de la Educación dispuso la herramienta de evaluación formativa DIA (Diagnóstico Integral de Aprendizajes) para monitorear el aprendizaje de las(os) estudiantes en diferentes momentos a lo largo del año escolar (Agencia de Calidad de la Educación, 2022); y, en Ecuador, el Ministerio de Educación diseñó el Plan Aprender a Tiempo, que brinda una serie de recursos para el diagnóstico, nivelación de aprendizajes y acompañamiento pedagógico a las(os) docentes y directivas(os) docentes (Ministerio de Educación de Ecuador, 2022).

La estrategia ExA es en sí misma una caja de herramientas pedagógicas, conformada por instrumentos de valoración de competencias básicas de 3.o a 11.o y cuestionarios auxiliares en los que se indaga sobre habilidades socioemocionales y las características de los contextos de aprendizaje de las(os) estudiantes. ExA contempla la implementación anual de dos instrumentos de valoración consistentes en cuadernillos por área del conocimiento: uno se aplica en el primer semestre; y el otro, en el segundo. Para 2020 solo se aplicó un cuadernillo, dado que se inició la ejecución de la estrategia en el último trimestre del año. Para 2021 se aplicó en el primer semestre el cuadernillo 2 y en el segundo semestre el cuadernillo 1 (el mismo de 2020).

A continuación, se describen las herramientas que ExA incluye para materializar el enfoque de evaluación formativa:

• Instrumentos de valoración de competencias básicas. Se aplican en cada grado educativo y evalúan cinco áreas de conocimiento de habilidades cognitivas: lectura crítica, matemáticas, ciencias sociales, ciencias naturales e inglés. Estos instrumentos se construyeron con base en el diseño centrado en evidencias (DCE), de tal forma que fuera claro qué se va a evaluar, qué se quiere decir del evaluado y qué debe mostrar y qué debe hacer el evaluado.
• Cuestionarios auxiliares. Su objetivo es valorar factores asociados al entorno de aprendizaje y a la percepción ante cambios externos, así como monitorear habilidades socioemocionales.

Adicionalmente, ExA brinda material pedagógico para las(os) docentes destinado a orientar y apoyar la implementación de la estrategia en los contextos educativos. Este material contiene:

• Las guías de orientación para la aplicación de los instrumentos de valoración, que incluyen las competencias asociadas, junto con respuestas y explicaciones para cada pregunta de los instrumentos, todo ello de acuerdo con el diseño centrado en evidencias.
• Las guías con preguntas abiertas de competencias básicas (diecisiete en total con tres preguntas abiertas para cada instrumento de valoración y grado), acompañadas de rúbricas de valoración para la codificación de respuestas de las(os) estudiantes.
• Las guías de interpretación de resultados de instrumentos de valoración, en las que se ofrecen herramientas para la interpretación del reporte de resultados y orientaciones sobre su uso a la hora de hacer un diagnóstico de las(os) estudiantes.
• Una serie de videos explicativos sobre los instrumentos de valoración y su relación con los estándares básicos de competencias, sobre las preguntas abiertas y el uso de las rúbricas de valoración y sobre las matrices de análisis de cuestionarios auxiliares.

Los resultados que se obtienen de la aplicación de estos instrumentos brindan información a las(os) docentes para la toma de decisiones sobre los procesos educativos más pertinentes según las necesidades de sus estudiantes. El uso de ExA no sustituye los planes curriculares ya establecidos por las instituciones educativas, es más bien un complemento para fortalecer el desarrollo de prácticas de evaluación formativa e incorporar nuevos mecanismos de evaluación de aprendizajes. Adicionalmente, como se mencionó arriba, los docentes cuentan con material pedagógico que las(os) orienta sobre cómo se implementa la estrategia y cómo se pueden usar los resultados.

La participación en ExA es una decisión voluntaria del rector(a) y las(os) docentes de los establecimientos educativos. La implementación de los instrumentos de valoración es determinada por cada docente, quien, con base en las características de sus estudiantes y las condiciones de su contexto (por ejemplo, acceso a TIC), decide la modalidad bajo la cual se utilizará el material. Para el momento del desarrollo de este estudio, la estrategia contemplaba cuatro modalidades de aplicación: online, offline, PDF descargable, y papel y lápiz2.

Para 2022, con el retorno a la presencialidad en las instituciones educativas, y con una cobertura del programa cercana al 80 % de las(os) estudiantes del país, los esfuerzos se concentraron en la apropiación y uso de los resultados de los instrumentos de valoración de aprendizajes. Este mismo año, ExA se convirtió en una política pública orientada a fortalecer los procesos de enseñanza-aprendizaje a través de la evaluación formativa y contribuir al cierre de las brechas educativas que se agudizaron durante la pandemia.

En este contexto, y dado que ExA consistió en la primera estrategia de evaluación formativa a nivel nacional, resultó fundamental estudiar el uso y apropiación de sus herramientas e identificar si estaba cumpliendo su propósito: contribuir al fortalecimiento de una cultura de evaluación formativa y al mejoramiento de las prácticas pedagógicas mediante el seguimiento a los aprendizajes de las(os) estudiantes, sus necesidades emocionales y las de su entorno; para impactar en la calidad educativa y en la disminución de las desigualdades de aprendizaje en el mediano y largo plazo.

Considerando lo anterior, el objetivo de la presente investigación fue analizar los cambios que sufrieron los procesos educativos en las instituciones participantes en Evaluar para Avanzar 3.o a 11.o durante 2020 y 20213. La investigación tuvo un enfoque cualitativo para explorar los mecanismos o canales de transmisión de las transformaciones en las prácticas pedagógicas como resultado de la estrategia, así como para identificar aspectos de la experiencia y contexto de los actores educativos que influyen en el cumplimiento de sus objetivos.

Se identificaron retos en el uso de las herramientas y los resultados de ExA asociados al funcionamiento de las plataformas electrónicas4 que se emplearon para su operación y a la apropiación de sus objetivos formativos. Si bien las(os) docentes conocen y han consultado los resultados, no tienen un acompañamiento para la interpretación de las herramientas que garantice el uso pedagógico que esta se ha propuesto. A su vez, se evidenció el fortalecimiento de prácticas de evaluación formativa derivadas del uso de las herramientas que provee ExA.

Diseño metodológico

El diseño de esta investigación adoptó un enfoque cualitativo y se basó en la evaluación realista y la teoría fundamentada. Este se estructuró de tal forma que permitiera hacer un mapeo de la experiencia de los actores educativos en todas las etapas de su implementación.

La evaluación realista es un enfoque de evaluación que permite el análisis de los mecanismos que favorecen (o no) el logro de los resultados, así como las formas en que el contexto de implementación influye en la generación de dichos mecanismos. Este enfoque permitió responder preguntas del tipo “qué funciona, para quién, en qué aspectos, en qué medida, en qué contextos y cómo” (Parra, 2017). Por su parte, el método de teoría fundamentada se consideró pertinente para orientar las fases de sistematización y análisis de la información, de tal forma que su uso permitió organizar y sistematizar los datos para entender cómo ocurre en la práctica la implementación de la estrategia (Hernández Sampieri et al., 2014).

Para la selección de la muestra cualitativa se combinaron dos tipos de muestreo: de máxima variación (teórico) y aleatorio (pragmático)5. El primero permitió identificar características clave de las instituciones que implementaron la estrategia (tipo de institución según su sector y zona, ubicación geográfica y años de aplicación); con base en estos datos se definieron perfiles de interés y se seleccionó una muestra aleatoria de instituciones que cumplían con estas características. El segundo tipo de muestreo se desarrolló a través de un código Stata que permitió localizar un total de 7 instituciones entre oficiales y no oficiales, urbanas y rurales, que hubieran aplicado ExA durante 2020 y 2021 con al menos un cuadernillo por año. La muestra cualitativa final está compuesta por 7 instituciones educativas oficiales, de las cuales 2 son urbanas y 3 son rurales; y 2 instituciones no oficiales, ambas de carácter urbano. En la tabla 1 se resumen las características de las instituciones visitadas.

Tabla 1. Distribución de la muestra cualitativa

Sede educativa	Departamento	Municipio	Tipo		Ubicación geográfica			Modalidad aplicación
			Oficial	No oficial	Urbana	Rural		Online	PDF	Offline
Institución 1	Tolima	Venadillo	X		X				X
Institución 2	Atlántico	Barranquilla	X		X		X
Institución 3	Valle del Cauca	Palmira	X			X				X
Institución 4	Antioquia	Sabaneta	X			X	X
Institución 5	Casanare	Tauramena	X			X			X
Institución 6	Cundinamarca	Mosquera		X	X		X
Institución 7	Cundinamarca	Soacha		X	X		X

Con relación a los instrumentos de recolección de información, se aplicaron entrevistas y grupos focales con estudiantes, docentes y directivas de las instituciones educativas seleccionadas. Se desarrollaron 24 instrumentos que fueron aplicados en modalidad presencial. De estos, 7 fueron entrevistas a rectoras(es) y/o coordinadoras(es) de las instituciones educativas. Con docentes se realizaron 10 grupos focales procurando que en cada institución se llevarán a cabo dos espacios de diálogo, cada uno con docentes de un mismo nivel educativo (primaria y secundaria/media).

Finalmente, se aplicaron 7 grupos focales con estudiantes, en los cuales participaron mayoritariamente estudiantes de décimo y undécimo grado.

Para la aplicación de los instrumentos se solicitó el diligenciamiento de un formato de consentimiento informado en el que se destacaba el carácter voluntario de la participación en la investigación y se incluía una cláusula de habeas data de acuerdo con lo dispuesto por la Ley 1581 de 2012 para la protección de datos personales. A su vez, el consentimiento hacía mención explícita de la confidencialidad de la información y aclaraba que esta sería utilizada exclusivamente por el Icfes como insumo para el análisis en el marco de la investigación y que en el documento final derivado de esta no se haría referencia de forma individualizada a las personas entrevistadas. Adicional a ello, al iniciar las grabaciones se solicitó el consentimiento oral de todos los participantes.

Para el proceso de sistematización de la información se transcribieron los relatos en una matriz en la que se consignaron las respuestas de los actores educativos de manera anonimizada según las temáticas abordadas. Posteriormente, se realizó la categorización de esos relatos asignando a cada fragmento una categoría de análisis que sintetizó y permitió agrupar lo enunciado por los actores, con el fin de identificar tendencias en las percepciones y experiencias sobre un asunto concreto. La información obtenida en este proceso de categorización fue analizada por el equipo investigador y se condensó en dos formatos de presentación de resultados: textos analíticos y una representación gráfica que recoge los hallazgos del componente cualitativo, lo cual es un aporte del enfoque de teoría fundamentada (véase el anexo 1, Síntesis de resultados cualitativos - esquema explicativo).

Sumado a lo anterior, al momento del desarrollo del trabajo de campo ya se contaba con estadísticas descriptivas de participación en la estrategia. Esos datos expresados en gráficas de barras se incluyeron en los instrumentos cualitativos para socializarlos con directivas(os) docentes, docentes y estudiantes. Haciendo uso del enfoque de evaluación realista se construyeron hipótesis, que facilitaron el diálogo y la interpretación de los datos por parte de los actores educativos, quienes expresaban su acuerdo o no con las hipótesis planteadas o tenían oportunidad de formular las propias. Según ese enfoque, las hipótesis deben ser sugestivas, afirmaciones positivas o negativas sobre lo que busca indagarse, de tal forma que promuevan debates y diálogos detallados que evidencien las experiencias y percepciones de los actores de acuerdo con su contexto, sus intereses y capacidades. Algunas de las hipótesis sobre las que se indagó se visualizan en las figuras 1 y 2.

Figura 1. Participación de las instituciones educativas por cada cuadernillo

Hipótesis 1. "Las instituciobes educativas no aplicaron el cuadernillo 2, porque un cuadernillo al año es más que suficiente para evaluar a los estudiantes y en la institución se usan otras estrategias de evaluación estandarizada"

Hipótesis 2. "Las instituciones educativas no aplicaron el cuadernillo 2 porqye implementar Evaluar para Avanzar implica muchos esfuerzos para las instituciones educativas y no hay suficiente acompañamiento para hacer frente a esas difoicultades"

Nota: en la figura 1 se muestran la gráfica que ilustra el nivel de participación en cada cuadernillo, así como las hipótesis sobre la omisión del cuadernillo 2 que se socializaron con directivas(os) docentes y docentes. Fuente: elaboración propia.

Figura 2. Nivel de satisfacción en la educación media cuando el colegio estaba cerrado

Nota: la figura 2 incluye un ejemplo de las gráficas que se socializaron en los grupos focales con estudiantes sobre el nivel de satisfacción en relación con distintos aspectos durante el proceso educativo cuando los colegios cerraron en la pandemia. Fuente: elaboración propia.

Resultados: sobre la experiencia de participar en Evaluar para Avanzar

Las motivaciones para participar de la estrategia

Las motivaciones para participar en Evaluar para Avanzar se relacionan con el significado que los actores educativos le atribuyen, que dependen de la percepción y comprensión de sus objetivos.

Para las(os) docentes consultadas(os), ExA es una herramienta que ha tenido principalmente la función de diagnosticar el aprendizaje de las(o)s estudiantes durante la no presencialidad y el retorno a las aulas. Debido a esa percepción —que es la más generalizada— algunas(os) docentes han usado ExA como un referente para ajustar sus programas de clase, pues hay quienes asumen que los temas que se abordan en los instrumentos de valoración son los que sus estudiantes deberían conocer mejor según el grado en que se encuentran.

Una percepción menos frecuente sobre el objetivo de la estrategia está relacionada con el interés y la oportunidad de las instituciones para contar con una evaluación externa y gratuita. En este contexto, las(os) docentes señalan que ExA tiene el valor agregado de permitir hacer mediciones continuas, lo que constituye un insumo para hacer seguimiento a los cambios en los desempeños de sus estudiantes. De acuerdo con estas percepciones, los objetivos percibidos por las(os) docentes se alinean con los objetivos efectivamente propuestos por la estrategia.

Asimismo, varias(os) docentes y estudiantes señalaron que la aplicación de los cuadernillos es una directriz institucional y, de acuerdo con las directivas, participar en ExA obedece a una orientación de actores externos como las secretarías de educación que cobijan a las instituciones. Esto es importante por el carácter voluntario de la estrategia y su impulso a nivel territorial gracias a la articulación entre el MEN y las entidades territoriales.

En el caso de las(os) estudiantes consultadas(os), la percepción más frecuente sobre la estrategia es que su función es prepararlas(os) para la presentación del examen Saber 11.o. Aunque consideran significativo participar en la aplicación de los instrumentos de valoración, esta situación les genera tensión y una cierta predisposición para diligenciar las pruebas.

Desde el punto de vista de las(os) estudiantes, docentes y directivas, el mecanismo principal para garantizar su participación ha sido la integración de la estrategia al sistema de evaluación interna de las instituciones mediante la asignación de una calificación.

La manera como se incorpora la estrategia al sistema de evaluación varía de acuerdo con cada institución y su modelo evaluativo. Mientras unas instituciones han optado por otorgar una calificación apreciativa por el diligenciamiento de los instrumentos de valoración, otras han tomado los resultados de los estudiantes como notas y les han dado un peso considerable en las calificaciones generales. En esta investigación se identificó que, cuando la estrategia está integrada con el sistema de evaluación interno, los actores se involucran de maneras más efectivas en ExA, pues se entiende como algo articulado al proceso de aprendizaje.

Las(os) estudiantes se refirieron a la influencia del acompañamiento de los docentes en su disposición hacia esta evaluación. Particularmente mencionaron que, cuando las(os) docentes las(os) motivaron, enfatizaron los objetivos de este tipo de evaluación y brindaron un acompañamiento más individualizado, su disposición para resolver los instrumentos mejoró significativamente.

Algunas de las directivas mencionaron que han buscado generar consciencia en las(os) docentes sobre la importancia de desarrollar evaluaciones constantes para identificar sus avances como institución, así como los aciertos y oportunidades de mejora en su ejercicio en el aula. Esas apuestas coinciden con el punto de vista de las(os) docentes, para quienes un elemento que ha incentivado su participación es la posibilidad que ofrece ExA de un sistema de evaluación externo gratuito y la oportunidad de mejorar la calidad de la educación gracias al fortalecimiento de las estrategias de enseñanza-aprendizaje con base en las evidencias de los instrumentos de valoración.

Diferencias en la participación por cuadernillo

La estrategia contempla la aplicación de dos cuadernillos en distintos momentos del año escolar. Sin embargo, como muestra la figura 3, para 2021 solo el 36 % de los estudiantes aplicaron ambos.

Con el propósito de indagar sobre las razones que explican el descenso en las aplicaciones del cuadernillo 2 en relación con el cuadernillo 1, durante el trabajo de campo se socializaron estos datos con directivas y docentes, así como algunas hipótesis para explorar posibles explicaciones a esa situación con base en sus propias experiencias. Se identificó que la mayoría de las percepciones de directivas y docentes se relacionan con la hipótesis de que las instituciones educativas no aplicaron el cuadernillo 2 porque implementar dos cuadernillos implica muchos esfuerzos relativos a la dedicación docente, preparación logística y ajustes en el calendario escolar. Asimismo, los actores consultados señalaron que las instituciones educativas no aplicaron el cuadernillo 2 porque no es claro el objetivo de implementar dos cuadernillos y perciben que un cuadernillo al año es suficiente.

Figura 3. Aplicación de cuadernillos en 2021

Fuente: elaboración propia.

La figura 4 muestra la distribución de la participación de las sedes educativas en ExA con respecto al total de sedes registradas en ese año según datos del Sistema de Matrículas Estudiantil (Simat). Para finales del año 2021, las sedes educativas con educación media (10.o y 11.o) fueron quienes mayor participación tuvieron frente a los demás grados.

Figura 4. Participación de sedes por grado académico con respecto al total registrado en Simat a diciembre de 2021

Fuente: elaboración propia.

Para identificar los factores relacionados con las diferencias en la participación entre niveles educativos se preguntó a las(os) docentes por sus percepciones sobre la siguiente hipótesis: las(os) estudiantes de básica primaria participan menos de Evaluar para Avanzar que las(os) estudiantes de básica secundaria y media porque, dadas las capacidades de las(os) estudiantes más pequeños, ellas(os) requieren mayor acompañamiento para diligenciar los cuadernillos y las capacidades de la institución y los docentes son limitadas para atenderlas(os).

En consonancia con esa hipótesis, la mayoría de las(os) docentes consultados afirmaron que las(os) estudiantes de primaria requieren de un mayor acompañamiento que las(os) estudiantes de bachillerato durante la aplicación: para usar los computadores, registrarse, leer e interpretar las preguntas, diligenciar las respuestas, entre otros. También manifestaron que, en el caso de las aplicaciones en casa, se evidencia como una limitación para la participación el apoyo proporcionado por las madres, padres y cuidadoras(es), pues muchas veces el tiempo y su familiarización con las herramientas tecnológicas son escasos.

Otra razón que explica una mayor participación de las(os) estudiantes de secundaria y media es el uso de la ExA como herramienta de “preparación” para las pruebas Saber 11.o. En ese sentido, las(os) docentes expresaron que la motivación y expectativas con la aplicación de la estrategia es mayor para los estudiantes de media al estar próximos a presentar el examen de Estado.

La aplicación de los instrumentos de valoración en las instituciones educativas

Se identificó que, aunque las instituciones consultadas inicialmente adoptaron una modalidad de aplicación, es usual que durante el proceso de implementación se combinen las tres modalidades: online, offline y PDF. Esto ocurre porque las circunstancias de las instituciones y estudiantes pueden cambiar en el lapso entre la inscripción y la aplicación de los cuadernillos. La tabla 2 resume estos hallazgos:

Tabla 2. Ventajas y desventajas asociadas a las modalidades de aplicación de Evaluar para Avanzar

Modalidad	Ventajas	Desventajas
Online	Demanda menos trabajo docente. La aplicación online y en casa no interfiere con el desarrollo de la jornada escolar. Familiariza a las(os) estudiantes con entornos de evaluación virtual. Facilita a las(os) docentes responder preguntas sobre la aplicación.	Funcionamiento intermitente de la plataforma. Demanda acceso a internet y dispositivos de parte de instituciones y familias.
Offline	Las(os) docentes tienen mayor certeza sobre el diligenciamiento de los cuadernillos por parte de las(os) estudiantes. No requiere conexión a internet, pero se conserva el componente digital o de evaluación virtual de la estrategia.	Demanda mucho trabajo docente. Los computadores de las(os) estudiantes o las instituciones no siempre cumplen con las especificaciones para la instalación del software requerido. Fallas en la plataforma dificultan cargar los cuadernillos diligenciados de manera offline. Demanda conocimientos técnicos de parte de las(os) docentes.
PDF	Es semejante a la presentación de las pruebas Saber.	Demanda mucho trabajo docente. Se requieren recursos para imprimir los cuadernillos. La impresión no es una medida ecológica.

Las ventajas y desventajas que se asocian con cada modalidad no dependen únicamente de sus características, sino también del contexto de diligenciamiento de los cuadernillos. Independientemente de la modalidad de aplicación, los docentes consideran que, si los estudiantes diligencian los instrumentos de valoración en la institución, es decir, presencialmente, entonces habrá mayor confiabilidad en los resultados porque no reciben ayudas externas, como el internet o el apoyo de familiares.

En ese contexto, es importante señalar que existe una gran preocupación por la confiabilidad de los resultados de los instrumentos de valoración, en tanto estos son muchas veces asimilados como una evaluación estandarizada. De allí que para las(os) docentes sea una desventaja la aplicación online en casa o sin tener el control sobre la forma en que los estudiantes diligencian los instrumentos de valoración. En otros casos, sin embargo, la aplicación online es un ejercicio de confianza y motivación de docentes a estudiantes, sobre todo cuando los docentes refuerzan la idea de que los cuadernillos se deben diligenciar a conciencia.

El funcionamiento intermitente de las plataformas es la principal dificultad reportada por directivas, docentes y estudiantes consultadas(os) en esta investigación. Del 100 % de referencias a distintos tipos de retos asociados con la aplicación de ExA, el 19,5 % tienen que ver con ese aspecto. Como se mostró en la sección anterior, esa dificultad también supone la principal desventaja para la modalidad online de la estrategia, que, a su vez, es la que están usando la mayoría de las instituciones educativas participantes.

En relación con lo anterior, el acceso a la tecnología es otro gran desafío que sortean las comunidades educativas para participar efectivamente en ExA. Este aspecto recoge tanto la conectividad a internet, en términos de calidad y estabilidad de la conexión, como la disponibilidad de dispositivos electrónicos (computadores, tabletas, celulares) para diligenciar los cuadernillos. Llama la atención que esta dificultad, así como la anterior, fue referida por directivas, docentes y estudiantes de la mayoría de las instituciones educativas (5 de 7), independientemente de su ubicación geográfica (aunque está más presente en entornos rurales) o su sector (oficial, no oficial). Así lo relatan algunos actores:

En la pandemia teníamos solamente el 17 % de los estudiantes con conectividad y nos tocó ver cómo hacíamos con las familias para convencerlos, llenarnos de argumentos para que asumieran los costos necesarios para tener internet, incluso hablar con proveedores de internet porque esta es una zona muy difícil […] de esa forma llegamos al 93 % de conectividad. (Tauramena, entrevista con directivas, 9 de junio de 2022)

Solamente hay un teléfono en la familia, pero generalmente se lo lleva el papá para el trabajo; y el muchacho se conecta con las tareas que colocan los profesores en internet cuando el papá regresa. En el horario de Evaluar para Avanzar que uno les da a los estudiantes regularmente, sea en la tarde, sea en la mañana, en esas horas ellos no tienen acceso a los teléfonos. Y, cuando lo tienen, no tienen conectividad. (Barranquilla, grupo focal con docentes, 10 de junio de 2022)

En relación con ese hallazgo, también se describen como desafíos los conocimientos en el manejo de TIC que puede requerir la implementación de la estrategia para algunos docentes. Aunque no hubo referencias frecuentes, es importante mencionar que existen contextos con determinadas características en los que puede ser un factor decisivo para participar en Evaluar para Avanzar.

En la aplicación de la estrategia durante el aprendizaje en casa, emergió la participación de las madres, padres y cuidadoras(es) como un aspecto importante. Se identificaron dos tipos de retos asociados con el acompañamiento familiar: por un lado, los docentes enviaban las credenciales de acceso a las familias que acompañaban el ingreso a la plataforma para las(os) niñas(os) de básica primaria. Según los docentes, algunas madres, padres y cuidadoras(es) no tenían conocimientos en TIC para apoyar el proceso y tampoco la disponibilidad de tiempo. Por otro lado, dadas las fallas en el funcionamiento de la plataforma, algunas madres y padres se frustraban y dejaban de intentar acceder. Desde la perspectiva de los docentes esto pudo desincentivar a los estudiantes de diligenciar los cuadernillos de valoración.

Directivas, docentes y estudiantes mencionaron otros retos en la participación asociados a la forma en que la estrategia se relaciona con las dinámicas escolares en dos sentidos: el tiempo que supone la aplicación de los cuadernillos y sus implicaciones para las(os) estudiantes, y la interferencia del tiempo requerido para la aplicación en el desarrollo normal de la jornada escolar. Por un lado, para las(os) docentes, el tiempo de diligenciamiento de los cuadernillos es alto. Desde su perspectiva, esto perjudica particularmente a las(os) estudiantes de primaria, que tienen lapsos de atención más cortos, lo cual afecta también la confiabilidad de los resultados por la presión que sienten de responder todas las preguntas dentro del límite de tiempo, incluso aunque no las entiendan.

Por otro lado, dado que algunas instituciones optaron por diligenciar los cuadernillos durante 2021 y 2022 en las instalaciones escolares, las(os) docentes perciben que esta actividad afecta el desarrollo de la jornada escolar. Señalan que deben ceder tiempos de clases para implementar la estrategia, lo que pone en evidencia que Evaluar para Avanzar se concibe principalmente como una “evaluación externa”, más que como un apoyo pedagógico que puede incorporarse de múltiples formas en el currículo.

Finalmente, docentes y estudiantes refirieron como dificultad la falta de correspondencia entre los contenidos curriculares de las instituciones y los conocimientos y habilidades que se evalúan en los instrumentos de valoración de la estrategia. Incluso, en una de las instituciones educativas se señaló que las(os) estudiantes de tercer grado están recién empezando a leer, lo que puede ser una evidencia de los rezagos educativos que produjo la pandemia. También, en una de las instituciones se mencionó la necesidad de involucrar a un(a) profesional especializado(a) en atención a estudiantes con neurodivergencia para brindarles acompañamiento durante la aplicación. Se destacó la importancia de que ExA contemple un enfoque de inclusión.

Experiencia de las(os) estudiantes durante la aplicación de los instrumentos de valoración

Para aproximarse a la experiencia de las(os) estudiantes en relación con su participación en la estrategia, se indagó sobre las emociones asociadas al diligenciamiento de los instrumentos de valoración6. Algunas de las dificultades reportadas por docentes y directivas generan en las(os) estudiantes una cierta indisposición durante la aplicación de los cuadernillos, lo que a su vez afecta las percepciones sobre los resultados obtenidos7.

Las(os) estudiantes consultadas(os) en esta investigación manifestaron sentir ansiedad y preocupación durante la aplicación de los instrumentos considerando lo predictor que puede ser su desempeño en la estrategia de sus resultados en Saber 11.o. En algunos casos, la ansiedad también se relaciona con que el desempeño en los instrumentos de valoración se tiene en cuenta en sus calificaciones.

A esa ansiedad se suma el estrés que pueden generar las condiciones del contexto en el que se realiza el diligenciamiento de los cuadernillos. Si bien algunas(os) estudiantes expresaron que sintieron menos estrés y ansiedad al realizar las pruebas fuera del aula dado que en ese contexto no eran vigilados por los docentes; otras(os) expresaron que la aplicación en casa afectó su tranquilidad porque disponían de menor orientación para el diligenciamiento de los instrumentos. Para algunos de ellas(os), además, la aplicación se tornó tediosa por el agotamiento frente al confinamiento durante la pandemia. Finalmente, también expresaron que la aplicación en casa afectó su concentración, pues los elementos distractores en el ambiente aumentaron al tratarse de espacios menos controlados que el salón de clases.

Una cosa que nos afectó mucho fue el ruido. Más que todo [porque,] cuando uno está en un aula, pues claramente tiene esa norma de que no se puede hablar, tú estás en una prueba, todos son conscientes de que están en una prueba; por tanto, el ruido más mínimo que puede haber es que se cae un lápiz o pasan una hoja… Pero cada uno en su casa tiene un contexto diferente, la mamá está cocinando, los hermanitos están jugando, entonces siempre el ruido afecta mucho la concentración, más a nosotros, que estamos acostumbrados siempre a hacer pruebas en el aula. (Tauramena, grupo focal con estudiantes, 10 de junio de 2022)

El estrés experimentado por los estudiantes varió según su preparación para la aplicación de los instrumentos. Cuando a las(os) estudiantes se les avisó con poca antelación de la aplicación, manifestaron sentirse muy estresados pese a que pudieron elegir en qué momento del día hacerlo; mientras que, al conocer el cronograma con anticipación, se sintieron más confiados, aun sin la libertad de elegir cuándo diligenciar los cuadernillos.

En relación con la intermitencia en el funcionamiento de las plataformas de la estrategia, estudiantes y docentes refirieron experimentar frustración. Cuando la plataforma falla y los estudiantes deben volver a diligenciar los cuadernillos, se frustran y, como consecuencia, no realizan una lectura detenida de las preguntas antes de enviar las respuestas, sino que tratan de recordar lo contestado inicialmente.

Finalmente, es importante destacar el desinterés de las(os)estudiantes para diligenciar los instrumentos cuando los docentes no socializan los resultados de aplicaciones previas. Esa situación refuerza en las(os) estudiantes la idea de que los cuadernillos de valoración son una evaluación sumativa de la que, además, no pueden inferir su desempeño, por lo que pierde sentido participar concienzudamente. Así lo resume un estudiante:

El sentimiento ha cambiado durante los años que hemos presentado las pruebas… La primera vez recuerdo que lo hacía a conciencia, me tomaba el tiempo de leer y me generaba preocupación, entonces el sentimiento era desesperación, preocupación, angustia por saber los resultados… Pero ahora viendo que se va a hacer año tras año, sin saber cuál es el objetivo, en realidad no me genera ningún sentimiento, ya ni la leo, solamente la lleno y la envío. (Barranquilla, grupo focal con estudiantes, 10 de junio de 2022)

Aunque no fue una tendencia, en algunas instituciones las(os) estudiantes manifestaron sentirse saturados con estrategias de evaluación como la que propone ExA, específicamente aquellas(os) que pertenecen a instituciones educativas que cuentan con programas o metodologías de entrenamiento para mejorar los desempeños en las pruebas Saber; como ocurre en las dos instituciones educativas privadas incluidas en la muestra. En estos casos la(el) estudiante siente que desarrolla demasiadas evaluaciones en un mismo periodo y ese “exceso” se traduce, para algunos, en que no se “tomen en serio” estos ejercicios.

Uso de los resultados de los instrumentos de valoración de competencias

La apropiación8 de la estrategia ocurre de manera intencionada en las instituciones educativas e involucra a los distintos actores9, pues es un proceso que implica la comprensión, uso, adaptación e intervención de la estrategia a través de un conjunto de acciones alineadas con su fin último: la mejora de la calidad educativa en el país a través del cierre de las brechas en aprendizajes. Gran parte del proceso de apropiación depende del uso que se haga de los resultados de los cuadernillos. Esta sección hace énfasis en ese aspecto.

Las dificultades más recurrentes sobre el uso de los resultados de los instrumentos de valoración están relacionadas con el acceso al reporte donde se publican y, en menor medida, con el reporte en sí mismo. El principal problema tiene que ver con fallas en el visor de resultados en Power BI, el software disponible para su consulta.

Para el momento del trabajo de campo, el reporte de resultados más consultado por las(os) docentes era la sábana en Excel. En 6 de las 7 instituciones educativas, los docentes expresaron que usar ese reporte es “difícil”, perciben que es “extenso” y “complejo de entender” porque predominan tablas y no gráficas, de allí que consideren que la información se presenta de manera desordenada y poco precisa. Una docente lo describe como “un montón de números, un montón de letras, en una sábana tan gigante… Sí, debieran discriminar por colores o de modo que fuera más fácil para que uno pueda sacar las conclusiones” (Venadillo, grupo focal con docentes, 13 de junio de 2022).

Dados estos obstáculos, las(os) docentes expresaron la necesidad de mayor acompañamiento presencial, pues consideran que se requiere ampliar la información sobre los objetivos y funcionamiento de ExA. Aunque reconocen que se han hecho esfuerzos a través de distintos recursos digitales, demandan que este ejercicio se facilite mediante encuentros presenciales. En palabras de un docente:

Yo sé que el Icfes ha creado la opción de YouTube, pero puede que esto a unos les llame la atención y a otros no. Cuando el personal de Evaluar para Avanzar venga y capacite al docente, yo creo que ahí está la apropiación: que nos enseñen a usar las herramientas, que vengan y nos enamoren de Evaluar para Avanzar. O que capaciten a un número de personas y ellas se encarguen de difundir la información, porque estamos navegando sobre lo que medio escudriñamos en internet, arañamos un poquitico y lo tratamos de multiplicar, pero no es lo mismo. (Sabaneta, grupo focal con docentes, 7 de junio de 2022)

Pese a esa dificultad, en general, en las instituciones participantes las(os) docentes han consultado los resultados de los instrumentos de valoración; solo en 2 de las 7 instituciones no se había accedido a la información. Asimismo, en una de estas instituciones se detectó que, aunque las(os) docentes de básica primaria han revisado los resultados, no ocurre lo mismo con las(os) de básica secundaria y media, lo cual permite subrayar que incluso en una misma institución el uso de la estrategia puede ser diferente.

Directivas, docentes y estudiantes coinciden en que el principal uso de los resultados está asociado con la retroalimentación sobre el desempeño académico de las(os) estudiantes en los instrumentos de valoración. Sin embargo, solo en 4 de las 7 instituciones educativas estudiadas se hace retroalimentación sobre los resultados con las(os) estudiantes y entre docentes. Por lo general, esta revisión consiste en identificar y socializar en grupo las preguntas en las que presentaron mayor dificultad, así como en explicar cuál es la respuesta correcta a cada pregunta puntual y el porqué. Sin embargo, aún en las instituciones donde hubo retroalimentación, los estudiantes señalaron que no es un comportamiento colectivo y que solo algunos docentes lo realizan.

Las(os) estudiantes tienen un gran interés en saber cómo fue su desempeño en los instrumentos de valoración, no conocerlo opera como desincentivo para diligenciar los instrumentos “a conciencia”. Según un estudiante, “uno realmente pierde el interés por meterle ganas a esas pruebas porque uno las hace con el objetivo de ser evaluado y, si no le dan el criterio de valoración a uno, pues se pierde la motivación para hacerlo bien” (Soacha, grupo focal con estudiantes, 2 de junio de 2022).

Otros usos de los resultados que se mencionaron con menos frecuencia son replantear contenidos temáticos y fortalecer las estrategias de enseñanza, cotejar los resultados de desempeño en instrumentos de valoración con los obtenidos en la evaluación interna, comparar lo que se evalúa en las pruebas de Estado con los contenidos curriculares de la institución y evaluar a las(os) docentes. Ese último uso emerge de manera ambigua en las reflexiones de las(os) docentes. Por un lado, hay temor de que los resultados de la estrategia se usen en ese sentido, aunque no es una percepción recurrente. Por otro lado, hay quienes los usan para evaluar sus propias prácticas pedagógicas, lo cual depende de la cultura de la evaluación de cada institución educativa.

Efectos de participar en Evaluar para Avanzar

Efectos percibidos: hallazgos cualitativos

En este apartado se hace una aproximación a la apropiación del enfoque que sustenta la estrategia, pues se evidencia que, pese a los retos que ha implicado la participación, los retornos en este aspecto son positivos. Antes de detallar los hallazgos hay que señalar que varias de las instituciones consultadas reportaron que el enfoque de evaluación formativa ya estaba presente en la institución antes de la implementación de ExA, por lo que el enfoque en sí mismo no fue novedoso. Sin embargo, los instrumentos de valoración sí son reconocidos como una herramienta innovadora que permite materializar y poner práctica de manera sistemática la evaluación formativa.

Docentes y directivas consultadas(os) estiman positivamente el uso que han hecho de los cuadernillos y las rúbricas de preguntas por competencias, ya que les ha permitido incorporar prácticas de evaluación formativa que las(os) incitan a hacer énfasis en el proceso de aprendizaje. En ese sentido, perciben la retroalimentación con estudiantes sobre el desempeño en los instrumentos de valoración evidencian el uso de este enfoque formativo de evaluación.

En ese contexto, las(os) docentes hicieron hincapié en el uso que han dado en el aula a las preguntas de ExA. Señalaron que esta es también una evidencia de prácticas de evaluación formativa integradas a su institución, pues junto con sus estudiantes discuten el sentido de las preguntas, su construcción y cómo analizarlas para responder adecuadamente. De allí que algunas(os) docentes consideren que la estrategia ha generado reflexiones internas sobre la importancia de enseñar y evaluar menos desde los contenidos y más desde un enfoque de competencias; incluso, en algunas instituciones se analizan las preguntas desde diferentes áreas de conocimiento. Las(os) estudiantes, por su parte, ponen en evidencia las bondades de la retroalimentación, así lo expresa un estudiante:

Yo creo que es importante el debate que hacemos. Hay preguntas en las que la mayoría coincide y tiene todo claro, pero hay muchas otras en las que los porcentajes eran iguales entre dos respuestas, y, pues, era importante saber cuál era la correcta y por qué. Muchas veces en las evaluaciones lo que hacen es decir: “Le quedaron tantas mal”, y uno no entiende de las que contestó cuáles eran las correctas. Yo creo en esa metodología de decir: “Bueno, vemos esta pregunta, les dejo el tiempo y contestan”, el tiempo es adecuado para contestar y no empezar a dudar, y luego parar ahí y explicar. Nos deja a nosotros conceptos mucho más claros [si] se maneja pregunta-retroalimentación, pregunta-retroalimentación. Eso hace que de pronto estemos un poquito más concentrados en el sentido de que descansamos un poco de esa presión de pregunta, pregunta, pregunta… [Mientras que con la dinámica pregunta-retroalimentación] volvemos luego a concentrarnos en la [siguiente] pregunta. Realmente sí se ha visto la mejoría, porque uno compara las notas de las primeras evaluaciones con las últimas y sí se ha visto un avance entre todos. (Tauramena, grupo focal con estudiantes, 10 de junio de 2022)

En línea con el enfoque de evaluación formativa que sustenta la estrategia, además de los impactos cuantitativos que pueda tener sobre los desempeños en el examen Saber 11.o, son también relevantes las percepciones que tienen los actores educativos sobre los cambios que su implementación produce en los contextos de aprendizaje. Identificar cómo valoran actualmente las comunidades educativas la estrategia, teniendo en cuenta los efectos que perciben, da pistas sobre las posibilidades de adherencia a esta, lo cual es un factor determinante para garantizar impactos que puedan asociarse con esta política pública.

Las percepciones más recurrentes asociadas a los efectos de participar en la estrategia están relacionadas con cambios en las prácticas de aula. En este caso directivas y docentes hicieron referencia a algunas transformaciones concretas, como el uso pedagógico de las preguntas de selección múltiple o el cambio en estrategias de enseñanza que identificaron como poco efectivas.

Aunque para algunos docentes la estrategia no tuvo un efecto claro mientras se encontraban en la modalidad virtual, se encontró que hay una percepción relativamente recurrente sobre su utilidad en el proceso de transición hacia la presencialidad. Esto se debe a que varios consideran que los resultados de ExA arrojaron luz sobre los principales problemas que presentaban sus estudiantes luego del aprendizaje desde casa, lo cual fue provechoso a la hora de plantear estrategias de mejoramiento.

Otro efecto percibido, aunque de manera menos frecuente, fue el fortalecimiento de la toma de decisiones sobre procesos educativos a partir de la evidencia. En algunas instituciones se encontró que con los resultados de los instrumentos de valoración empezaron a tomarse decisiones sobre los planes de estudio o las estrategias de enseñanza. Como correlato de este hecho, algunas(os) docentes mencionaron que han percibido cómo la estrategia ha aportado herramientas para el diseño de programas de estudio más acordes con la realidad de sus estudiantes.

Por otra parte, el hallazgo más relevante respecto al uso de las matrices de análisis de cuestionarios auxiliares es que en las instituciones no se reconoce esta herramienta (5 de las instituciones educativas consultadas expresaron no conocerla). Esto se debe a que cada docente se concentra en los resultados para su área de conocimiento y a que en las instituciones no siempre hay un responsable de hacer seguimiento a los cuadernillos auxiliares y, si debe existir ese rol, no es claro para las(os) docentes (solo en 2 de las instituciones educativas se mencionó que estos resultados se analizan con la psicoorientadora).

Finalmente, algunos actores señalaron efectos “negativos” de la aplicación de la estrategia. El de mayor importancia en este caso fue el hecho de que su implementación supone trabajo extracurricular para el cuerpo docente, lo cual puede ser una consecuencia de asumirla más como una evaluación que como una herramienta de apoyo que puede incorporarse y articularse con el trabajo que las(os) docentes vienen haciendo.

Discusión y conclusiones

Las condiciones coyunturales y estructurales que está atravesando el sistema educativo en el país han abierto una ventana de oportunidades enfocadas en mejorar tanto la calidad de la educación como la información que se produce sobre los procesos educativos. Al centrar la atención en los procesos de aprendizaje interrumpidos por la pandemia se hizo necesaria una respuesta inmediata de las entidades gubernamentales como el MEN y el Icfes para afrontar tal crisis. Evaluar para Avanzar refleja los esfuerzos y el compromiso de los diferentes actores de la comunidad educativa por contribuir a superarla y, en consecuencia, por fomentar la educación de calidad, en particular, directivas, docentes, estudiantes, padres y madres de familia y cuidadoras(es).

Aunque la implementación de ExA enfrenta a las comunidades con múltiples retos, en la mayoría de los casos estos logran superarse para incorporar la estrategia en la cotidianidad de las instituciones educativas. En ese contexto, el desafío deja de ser que las instituciones participen y se convierte en que hagan el mejor uso posible de las diferentes herramientas que ExA provee. Así, es importante reconocer el posicionamiento de los instrumentos de valoración e impulsar el uso del visor de resultados, las rúbricas de preguntas abiertas, las guías de interpretación de resultados y las matrices de análisis de cuestionarios auxiliares. Esto supone que hay una necesidad de fortalecer el mensaje sobre el enfoque que sustenta la estrategia, de tal forma que para las comunidades educativas sea clara la relevancia y articulación entre ese conjunto de herramientas.

De acuerdo con Kaffenberger (2021), la implementación de la evaluación formativa para identificar los niveles de aprendizaje de las(os) niñas(os), así como formar a las(os) docentes para desarrollar estas evaluaciones, permite que estas(os) últimas(os) puedan adaptar su instrucción y prácticas pedagógicas a los niveles y necesidades de las(os) estudiantes. Al emplear estas herramientas de evaluación como recurso central para el diseño de programas basados en instrucción específica o pedagogía estructurada, los sistemas educativos pueden mejorar eficazmente el aprendizaje, incluso por fuera de un contexto de crisis. Es así como esta es una de las estrategias con impactos positivos y constantes comprobados en el aprendizaje en países de ingresos bajos y medios (Sánchez et al., 2023, pp. 53 y 78).

En tanto uno de los objetivos de ExA es mejorar la calidad educativa, es importante garantizar el uso apropiado de sus herramientas de tal forma que informen el diseño de actividades y materiales que se ajusten a las necesidades de las(os) estudiantes, capten mejor su atención y puedan, así, cumplir sus objetivos pedagógicos (Reimers et al., 2022). De esta forma, implementar la evaluación formativa puede devenir en mejoras en los desempeños en evaluaciones estandarizadas, tal y como lo han hecho intervenciones semejantes en otros contextos (De Hoyos et al., 2021; Duflo et al., 2021; Hattie y Timperley, 2007); de igual manera, puede contribuir a cerrar las brechas educativas existentes y exacerbadas como consecuencia de la pandemia (Marín Llanes et al., 2022). Por ahora, es importante destacar que ExA ha acercado a las instituciones a reflexionar sobre cómo están integrando la educación por competencias y los modelos longitudinales de evaluación, como la evaluación formativa, los cuales contribuyen a la construcción de aprendizajes en la horizontalidad y a participación de las(os) estudiantes.

A continuación, se presentan algunas recomendaciones para favorecer la apropiación de Evaluar para Avanzar:

En primer lugar, se recomienda promover la comprensión de su objetivo: el análisis de la información evidencia que, aunque los usos de ExA tienden a estar alineados con sus objetivos, no siempre son claros para todos los actores educativos. Por un lado, hay quienes la asumen como una medida de evaluación externa o como entrenamiento para las pruebas de Estado, antes que como un recurso diseñado desde un enfoque de evaluación formativa orientado a fortalecer los aprendizajes de las(os) estudiantes de acuerdo con sus conocimientos, habilidades y necesidades. Por otro lado, pareciera que la participación en algunos casos está empezando a hacerse de forma “automática”, como si la aplicación de los cuadernillos fuera una tarea que se suma a las actividades académicas de las instituciones, y no como parte de una estrategia estructurada en un proceso por fases, en el que es fundamental el uso de los resultados de los cuadernillos en el aula.

Así pues, para que ExA pueda contribuir al mejoramiento de las prácticas y los procesos pedagógicos, resulta esencial facilitar el uso formativo de sus herramientas, pues “la apropiación mecánica de algo, sin que medie ningún proceso de comprensión, desarrollo de habilidades y construcción de conocimiento genera consecuencias negativas en el proceso de aprendizaje” (Palacios Mena, 2018, p. 95) y perjudica la consolidación de una cultura que asume la evaluación como herramienta para el aprendizaje (López, 2014). En los casos indagados se reconoce que el Icfes ha hecho esfuerzos por diseñar recursos virtuales que faciliten el uso de las herramientas que integran la estrategia, sin embargo, es necesario fortalecer la divulgación y apropiación social del material comunicativo de diversos tipos en el que se hagan explícitos los objetivos estratégicos de Evaluar para Avanzar y sus diferencias con la evaluación estandarizada sumativa, como las pruebas Saber.

En segundo lugar, se sugiere fortalecer el involucramiento de diferentes actores educativos: el ejercicio comunicativo mencionado en la primera recomendación debe basarse en un análisis sobre las formas en las que distintos actores educativos se vinculan con ExA. Si bien está dirigida principalmente a las(os) docentes, esta investigación puso en evidencia que su implementación involucra múltiples actores dentro y fuera de la institución, porque, desde las secretarías de educación hasta las familias, todos tienen roles y responsabilidades que contribuyen al logro de su fin último.

En tercer lugar, resulta fundamental incentivar el uso de resultados: esta acción está estrechamente relacionada con la primera recomendación, pues, si hay una comprensión clara del objetivo de Evaluar para Avanzar y de los enfoques pedagógicos que los sustentan, se entiende que el uso de los resultados es parte fundamental del proceso. Este ejercicio es particularmente importante para las(os) estudiantes, en tanto conocer los resultados funciona como un incentivo para diligenciar los cuadernillos, pero también como un insumo que les permite reflexionar sobre su proceso educativo.

Así pues, la retroalimentación resulta imprescindible para que la evaluación formativa cumpla su propósito de informar los procesos de enseñanza-aprendizaje y pueda ser un medio efectivo para otorgar sentido a las acciones que comprenden los procesos educativos. Al respecto Prieto Díaz et al. (2019) señalan que abordar la enseñanza como un proceso reflexivo y de construcción colectiva entre maestros y estudiantes requiere que las prácticas pedagógicas involucren el ejercicio de retroalimentación. En palabras de Anijovich y González (2012) (como se citó en Prieto Díaz et al., 2019):

La enseñanza que considera el enfoque de la evaluación formativa busca, de manera permanente, explicitar y compartir con los estudiantes aquello que se propone que aprendan. No estamos muy habituados a compartir los objetivos de las tareas con los alumnos. Sin embargo, cuando un estudiante sabe el objetivo de una tarea, puede dotarla de sentido y auto observarse con mayor atención. (p. 16)

Desde esa perspectiva hay dos caminos para garantizar el acceso de los estudiantes a los resultados: a) que la plataforma les permita visualizarlos de manera individual; y b) incentivar que los docentes socialicen y retroalimenten los resultados de manera didáctica e incentivando el aprendizaje colectivo.

Como parte de esta recomendación, se sugiere desarrollar capacitaciones presenciales para la interpretación de resultados. En relación con esto, las(os) docentes de diferentes instituciones educativas hicieron referencia a la importancia de recibir capacitaciones presenciales sobre cómo usar las diferentes herramientas de ExA, en especial los reportes de resultados. Esta recomendación es especialmente relevante para contextos rurales, donde prevalecen limitaciones en el acceso a internet y, probablemente, bajas capacidades en el uso de TIC. Teniendo en cuenta la articulación entre ExA y el Programa Todos a Aprender (PTA), una alternativa sería fomentar la divulgación y apropiación de los objetivos formativos de la estrategia a través de las(os) formadoras(es) de PTA y los espacios de interlocución y formación con todos los actores que participan del programa: secretarías de educación, directivas docentes, docentes, tutoras(es), coordinadoras(es) de zona y formadoras(es).

En conclusión, para que ExA cumpla su objetivo de contribuir al mejoramiento de la calidad educativa mediante la aplicación de un enfoque de evaluación formativa, se necesita incentivar la apropiación de sus objetivos y sus diferentes herramientas y posibles usos en los procesos de enseñanza-aprendizaje en los distintos actores del ecosistema educativo (secretarías de educación, docentes, directivas docentes, madres, padres, cuidadoras(es) y estudiantes). Resulta fundamental potenciar el uso conjunto de los resultados de los instrumentos de valoración y cuestionarios auxiliares, pues estos suponen una gran oportunidad para contemplar de manera simultánea múltiples factores relacionados con la calidad educativa (aprendizajes, necesidades socioemocionales, condiciones socioeconómicas, percepciones sobre apoyos pedagógicos, etc.) y fortalecer el seguimiento continuo y situado a los diversos procesos y ritmos de aprendizaje.

Como líneas futuras de investigación se podría contemplar enfocarse en el estudio de las experiencias con el desarrollo de la ExA en las instituciones educativas rurales, teniendo en cuenta las especificidades de estos contextos y la premura de atender las desigualdades en los aprendizajes que se han podido observar, exacerbadas como consecuencia de la pandemia por covid-19. A su vez, resultaría pertinente examinar y caracterizar a profundidad algunas experiencias exitosas en el cumplimiento de los objetivos de ExA, identificando los factores asociados a ello, para abordarlas como referentes de buenas prácticas en su implementación.

Referencias

Agencia de Calidad de la Educación de Chile. (2022). Diagnóstico Integral del Aprendizajes (DIA).
https://diagnosticointegral.agenciaeducacion.cl/

Akpan, J. P., Notar, C. E. y Padgett, S. A. (2012). Formative assessment: A basic foundation for teaching and learning. National Teacher Education Journal, 5(1), 83-97.

Arboleda-Castrillón, T., Papagayo-Mahecha, D. y Hernández, D. (2016). Tendencias de la medición y la evaluación de la apropiación social de la ciencia y la tecnología en Colombia: una mirada a trabajos presentados en eventos académicos y de redes de conocimiento en el campo. En D. Lucio y C. Pardo (eds.), Análisis de indicadores de ciencia y tecnología (pp. 411-455). Editorial Universidad del Rosario.

Bennett, R. E. (2011). Formative assessment: A critical review. Assessment in Education: Principles, Policy & Practice, 18(1), 5-25. https://doi.org/10.1080/0969594X.2010.513678

De Hoyos, R. E., Ganimian, A. J. y Holland, P. A. (2021). Teaching with the test: Evidence diagnostic feedback and capacity building for public schools in Argentina. The World Bank Economic Review, 35(2), 499-520. https://doi.org/10.1093/wber/lhz026

Duflo, A., Kiessel, J. y Lucas, A. M. (2021). Experimental evidence on alternative policies to increase learning at scale. NBER Working Paper Series, 27298. https://doi.org/10.3386/w27298

Hattie, J. y Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112. https://doi.org/10.3102/003465430298487

Hernández Sampieri, R., Fernández Collado, C. y Baptista Lucio, P. (2014). Metodología de la investigación (6.a ed.). McGraw-Hill.

Kaffenberger, M. (2021). Modelling the long-run learning impact of the COVID-19 learning shock: Actions to (more than) mitigate loss. International Journal of Educational Development, 81, 102326. https://doi.org/10.1016/j.ijedudev.2020.102326

López, A. (2014). La evaluación como herramienta para el aprendizaje: conceptos, estrategias y recomendaciones. Editorial Magisterio.

Marín Llanes, L., Rodríguez Pico, M., Maldonado, D. y García, S. (2022). Desigualdad en el aprendizaje durante el covid-19: evidencia para estudiantes de secundaria en Colombia. Documentos de Trabajo - Escuela de Gobierno Alberto Lleras Camargo, (86).
https://gobierno.uniandes.edu.co/es/publicaciones/documentos-de-trabajo/documento-de-trabajo-no-86

Mihelič, M. y Zore, E. (2021). Formative assessment and evaluation. Sodobna Pedagogika - Journal of Contemporary Educational Studies, 72(2), 48-57.

Ministerio de Educación de Ecuador. (2022). Plan Nacional Aprender a Tiempo.
https://educacion.gob.ec/aprender-a-tiempo/

Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (Unesco). (2020). Experiencias de evaluación formativa entre miembros de comunidades educativas latinoamericanas: caracterización de los resultados de encuesta de la UNESCO sobre evaluación formativa. https://unesdoc.unesco.org/ark:/48223/pf0000374611

Palacios Mena, N. (2018). El currículo de ciencias sociales y las pruebas Saber 11 en Colombia: consonancias y disonancias. Voces y Silencios: Revista Latinoamericana de Educación, 9(2), 80-106. https://doi.org/10.18175/vys9.2.2018.06

Parra, J. D. (2017). Introducción a la evaluación realista y sus métodos: ¿qué funciona, para quién, en qué aspectos, hasta qué punto, en qué contexto y cómo? Economía y Región, 11(2), 11-44.
https://revistas.utb.edu.co/economiayregion/article/view/163

Prieto Díaz, C. M., Patiño Sarmiento, F. A., Gamma Bermúdez, A. L. y Rincón Vargas, L. V. (2019). Prácticas pedagógicas y evaluativas en educación superior: un estudio en Colombia. Voces y Silencios. Revista Latinoamericana de Educación, 10(2), 98-115. https://doi.org/10.18175/VyS10.2.2019.7

Reimers, F. M., Amaechi, U., Banerji, A. y Wang, M. (eds.). (2022). Education to build back better: What can we learn from education reform for a post-pandemic world. Springer.
https://doi.org/10.1007/978-3-030-93951-9

Sánchez, A., Gregory, L., Crawford, M. F., Oviedo Buitrago, M. E., Herman, R. S. y Ahlgren, E. (2023). Learning recovery to acceleration: A global update on country efforts to improve learning and reduce inequalities. World Bank Group.
http://documents.worldbank.org/curated/en/099071223174514721/P179960038bed500a08dfc0489b6fa2254a

Sanz, J. (2011). Guía práctica 8: la metodología cualitativa en la evaluación de políticas públicas. Institut Català d’Avaluació de Polítiques Públiques (Ivàlua).

Sepasi, H. (2003). A study of the effect of formative evaluation on student achievement. Journal of Social Sciences and Humanities of Shiraz University, 20(1-39), 2-10.
https://www.sid.ir/en/Journal/ViewPaper.aspx?ID=40522

Tobin, T. J., Mandernach, B. J. y Taylor, A. H. (2015). Evaluating online teaching implementing best practices. Jossey-Bass.

Anexo 1. Esquema de síntesis de resultados

Anexo 2. Participación de actores educativos en Evaluar para Avanzar

Resumen de participación en ExA 2020 y 2021	2020	2021
Número de establecimientos educativos	2 342	6 922
Número de sedes educativas	4 413	17 348
Número de estudiantes	607 867	3 216 772
Número de docentes	17 946	107 699
Apropiación de las herramientas
Estudiantes que presentaron al menos un instrumento de valoración	67 %	51 %
Estudiantes que presentaron todos los instrumentos de valoración	17 %	25 %
Docentes que recibieron resultados	90 %	17 %
Instituciones con estudiantes que recibieron resultados	14 %	37 %

Fuente: resultados de la aplicación de Evaluar para Avanzar para cada año, datos del Icfes.

.........................................................................................................................................................

Sara Márquez Gutiérrez

Socióloga con magíster en Estudios Sociales de la Ciencia. Experta en metodologías cualitativas para el diagnóstico, diseño y evaluación de políticas públicas en los sectores de educación y ciencia y tecnología. Publicaciones recientes: Peñaloza, G., Quijano, L., Falla, S. y Márquez, S. (2022). Making Meaning of Science: An Experience of a Science Museum in Fostering Dialogue Between Young People and Science. Human Arenas, 5, 207-221. https://doi.org/10.1007/s42087-020-00143-5; Grupo de Investigación Maloka. (2018). Acercar las fronteras entre el museo y la escuela como escenarios educomunicativos. Nómadas, (49), 173-187. https://doi.org/10.30578/nomadas.n49a10

María Camila Gómez Serrano

Politóloga con estudios complementarios en Gobierno y en Políticas Públicas de la Universidad de los Andes (Colombia). Sus temas de interés se centran en las políticas educativas, los derechos humanos, el conflicto armado y la construcción de paz. Publicaciones recientes: Gómez, M. C., Márquez, S. y Parra, L. (2023). Evaluar para Avanzar: resultados intermedios de una estrategia de evaluación formativa (Documentos de Trabajo Saber Investigar, n.o 5). Instituto Colombiano para la Evaluación de la Educación (Icfes). https://www.icfes.gov.co/documents/39286/2209399/DT_5_APA.pdf Fundación Ideas para la Paz. (2019, julio). Planes Nacionales de Acción en Empresas y Derechos Humanos: mínimos para la elaboración e implementación exitosa en Colombia (Serie de Notas Estratégicas, n.o 09).

https://storage.ideaspaz.org/documents/5d306cdcd0a3e.pdf

Lobsang Parra Peña

Sociólogo de la Universidad Nacional de Colombia. Sus temas de interés son la sociología de la educación, la sociología de la cultura y la música, la construcción de paz y la memoria histórica. Publicaciones recientes: Gómez, M. C., Márquez, S. y Parra, L. (2023). Evaluar para Avanzar: resultados intermedios de una estrategia de evaluación formativa (Documentos de Trabajo Saber Investigar, n.o 5). Instituto Colombiano para la Evaluación de la Educación (Icfes).

---