Introducción
Este texto forma parte de los productos de una investigación sobre la enseñanza de las ciencias sociales en la escuela secundaria de hoy en Colombia, que toma como referente empírico tres instituciones educativas de la ciudad de Ibagué, capital del departamento del Tolima. Interesa establecer principalmente la congruencia entre los objetivos de aprendizaje planteados en los documentos oficiales para el área de ciencias sociales y los contenidos de esta en las pruebas Saber.1 Por ello, el artículo se enfoca en caracterizar las competencias evaluadas en la prueba de ciencias sociales y las propuestas curriculares del Ministerio de Educación, para determinar sus desconexiones y sus hilos vinculantes.
Estos estudios surgen de la necesidad de fomentar investigaciones que acerquen los datos obtenidos en las pruebas de evaluación externa al trabajo cotidiano de las aulas del país, con el ánimo de dinamizar procesos para su lectura idónea, reflexiones curriculares y pedagógicas, aportes a los lineamientos orientadores de las pruebas, diálogo entre los agentes que intervienen directa o indirectamente en la organización de los sistemas de educación nacional, y todo aquello que redunde en la cualificación de las estrategias de formación y evaluación educativas y del crecimiento de la sociedad colombiana, en cuanto a desarrollo del saber y del bienestar social (Rojas, 2014). Este trabajo exigió la revisión de dos tipos de documentos: por un lado, los instructivos y guías utilizados por el Instituto Colombiano para la Evaluación de la Educación (Icfes),2 a fin de divulgar el contenido y la forma de interpretación de los resultados de las pruebas Saber 11 y, por el otro, algunos trabajos empíricos que se han ocupado del tema.
Antecedentes conceptuales: los sistemas de evaluación y la calidad de la educación
La determinación de formar o consolidar sistemas de evaluación en varios países de América Latina está directamente relacionada con el auge de las reformas educativas de las últimas décadas del siglo XX, más precisamente con uno de los propósitos fundamentales de dichas reformas: mejorar la calidad de la educación en los niveles de primaria y secundaria. Según Navarro (2007), a mediados de los años ochenta no era posible responder a la pregunta de qué tanto aprendían los estudiantes en las escuelas. Desde su perspectiva, con excepción de algunos avances incipientes en pocos países, la capacidad para recoger información estandarizada y representativa acerca de los resultados del aprendizaje simplemente no existía.3 Para Navarro, el aprendizaje es el fin último del sistema escolar, y sin información acerca de esta dimensión no podría hablarse de una política educativa, aunque agrega: “Los años noventa fueron testigos de un capítulo excepcional de adquisición de capacidades gubernamentales en el área de evaluación de los sistemas educativos en América Latina” (2007, p. 448). Al finalizar la década, dieciocho países contaban con un sistema de evaluación con avances como los siguientes:
Un grupo (aunque insuficiente para constituir una “masa crítica”) de especialistas altamente calificados en los aspectos técnicos de la evaluación educativa.
Fondos suficientes para recoger periódicamente información sobre logros de aprendizaje en educación primaria y secundaria.
Legitimidad social y política para desarrollar sus actividades.
Redes y relaciones internacionales que alimentan y respaldan las actividades de evaluación dentro de cada país, y con frecuencia llevan a los diferentes países a participar en pruebas comparativas internacionales.
Un cierto grado de institucionalización, en la forma de direcciones ministeriales bien establecidas o institutos semiindependientes dedicados a la organización, la implementación y el análisis de pruebas de evaluación de aprendizaje (Navarro, 2007, pp. 448-449).
La convicción de que para mejorar los resultados en educación era necesario producir cambios en los sistemas de evaluación de los diferentes países quedó claramente expresada en varias reuniones de los ministros de Educación de la región, en estudios de expertos y de organismos multilaterales como el Banco Mundial y el Banco Interamericano de Desarrollo. En 1996 tuvieron lugar en Kingston (Jamaica) la VI Reunión del Comité Intergubernamental del Proyecto Principal de Educación en América Latina y el Caribe y la VII Conferencia de Ministros de Educación, en la que una de las recomendaciones para los países participantes fue la siguiente:
Evaluar y medir la calidad de la educación para asumir responsabilidad por los resultados. Se ve la necesidad de crear indicadores cualitativos para complementar los cuantitativos en la evaluación de la calidad y de realizar mediciones nacionales en distintos niveles, estableciendo mecanismos de análisis regional de los resultados escolares.
Se reconoce la importancia de desarrollar sistemas de evaluación del desempeño de las escuelas que no contemplen sólo los resultados de los alumnos, sino también otros aspectos relacionados con la marcha de la institución. Finalmente, se destaca la necesidad de mejorar el uso y comunicación de la información obtenida en los procesos de evaluación y medición. (Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura [Unesco], 1998, p. 16)
En el mismo año fue publicado el informe de la Comisión Internacional sobre Educación para el siglo XXI, de la Unesco. En él se sugiere que la mejora de la eficiencia del sistema y la reducción de la inequidad en todos los niveles constituyen la fuerza motriz de toda iniciativa de reforma:
Las opciones educativas son opciones de sociedad. Como tales, exigen en todos los países un amplio debate público, basado en la exacta evaluación de los sistemas educativos. La Comisión pide a las autoridades políticas que favorezcan ese debate a fin de alcanzar un consenso democrático, que representa el mejor cauce para poner en práctica con éxito las estrategias de reforma educativa. (Delors, 1996, p. 38)
En el mismo sentido, el Banco Mundial recomendó “[…] establecer normas y medir el rendimiento mediante evaluaciones del aprendizaje” (Michel, 2004, p. 85). La necesidad de formar y consolidar los sistemas de evaluación se apuntaló sobre variados argumentos, tales como asignar responsabilidades sobre los resultados educativos, reformar la escuela como parte de las reformas del Estado y buscar la eficiencia y la calidad.
En pleno auge de la implementación de las políticas neoliberales en América Latina se impuso la idea de que cada instancia de la estructura del Estado debía responder por los resultados de su sector. En este contexto se entendió que los Estados podían experimentar reformas mediante una redistribución de las responsabilidades que corresponden a cada ámbito del gobierno. Según Navarro (2007), con este supuesto se implementaron tres líneas de reformas educativas:
Descentralización, alianzas público privadas, y desarrollo de sistemas de evaluación, entendidos, como la institucionalización de sistemas para la medición de la calidad del aprendizaje en las escuelas y universidades, así como su utilización en la mejora de la política y el debate educativo. (p. 436)
Para Piñón (1998), la ausencia de una cultura evaluativa hasta hace pocos años significó una nula o baja responsabilidad sobre los resultados de los procesos de aprendizaje. Esta ausencia de control y vigilancia de los aprendizajes instala, según el autor, la necesidad de analizar de forma sistemática las prácticas de los maestros y de las instituciones donde estos laboran, es decir, la escuela. La necesidad de implementar evaluaciones que dieran información sobre los aprendizajes que los estudiantes adquieren en la escuela en la región se hizo explícita en su inclusión como uno de los objetivos de Política Pública resultado de la Cumbre de las Américas de 1997, en México:
Se definió la eficiencia como la provisión de los recursos suficientes que se usen de modo óptimo, para alcanzar mejores logros educativos, se definió, entre otros ejes de la política, la instalación de sistemas nacionales de evaluación de la calidad educativa. (Piñón, 1998, pp. 61-62)
Los sistemas de evaluación fueron considerados fundamentales para diagnosticar las deficiencias en el aprendizaje, las dificultades con que los estudiantes pasaban de un grado a otro, las fortalezas y las debilidades en la organización escolar y las estrategias metodológicas utilizadas por los maestros. En el texto titulado “La búsqueda del tesoro perdido. Educación y juventud en América Latina”, Weinstein (1998) expresa claramente el convencimiento de que los sistemas de evaluación ayudarían a mejorar el rendimiento escolar y a conseguir mayores aprendizajes:
Los conocimientos adquiridos por los estudiantes han comenzado a medirse de manera precisa, mediante pruebas y evaluaciones periódicas en varios países de la región. Los resultados confirman las presunciones sobre la escasa calidad de la enseñanza básica y media que reciben los alumnos, en general, y los más carenciados en particular. Así es frecuente que los estudiantes no hayan adquirido más que la mitad de los conocimientos que supuestamente debieran dominar de acuerdo a los planes de enseñanza en las materias fundamentales. (p. 77)
Una vez institucionalizadas las evaluaciones, el siguiente paso era garantizar su utilización, y para ello era importante explotar con fines pedagógicos las bases de datos suministradas por las instituciones que sistematizan las evaluaciones, difundirlas y ofrecer retroalimentación a las escuelas. Con ese fin, los sistemas educativos en América Latina cuentan hoy con instituciones que tienen la función de difundir por diferentes medios no solo los resultados de las evaluaciones, sino su estructura, sus objetivos y su importancia en la vida escolar. Además de lo anterior, buena parte del debate educativo y de la presión pública por producir mejoras en el sistema educativo proviene de los medios de comunicación. La comunidad empresarial, la oposición política y las familias se informan directamente de las pruebas estandarizadas de desempeño tanto nacionales como internacionales (Navarro, 2007).
Pese a los avances en los sistemas de evaluación los resultados no siempre han sido los esperados. Precisamente, en un trabajo titulado Reformas educativas en América Latina. Balance de una década, Gajardo (1999) concluye que, pese a los esfuerzos y a la voluntad para hacer públicos los resultados de las evaluaciones, el insuficiente uso de estos y sus débiles vínculos con la investigación educativa son obstáculos para la retroalimentación a los niveles administrativos y a los establecimientos educativos, y, por ello, no siempre se logran los avances esperados en cuanto al mejoramiento de los rendimientos, la capacitación o la asistencia técnica.
Metodología
La metodología utilizada en este estudio fue la revisión documental. Las variables que se tuvieron en cuenta fueron la inclusión de la evaluación como indicador de la calidad educativa, el contexto histórico de la prueba de ciencias sociales, la evolución de los componentes evaluados en la prueba, la justificación de la fusión de las pruebas de ciencias sociales con competencias ciudadanas y la relación entre las pruebas Saber y los estándares curriculares del área. Las fuentes analizadas fueron el documento de la VII Conferencia de Ministros de Educación de América Latina; el documento Sistema Nacional de Evaluación Estandarizada de la Educación, Alineación del Examen Saber 11; la Guía de interpretación y uso de los resultados de las Pruebas Saber 11 (versión 1); el documento Examen de Estado 2011; la Guía de interpretación y uso de los resultados del examen Saber 11; la versión 1 del cuadernillo del examen presentado en 2014 y los resultados para estudiantes del examen de antes de 2014 y del actual.
La sistematización de los documentos tuvo tres etapas: en un primer momento se analizaron aquellos en los que se adopta la cultura de la evaluación como un componente determinante de la calidad de las instituciones educativas en los contextos latinoamericano y colombiano; posteriormente se estudiaron las guías, los folletos y los instructivos publicados por el Icfes para socializar los contenidos y los cambios que se le introducen a la prueba; en un tercer momento se examinaron los niveles de congruencia entre lo que evalúa la prueba y los estándares básicos de competencias en ciencias sociales y formación para la ciudadanía. Con ese fin se leyó en detalle la prueba de ciencias sociales que los estudiantes presentaron en 2014 y se observaron el tipo de preguntas, los recursos utilizados y la relación entre el contenido de la prueba y los estándares curriculares de ciencias sociales.
Resultados
Evolución del examen y de la prueba de ciencias sociales
La principal finalidad de las pruebas de acceso a la universidad es medir la madurez académica del estudiante, los conocimientos y las capacidades adquiridos en su formación en la primaria y el bachillerato, y su capacidad para seguir con éxito una carrera universitaria. En la actualidad, las pruebas Saber son uno de los indicadores de la calidad de la educación en Colombia, pese a las críticas que han recibido y que abordaremos más adelante. Sus resultados cada día son más útiles en los procesos de admisión a programas de educación superior y para la nivelación de los estudiantes que ingresan a ella, a fin de prevenir la deserción escolar; para el otorgamiento de becas y distinciones, para clasificar y premiar a las instituciones de educación básica y media, y para asignar recursos a los municipios y colegios.
Los focos hacia los cuales se han orientado la política educativa y las dinámicas del sector, tanto en el ámbito nacional como en el internacional, han llevado a que este tipo de exámenes adquiera cada día mayor importancia. La tabla 1 presenta de manera muy sintética la evolución del examen y de la prueba de ciencias sociales.
Las pruebas de acceso a la universidad que presentan hoy los estudiantes colombianos apuntan al desarrollo de competencias genéricas y no genéricas.4 Como se indicó en la tabla 1, las pruebas se han transformado: de evaluar la memorización de contenidos pasaron a evaluar el desarrollo de habilidades. La metamorfosis en el espíritu de las pruebas y en sus contenidos ha sido ampliamente difundida tanto por el Icfes como por el Ministerio de Educación Nacional.
La decisión de privilegiar la formación en competencias sobre la transmisión de conocimientos declarativos se apoya en el siguiente argumento: un ciudadano que ha desarrollado una serie de competencias está en capacidad de utilizar los conocimientos declarativos que posee y de adquirir nuevos conocimientos o competencias para enfrentar adecuadamente los diferentes problemas o situaciones que se le presenten. Por el contrario, un ciudadano que adquirió múltiples conocimientos declarativos, pero no desarrolló cabalmente competencias, solo puede hacer un uso muy limitado de esos conocimientos y enfrenta serias dificultades para adquirir nuevos conocimientos y desarrollar otras competencias. Este último ciudadano está convenientemente preparado para afrontar algunas situaciones propias de contextos académicos, laborales, cívicos. (Icfes y MEN, 2013, p. 11)
De acuerdo con la política educativa propuesta por el Ministerio de Educación Nacional (MEN) y por el Icfes (2015), el desarrollo de las competencias es, o debe ser, el objetivo primordial de la educación básica y media y un componente esencial de la educación superior. Según su concepción, estas competencias no se refieren simplemente a aspectos de la sociedad y a la supervivencia inmediata de los individuos, sino a la perspectiva de una vida exitosa y una sociedad que funcione adecuadamente, teniendo en cuenta los beneficios sociales que puede brindar un individuo bien educado para una economía productiva, así como para la democracia, la cohesión social y la paz.
En la prueba de ciencias sociales y competencias ciudadanas se examina si los estudiantes son capaces de buscar información y de operar con la que poseen, y si pueden interpretar, explicar, argumentar e imaginar los resultados de los procesos. Para Lechuga (2004), según los criterios de evaluación de la prueba, los estudiantes son competentes en ciencias sociales si son capaces de comprender, explicar y relacionar situaciones del mundo de hoy a escala local, nacional o mundial, con lo cual podrán desempeñarse como ciudadanos responsables de sus actos.
Hay que destacar que los cambios realizados a las pruebas Saber 11 a partir del año 2000 han surgido de la necesidad de articularlas con los documentos curriculares que ha producido el Ministerio, con lineamientos, estándares y derechos básicos de aprendizaje, pero también de alinear las pruebas que se han venido implementando y que se encuentran ya institucionalizadas en 3, 5 y 9, y en la educación superior.
La nueva prueba de ciencias sociales y competencias ciudadanas
Las nuevas pruebas Saber 11 no tuvieron cambios sustanciales ni en sus condiciones de aplicación ni en su alcance. Se mantuvo su orientación hacia la evaluación de competencias y se modificaron tres aspectos: aumento del número de preguntas por prueba, incorporación de preguntas abiertas y eliminación del componente flexible.
En cuanto a la alineación de la prueba de ciencias sociales, el cambio principal fue la fusión en un solo examen de las ciencias sociales y las competencias ciudadanas, realizado bajo la premisa de que el desarrollo de las ciencias sociales en las últimas décadas ha conducido a la incorporación de elementos afines a la ciudadanía, lo que justifica la decisión de hacer una evaluación conjunta para las dos áreas. El Icfes destaca tres aspectos que evidencian la relación entre las ciencias sociales y la formación en ciudadanía:
Primero, el análisis de discursos y de fuentes, central en las ciencias sociales, es útil para fomentar la capacidad de los estudiantes de comprender e integrar diversas comprensiones de su realidad, desarrollar habilidades de interpretación de las situaciones sociales que enfrentan y construir argumentos y juicios críticos. Segundo, se ha demostrado que la capacidad de reconocimiento y coordinación de perspectivas a distintos niveles es fundamental para el reconocimiento de la diversidad y pluralidad en el ámbito ciudadano, dicha capacidad se desarrolla a través de ejercicios de análisis propios de las ciencias sociales. Tercero, el análisis de problemáticas sociales permite a los estudiantes desarrollar habilidades de juicio crítico que son fundamentales en su acción como ciudadanos. (Icfes, 2015, p. 84)
Para el Icfes, las competencias cognitivas que se requieren en ciudadanía encuentran en la formación escolar en ciencias sociales un espacio apropiado para su desarrollo. Ligado al cambio anterior, y habiendo identificado los elementos fundamentales que se deben evaluar en ciencias sociales y en competencias ciudadanas, el segundo cambio se efectuó en la estructura de la prueba, en la que se definió la evaluación de tres competencias: pensamiento social, interpretación y análisis de perspectivas y pensamiento sistémico y reflexivo.
Como se ilustra en la tabla 2, la actual estructura de la prueba evidencia que en la determinación de las competencias que se incluyeron, de su conceptualización y de los criterios de evaluación hay un claro propósito de articular los estándares básicos de competencias de ciencias sociales y ciudadanas. En la definición de las competencias son fundamentales la comprensión de fenómenos sociales, la apropiación de conceptos propios de las ciencias sociales, la aprehensión de actitudes y valores que hagan explícita la adquisición de cierto nivel de pensamiento crítico frente a la realidad cotidiana, y la apropiación de habilidades y destrezas propias de la labor de un científico social.
Los cambios que se dan en la prueba Saber 11 en el 2014 obedecen principalmente a la necesidad de alinearla con las de 3, 5, 9, y la prueba Saber Pro. Alinear la prueba significaba evaluar la misma competencia en diferentes grados de desarrollo y consolidar un sistema nacional de evaluación de la educación con pruebas no aisladas sino articuladas, lo que permitiría hacer un seguimiento sistemático de los resultados de la educación a través de los diferentes niveles (Icfes y MEN, 2013).
En el caso del área de ciencias sociales, la alineación significó fundamentalmente una fusión de la prueba existente hasta el momento con la de competencias ciudadanas. La alineación se justificó porque era un propósito compartido de las dos pruebas la formación de una ciudadanía responsable, activa, crítica y comprometida con el fortalecimiento de la democracia y el reconocimiento de los derechos y de los deberes (Icfes y MEN, 2013).
Se considera que la aproximación al campo de las ciencias sociales en la educación media contribuye a la convivencia y a la ampliación de los horizontes de comprensión sobre el mundo social, enriqueciendo las visiones del mundo, aportando elementos para respetar las diferencias y la diversidad, y brindando herramientas y conceptos para la discusión racional sobre las problemáticas sociales y los destinos de la sociedad. (Icfes y MEN, 2013, p. 83)
Por otro lado, desde la postura del Icfes y del Ministerio de Educación (2013), la comprensión de los debates políticos contemporáneos que incluyen la concepción de ciudadanía y democracia requiere el aprendizaje de las dimensiones geográficas, económicas, históricas y culturales.
En lo que tiene que ver con los resultados, la actual prueba de ciencias sociales proporciona a los estudiantes el promedio que representa el desempeño medio de los estudiantes en determinada prueba. Este resultado se reporta en una escala de 0 a 100 puntos, sin decimales. La desviación estándar es una medida de dispersión de los datos que significa que cuanto más alto sea este valor, más alejados del promedio se encontrarán los resultados de los estudiantes, lo cual indica mayor dispersión o heterogeneidad entre los puntajes obtenidos por ellos. Los niveles de desempeño describen lo que saben y saben hacer los estudiantes, de acuerdo con las especificaciones de una determinada prueba del examen. Se establecieron cuatro niveles de desempeño: 1, 2, 3 y 4, entre los cuales el 4 se define como el nivel esperado.
En el nuevo examen, esta es una información a la que se le ha dado mucha relevancia. El reto de los establecimientos es sacar a todos sus estudiantes del rango 1 y tratar de llevarlos del rango 2 al 3 y de este al 4. Los datos de los estudiantes por nivel de desempeño cumplen una función clasificatoria y de poca utilidad pedagógica, por cuanto la información que arrojan es muy general y no es suficiente para determinar dentro de cada rango, específicamente, cuáles son las habilidades concretas que han desarrollado los estudiantes y cuáles no, de manera que se puedan fortalecer las debilidades y llevar a los estudiantes al siguiente rango. Esta deficiencia con la información de los niveles de desempeño está también relacionada con el tipo de preguntas que tiene la prueba, como se verá más adelante.
Discusión de los resultados
Los estándares de ciencias sociales y las pruebas Saber 11
En este estudio se analizaron los estándares de ciencias sociales y competencias ciudadanas, y del examen que los estudiantes de grado 11 presentaron en 2014, con el objetivo de establecer las disonancias y las consonancias, tal como se ha indicado. Como resultado se obtuvieron las categorías incluidas en la tabla 3, que de manera individual, y en su conjunto, nos permiten establecer la articulación entre los estándares de ciencias sociales y competencias ciudadanas y la prueba que presentan los alumnos.
Tabla 3.
Categorías de análisis para establecer la articulación entre los estándares curriculares de ciencias sociales y las pruebas Saber 11
Tipo de preguntas
La prueba analizada tiene 24 preguntas cerradas y una abierta. Las preguntas cerradas tienen cuatro opciones de respuesta: A, B, C y D. El siguiente es un ejemplo de una pregunta cerrada con única respuesta:
El socialismo busca la igualdad social, política y económica. Para alcanzar este propósito, el socialismo propone:
Privatizar los medios de producción y lograr desmontar los sindicatos de las empresas transnacionales y multinacionales.
Impulsar el consumo y la capacidad de endeudamiento de los trabajadores como factores fundamentales para dinamizar la economía.
Ofrecer bienes y servicios según el esquema de los tratados de libre comercio y la apertura económica de las fronteras nacionales.
Lograr la tenencia colectiva de los medios de producción y la consolidación del poder político en las clases trabajadoras.
La pregunta abierta tiene un pequeño espacio para ser respondida por los estudiantes, fuera del cual no se pueden salir porque invalida la respuesta. La única pregunta abierta que tuvo la prueba estudiada fue la siguiente:
Un presidente de Colombia afirmó: “En una palabra, se ha reconstruido íntegramente el sistema republicano y se ha llevado a la práctica algo que parecía quimérico: la organización de un régimen político en que los dos partidos tienen iguales derechos e idénticas responsabilidades”. ¿Con qué periodo de la historia política colombiana se relaciona de manera más directa este discurso?
Afortunadamente para esta investigación, esta pregunta abierta fue incluida en los lineamientos generales para la presentación de las pruebas Saber 11 del 2015, publicados por el Ministerio y el Icfes en febrero de ese año. Según dichos lineamientos, el objetivo de la pregunta es que el estudiante asocie los elementos del fragmento con las características del Frente Nacional. Forman parte de la evaluación de la competencia la interpretación y el análisis de perspectivas, y establecer si el estudiante puede identificar el contexto de una fuente. La figura 1 muestra el espacio permitido para las respuestas abiertas.
Los criterios para determinar si a la pregunta se le asigna puntuación crédito total son los siguientes:
Se menciona de manera clara y explícita el Frente Nacional.
Se describe o caracteriza ese periodo histórico introduciendo elementos adicionales a los descritos en el fragmento.
Se ubica históricamente la fuente sin hacer una mención explícita del periodo histórico al cual pertenece (Icfes, 2015, p. 75).
Las respuestas anteriores recibieron crédito total. Como se indica en la figura 2, no reciben puntuación las preguntas en las que el estudiante:
Parafrasea o copia textualmente elementos del fragmento sin agregar información sobre la ubicación histórica del mismo.
Ubica el fragmento en un periodo histórico sin relación directa con el Frente Nacional (anacronismos).
Presenta información muy general, ambigua o incompleta (Icfes, 2015, p. 76).
Frente a las críticas sobre la posibilidad real de que preguntas cerradas o abiertas de corta, “restringida y limitada” respuesta, como las de la prueba de ciencias sociales y competencias ciudadanas, evidencien la apropiación de conceptos y la adquisición de habilidades procedimentales y actitudinales, el Icfes y el Ministerio de Educación han argumentado que las preguntas cerradas tienen dos grandes ventajas:
No dan lugar a equívocos en la evaluación de las respuestas. Queda perfectamente definido qué respuesta propuso un evaluado, y está establecido de antemano qué opción de respuesta es la correcta. Por el contrario, la evaluación de preguntas abiertas depende de la interpretación que el evaluador haga de la respuesta y de los criterios que aplique. Segundo, las preguntas cerradas facilitan el procesamiento de los resultados, en la medida en que este puede realizarse con sistemas automáticos. En contraste, las preguntas abiertas exigen la participación de evaluadores, lo que implica mayores inversiones de tiempo, esfuerzo y recursos económicos frente al caso del procesamiento automático. (Icfes y MEN, 2013, p. 9)
Como se evidencia en la figura 3, la introducción de preguntas abiertas, tal y como están planteadas y como se ilustró anteriormente, no da un gran valor agregado a la prueba, en primer lugar, por su representatividad numérica —una entre veinticinco— y, segundo, por la posibilidad real de medir la adquisición de una competencia en un espacio tan reducido, pese a la claridad de los criterios establecidos para ello.
El Icfes y el Ministerio (2013) reconocen las limitaciones de las preguntas cerradas: los resultados obtenidos mediante preguntas cerradas siempre conllevan imprecisiones derivadas de las respuestas dadas al azar y, en la medida en que cada pregunta cerrada ofrece un número relativamente pequeño de opciones de respuesta, de manera invariable hay una probabilidad relativamente grande de proponer la respuesta correcta mediante una selección aleatoria. De allí que la resolución correcta de la pregunta cerrada no provee evidencia definitiva de que el estudiante sabe la respuesta. Pese a estos argumentos, las preguntas cerradas siguen prevaleciendo tanto en las pruebas Saber 11 como en las de básica primaria y secundaria, y en las de educación superior.
Por otro lado, la probabilidad de contestar correctamente una pregunta cerrada aumenta gracias a la preparación artificial. El Icfes y el Ministerio (2013) también lo reconocen, y es ampliamente sabido en el país que muchos colegios dedican gran parte de las actividades académicas del grado 11 a contestar cuestionarios y orientar a los alumnos en la detección de claves y cascaritas para diferenciar las respuestas correctas de las que no lo son, con las consecuencias negativas que tiene para cualquier proceso de aprendizaje la apropiación mecánica de algo, sin que medie ningún proceso de comprensión, desarrollo de habilidades y construcción de conocimiento.
Los argumentos que defienden las preguntas cerradas, así como la calificación electrónica de las pruebas, son a todas luces discutibles. Si bien es cierto que en cada establecimiento educativo no solo debe haber la convicción, sino el propósito de todos y de cada uno de los maestros de que sus estudiantes tengan mejores aprendizajes, no es justificable que quien porte las banderas de la búsqueda de la calidad escoja la menor inversión en tiempo y esfuerzo para evaluarlos. Resulta una verdadera incongruencia que el factor económico, el costo de la evaluación de otro tipo de preguntas, sea determinante en una política pública cuyo principal lema es buscar la calidad de la educación. Es incoherente una propuesta de enseñar y de evaluar por competencias cuando esto último lo hace una máquina porque sale más barato, máxime en un país como el nuestro, donde los resultados de esas pruebas determinan importantes situaciones —la posibilidad de acceder o no a la universidad, la posibilidad de recibir una beca para estudios universitarios, la clasificación de las instituciones y su reconocimiento— y constituyen uno de los indicadores que contribuyen a que los colegios, los directivos y los docentes reciban incentivos económicos. Pese a aceptar la primacía del factor económico en la evaluación de las pruebas, el Icfes y el Ministerio admiten que “[…] una respuesta correcta a una pregunta abierta provee una evidencia prácticamente definitiva de que el estudiante sabe la respuesta” (Icfes y MEN, 2013, p. 10).
También pareciera muy difícil poder determinar si el tipo de preguntas ya analizadas realmente mide algunas metas de aprendizaje definidas en los estándares curriculares:
La formación científica debe llevar a los estudiantes a asumir una postura crítica frente a las contribuciones de las ciencias en la mejora de la calidad de la vida de las personas y a ser responsables frente al consumo, a ser capaces de analizar la publicidad, la calidad de los productos, las relaciones costo-beneficio, entre otros. (República de Colombia, MEN, 2006, p. 112)
Desde el punto de vista pedagógico, parece poco probable que la respuesta dada a una pregunta, cerrada o abierta, que tiene dos líneas para ser contestada, dé luces sobre la apropiación de cierto tipo de conocimientos y de conductas, como los señalados anteriormente en los estándares. Si bien el Ministerio ha sostenido que la prueba no es el único indicador de la calidad de la educación que se establece en los colegios, la importancia que ha ido ganando para definir becas, reconocimientos y premiaciones, hasta estímulos económicos, pone en la mesa la discusión sobre la invisibilización de otras prácticas educativas que no son sometidas a este tipo de evaluación o la orientación del conocimiento escolar a cierto orden económico y político, que no está necesariamente articulado con las necesidades y la búsqueda de bienestar de las comunidades.
Los recursos utilizados
En clave de determinar las consonancias y disonancias entre los estándares y la prueba de ciencias sociales y competencias ciudadanas se revisan los recursos utilizados en las preguntas.5 Aunque en los Estándares básicos de competencias ciudadanas (MEN, 2004) se señala la necesidad de que en el área de ciencias sociales los estudiantes desarrollen capacidades para buscar evidencias, analizar información, sustentar posiciones, reflexionar sobre las actuaciones, evaluar la calidad de la información, es decir, la capacidad de pensar analítica y críticamente sobre los problemas y fenómenos sociales, llama la atención que, si bien en la prueba analizada se encontraron recursos, su número es ostensiblemente menor en relación con el que había en las pruebas hasta antes de 2014, en las cuales una buena cantidad de preguntas incluía tiras cómicas, mapas, cuadros y gráficas estadísticas, fotografías e ilustraciones.
En tres de las veinticinco preguntas se identificó el uso de recursos. La tabla 4 muestra algunos de los que se utilizaron en el examen en cuestión.
Los recursos son incluidos con la intención de indagar la capacidad de los estudiantes para evaluar la credibilidad de una fuente y analizar los argumentos o perspectivas expuestos en ella. Una fuente se puede evaluar haciéndose preguntas relevantes, por ejemplo, quién es el autor del texto, si en la situación presentada hay algo que resulte de importancia para usar o descartar la fuente, si el autor es experto en el tema sobre el que habla o hace afirmaciones sin sustento, si el autor es representativo de la población sobre la que habla y si representa a algún grupo de interés.
En efecto, con los textos históricos es importante saber si proveen información confiable sobre lo que relatan, porque, en el ejercicio de la ciudadanía, esas ponderaciones son capitales para la toma de decisiones o el análisis de situaciones problemáticas. Una vez evaluada la fuente, se indaga la habilidad del estudiante para inscribirla en un contexto económico, político o cultural, y la relación que puede haber entre estos factores y su contenido (Icfes, 2015).
Contenido de la prueba y los estándares curriculares
Con el objetivo de evidenciar la articulación entre los estándares de ciencias sociales y competencias ciudadanas y lo que se evalúa en la prueba, el Ministerio de Educación y el Icfes (2015) construyeron cuadros como el que se muestra en la figura 4, en el que incluyen la competencia evaluada, los estándares relacionados, los estándares de referencia, los conceptos relacionados y las habilidades sobre las que indaga la prueba.
En lo que tiene que ver con los estándares de referencia, puede resultar relativamente sencillo relacionarlos con las preguntas de la prueba. Por ejemplo:
Estándar relacionado:
Reconozco que los fenómenos sociales pueden observarse desde diversos puntos de vista visiones o intereses (Icfes y MEN, 2013, p. 57).
Pregunta:
En una región de Colombia, una organización estatal promueve proyectos de agricultura para la reintegración de campesinos desplazados. Con este objetivo, se propone la utilización de unos terrenos que forman parte de un ecosistema de humedal. Una organización ambientalista rechaza esta decisión porque afectará este ecosistema. De lo que busca cada una de las organizaciones mencionadas se puede afirmar que
Es semejante, porque las dos buscan el aprovechamiento económico del humedal para el bienestar de los campesinos.
Es semejante, porque las dos buscan defender a toda costa las riquezas naturales de la región.
Es diferente, porque una defiende al ecosistema, aunque esto signifique no poder dar tierras a los campesinos y la otra quiere ayudarlos, aunque se dañe el ecosistema.
Es diferente, porque una busca que los campesinos se asienten y trabajen en otra región y la otra busca que se preserve el ecosistema del humedal (Icfes y MEN, 2015, p. 20).
De la misma manera, es claramente observable en el examen la concepción de las ciencias sociales plasmada en los estándares:
No basta ofrecer a los estudiantes las herramientas conceptuales y metodológicas propias de las ciencias sociales. Ellas son importantes en tanto fundamentan la búsqueda de alternativas a los problemas sociales que limitan la dignidad humana, para lo cual es importante forjar en niños, niñas y jóvenes posturas críticas y éticas frente a situaciones de injusticia social como la pobreza, el irrespeto a los derechos humanos, la contaminación, la exclusión social, el abuso del poder (República de Colombia, MEN, 2006, p. 100).
Una de las preguntas de la prueba analizada dice:
En Colombia, la discriminación de personas con orientación sexual diferente a la heterosexual, es decir, lesbianas, homosexuales, bisexuales y transgeneristas, ha llevado a procesos de movilización y acciones afirmativas de estas comunidades por la defensa de sus derechos. Estas movilizaciones y acciones que visibilizan a personas con orientación sexual diferente a la general, son fundamentales en el desarrollo de la igualdad y del respeto por la diferencia, porque
Exigen al gobierno proyectos pedagógicos para la salud sexual.
Denuncian la explotación laboral y las condiciones de marginación espacial de estas personas.
Promulgan y reivindican los derechos y se denuncia la exclusión.
Sensibilizan a la gente sobre la importancia de reconocer la diversidad de creencias religiosas (Icfes y MEN, 2015, p. 19).
La pregunta propone a los estudiantes la reflexión tanto sobre la discriminación sexual como respecto a las acciones que el Estado y la sociedad deben adelantar para exterminar dichas situaciones de discriminación y de exclusión. Sin embargo, al establecer la relación entre las competencias, los estándares, las preguntas y los conceptos para trabajar en clase, la tarea se dificulta porque son claramente identificables algunas ambigüedades en el documento propuesto. La descripción de la competencia de pensamiento social dice:
La prueba evalúa habilidades de pensamiento propias de las ciencias sociales, en particular, la comprensión de dimensiones temporales y espaciales de eventos y prácticas. También evalúa la habilidad del estudiante para analizar las dimensiones históricas de eventos y problemáticas. Es decir, se indaga si el estudiante relaciona eventos e identifica razones que justifiquen esas relaciones. Finalmente, indaga acerca de la habilidad del estudiante para relacionar problemáticas sociales con contextos geográficos y sus características. (Icfes y MEN, 2013, p. 52)
Pero posteriormente, en la competencia de interpretación y análisis de perspectivas aparecen como estándares de referencia los siguientes:
Identifico las causas, características y consecuencias del Frente Nacional.
Identifico algunas formas en las que las organizaciones estudiantiles, movimientos sociales, partidos políticos, sindicatos han participado en la actividad política colombiana (siglos XIX y XX). Estado, identidad nacional, fascismo, identidad étnica, cosmovisión, cultura, Derechos Humanos, colonización-descolonización. Analizo críticamente la información. (Icfes y MEN, 2013, p. 57)
Por la descripción que se hace de la competencia social, estos estándares deberían ser de referencia de dicha competencia y no de la competencia de interpretación y análisis de perspectivas, que apunta a otros desempeños.
Llama la atención que en la definición de la competencia de pensamiento reflexivo y sistémico dice:
Esta competencia recoge una parte de lo establecido en los Estándares básicos de competencias en ciencias y competencias ciudadanas (EBCCS), dado que en estos se plantea que la formación en ciencias sociales debe ofrecerles a los estudiantes herramientas para comprender la realidad social, para reconocer distintas formas de aproximarse a los problemas, identificar las complejas relaciones que los configuran, adelantar procesos de indagación flexibles y reflexivos, y adoptar posturas críticas frente a los usos sociales de las ciencias sociales. Para la prueba, esta competencia se entiende como la capacidad de reconstruir y comprender la realidad social desde una perspectiva sistémica, mediante la identificación y construcción de relaciones entre las distintas dimensiones presentes en los problemas sociales y en sus posibles alternativas de solución. (Icfes y MEN, 2013, p. 58)
Pero en el estándar relacionado propone:
Identifico y tomo posición frente a las principales causas y consecuencias políticas, económicas, sociales y ambientales de la aplicación de las diferentes teorías y modelos económicos en el siglo XX. (Icfes y MEN, 2013, p. 59)
Los estándares de referencia apuntan a fenómenos económicos, pero aparecen dos cuyo papel no es claro dentro de la competencia:
Identifico dilemas de la vida en los que distintos derechos o valores entran en conflicto y analizo posibles opciones de solución, considerando los aspectos positivos y negativos de cada una.
Analizo críticamente las decisiones, acciones u omisiones que se toman en el ámbito nacional o internacional y que pueden generar conflictos o afectar los Derechos Humanos. (Icfes y MEN, 2013, p. 59)
Una presentación reduccionista de la competencia pensamiento reflexivo y sistémico tal como la anterior puede dar lugar a una interpretación igualmente reduccionista de un profesor que tome instrumentos de los lineamientos para orientar su desarrollo en los estudiantes. Esto puede ocurrir más aún cuando en la mayoría de los casos este tipo de documentos no los entrega quien los diseña —y que podría aclarar este tipo de inquietudes—, sino personas que organizan capacitaciones relámpago, generalmente dirigidas a un directivo o a un grupo reducido de docentes, sin que haya seguridad de que las instituciones educativas dediquen el tiempo suficiente para compartir, retroalimentar y definir horizontes de trabajo que permitan utilizar estos materiales e incorporarlos al quehacer educativo.
Pareciera que en el afán de evidenciar la articulación entre los estándares y las pruebas hubiera algunas incongruencias entre la definición de las competencias y los estándares con los cuales se relacionan. Esto podría confundir al maestro a la hora de disponer el trabajo que les permita a los alumnos desarrollar las habilidades y construir los conocimientos concernientes a cada una de las competencias determinadas en la evaluación de ciencias sociales. Si bien el asunto central es el desarrollo de habilidades y no el nombre de la competencia, sí es importante evitar ambigüedades entre las definiciones de las competencias y los estándares a los que se debe apuntar. En lugar de un cuadro en el que se introducen estándares y conceptos, a veces forzadamente, puede ser una buena opción dejar al docente el ejercicio de identificar las competencias, los estándares y los conceptos del área, lo que puede resultar muy valioso y muy potente para enriquecer tanto las actividades de aprendizaje como la evaluación que el profesor hace a sus estudiantes.
Conclusiones
Como una necesidad propia, y en cumplimiento de compromisos adquiridos en materia educativa con los demás países de la región, Colombia, al igual que otros países de América Latina, ha logrado consolidar un sistema de evaluación de la educación. Independientemente de las críticas que ha generado el modelo de educación por competencias, hoy el país cuenta con un conjunto de pruebas que evalúan los aprendizajes de los estudiantes de educación básica, media y superior.
Si bien el Ministerio de Educación ha sido reiterativo en aclarar que la prueba no es el único indicador de la calidad de la educación, sí es evidente la importancia que dicho indicador ha tenido en los últimos años. Así mismo, es manifiesto que sus resultados son cada día más determinantes para la definición de la política educativa que adoptan el Ministerio, las secretarías de Educación, y el diseño e implementación de planes de mejoramiento de los colegios.
Las pruebas evalúan el nivel de desarrollo de competencias alcanzado por los estudiantes. Las críticas a dichas pruebas se han dado en varios sentidos. Para algunos, el Estado colombiano, en su deseo de ingresar a la Organización para la Cooperación y el Desarrollo Económicos (OCDE) y de cumplir con las exigencias de Banco Mundial y del Banco Interamericano de Desarrollo, ha implementado unas pruebas que no se comparan con la inversión real que se ha hecho en la educación. Por otro lado, las críticas se enfocan en que una prueba nacional como la que se aplica desconoce la diversidad regional que caracteriza al país y las desigualdades económicas que determinan el ingreso y la permanencia en la escuela de los niños y jóvenes colombianos. A estas críticas, el Estado responde que las pruebas evalúan las competencias establecidas en los estándares curriculares y que estos contienen los conocimientos y habilidades básicos que todos los estudiantes del país deben tener, independientemente de la región donde vivan o de su condición socioeconómica.
Una lectura reflexiva de la prueba de ciencias sociales nos permitió establecer que de un examen en el que se evaluaba principalmente la memorización de contenidos se pasó a uno en el que se evalúa el desarrollo de competencias, y luego se llegó a la estandarización de todas las pruebas Saber (3, 5, 9, 11 y Pro), con el objetivo de que se evalúen las mismas competencias en diferentes grados de desarrollo. La estandarización o alineación logró que sean compartidos tanto las condiciones de aplicación como el procesamiento de los resultados y las características técnicas del examen.
La estandarización de las pruebas se constituyó en una de las metas para la consolidación del sistema de evaluación de la educación; esta tuvo como objetivo alinear todas las pruebas que presentan los estudiantes del país. Dentro del proceso de alineación del examen, el Ministerio y el Icfes han tratado de evidenciar la articulación que existe entre los estándares curriculares y el contenido de la prueba. Para ello, han publicado lineamientos en los que ilustran la relación entre las competencias que se evalúan en el examen, los estándares y los contenidos. Si bien es cierta la evidente conexión en algunos aspectos, como una manifiesta orientación a evaluar competencias y no contenidos memorizados por los alumnos, en otros la conexión no es clara, porque la distribución de algunos estándares en las tres competencias genera confusión. Un análisis detenido muestra que hay algunas ambigüedades, dado que, según el documento de los lineamientos, un estándar fue ubicado en una competencia, pero puede ir en otra. Lo anterior no sería importante, si no fuera porque la prueba puede ser utilizada con fines pedagógicos por los maestros, para orientar su enseñanza y la evaluación en el aula. En estos casos, las ambigüedades señaladas no contribuyen a que el docente use la prueba en la revisión de contenidos, de su forma de evaluación, y en las actividades de aprendizaje.
En el caso colombiano, la mayoría de los trabajos que se han producido alrededor de las pruebas Saber se han centrado en la presentación de los resultados y de los factores que tienen efectos sobre estos, como la convivencia y el clima escolar, las condiciones económicas de las familias o el tipo de institución educativa. Este trabajo se ubica junto con otros, como el recientemente publicado por Palacios (2018), en el que se hace énfasis en la necesidad de darle un uso pedagógico a la prueba, y que estos resultados contribuyan a comprender aspectos curriculares y prácticas de enseñanza. Tal y como subraya Wolfe (2006), esto implica un desplazamiento de preguntar cuánto saben los estudiantes, a preguntar qué saben y qué son capaces de hacer.
Otro aspecto en el que son claras las disonancias entre los estándares y las pruebas es en la posibilidad real del examen de medir ciertas habilidades y ciertos conocimientos establecidos en los estándares. El cuestionamiento concreto es si preguntas cerradas con única respuesta y preguntas abiertas con un espacio restringido y limitado para ser respondidas no dejan por fuera, y sin posibilidad de evaluación, una gran cantidad de conocimientos y habilidades que son fundamentales en la educación primaria y secundaria.
Lo anterior genera críticas relacionadas con que el examen se centre únicamente en las habilidades y los conocimientos que se evalúan para el Informe del Programa Internacional para la Evaluación de Estudiantes (PISA, por su sigla en inglés) o en aquellos que son considerados importantes por organismos como la OCDE, el Banco Mundial y el Fondo Interamericano de Desarrollo; competencias que, a los ojos de muchos, pretenden profundizar y afianzar el modelo neoliberal, aquel que flacos beneficios y condiciones de bienestar ha traído a las comunidades. El modelo de examen que hoy tenemos es, para muchos, expresión y evidencia de la institucionalización en la escuela de unas políticas que vienen desde los centros de poder y que están al servicio de sus intereses, pero que poco o nada promueven que los estudiantes desarrollen unas habilidades y construyan unos conocimientos que los empoderen para disentir y rebelarse precisamente contra las medidas adoptadas por esos centros de poder, que día a día aumentan las condiciones de pobreza y desigualdad de la gran mayoría de la población.
Debemos partir, entonces, del principio de que la publicación de los referentes de calidad, como los estándares de competencias, y la decisión de incluir los resultados de las pruebas estandarizadas como uno de los indicadores para clasificar las instituciones educativas de educación básica y media se sustentan en una conceptualización de la evaluación como un proceso de diálogo, comprensión y mejora del proceso de enseñanza y aprendizaje, y no solo como un marcador o clasificación que da cuenta de los resultados alcanzados por los alumnos (Alfageme y Egea, 2016; Miralles, Molina y Monteagudo, 2017; Miralles, Molina y Trigueros, 2016; Monteagudo y Vera, 2017). Es necesaria una articulación entre quienes están encargados de producir unos y otros, a fin de que estos también sean integrados por los maestros en una forma de enseñar que privilegie la innovación y que implique además una revolución metodológica en términos de evaluación de los aprendizajes del alumnado (Gómez y Miralles, 2018).
Finalmente, queremos resaltar la importancia de que, a corto o mediano plazo, la prueba Saber de Colombia para el área de ciencias sociales incluya un espacio más grande para preguntas abiertas y preguntas semiestructuradas, en el que se solicite a los estudiantes la construcción de narrativas, aplicación de conceptos, procedimientos y planteamientos de solución a problemáticas concretas de la vida nacional. Tal y como lo plantean Gómez, Rodríguez & Mirete (2017) y Gómez y Chapman (2017), para el caso de la Prueba de Selectividad de España, este cambio en la estructura actual del examen abre la oportunidad de evidenciar los aprendizajes del alumnado frente a situaciones prácticas que requieren conocimientos, habilidades y actitudes, no sin antes haber pasado por un proceso profundo de razonamiento. Este tipo de preguntas permitirían evaluar conocimientos, habilidades y actitudes de formación política para el ejercicio de la ciudadanía que, incluso después de la alineación de la prueba, no son claramente identificables.