Erika Himmel

 

HACIA UNA CULTURA DE EVALUACIÓN EDUCACIONAL.

Dra. Erika Himmel K.  

(Investigadora y Catedrática de la Universidad Pontificia de Chile)

Esta ponencia tiene el propósito de estimular el debate sobre la “cultura evaluativa”. De esta manera, se presenta en primer lugar, el concepto de evaluación que se utilizará como uno de los ejes de la exposición y los programas nacionales de evaluación de los aprendizajes escolares.. En segundo término, se trata de elaborar la idea de “cultura evaluativa” en el contexto educacional, en general, y respecto de las evaluaciones masivas en particular. A continuación se exponen algunos factores que favorecen o inhiben el desarrollo de una cultura evaluativa, lo que se ilustrará con el caso de Chile. Por último, se examinarán los efectos que puede tener la formación de la cultura evaluativa sobre el sistema educacional, así como sobre el debate político y público, en general.

1.            El concepto de evaluación y los programas nacionales de evaluación del rendimiento.

El concepto de evaluación se convertido en uno de los elementos centrales del discurso educacional actual. No obstante, su significado está lejos de ser unánimemente aceptado y, por tanto, se adoptará una conceptualización para efectos de esta ponencia. Por evaluación se entenderá el proceso de determinar el valor o mérito de un objeto educacional sometido a dicho proceso, cualquiera éste sea. Esto implica la identificación, clarificación y aplicación de criterios o estándares defendibles para determinar el valor o mérito, la calidad, utilidad, efectividad o significación del objeto de la evaluación con respecto a dichos criterios.

El proceso evaluativo emplea métodos de indagación y de juicio, que incluyen:

             la determinación de criterios o estándares para juzgar el valor o mérito, especificando si éstos serán absolutos o relativos;

             la recolección de información relevante y,

             la aplicación de los criterios o estándares para determinar el valor o mérito, la calidad, utilidad, efectividad o significación.

Todo este proceso culmina con recomendaciones que se orientan las acciones necesarias para mejorar la calidad, utilidad, efectividad o significación del objeto evaluativo, que en este caso siempre será de carácter educacional. La evaluación se aplica ahora a aspectos tan variados como los aprendizajes de los alumnos, la competencia de los profesores, la calidad de las instituciones escolares, los planes y programas educacionales, los programas de innovación pedagógica, las reformas educacionales  y la calidad de la educación.

En la presente década  han cobrado especial relevancia los programas nacionales para evaluar los aprendizajes escolares o el rendimiento estudiantil. Esta tendencia encuentra sus raíces en diversos factores que han contribuido a la implantación de estos programas. Por una parte, durante varias décadas, los países centraron todos sus esfuerzos en la expansión de la cobertura de los sistemas educacionales, lo que significó que el énfasis de las políticas educacionales y la inversión en el sector estuvo centrado en los insumos del sistema educacional. En otros términos, se construyeron más escuelas y se contrataron más profesores para ofrecer acceso a la educación a toda la población en edad escolar. Pero una vez que  se logró este objetivo, surgió la necesidad de conocer cuáles eran los resultados del esfuerzo desplegado. Sobre todo, porque en los países en los que el problema de la cobertura ha sido gradualmente resuelto, se ha detectado que la expansión de los sistemas educacionales fue realizada a costas de la calidad del servicio educativo, porque la inversión requerida superaba ampliamente las posibilidades que ofrecían las economías de dichos países, con lo que ha surgido un renovado interés político y público por indagar qué es lo que efectivamente aprenden los alumnos en la escuela.  Esta inquietud se ha visto reforzada por la Declaración Mundial de la Educación para Todos (UNESCO, 1990, párr. 4), que señala “si la expansión de las oportunidades educacionales se traduce o no en desarrollo - para un individuo o para la sociedad- depende en último término de lo que la gente efectivamente aprende como resultado de dichas oportunidades, en otras palabras, depende de la medida en que incorporan conocimientos útiles, habilidad de razonamiento, destrezas y valores.”

Por otra parte, la economía ejerce la presión cada vez mayor sobre la educación, consecuencia del aumento del libre comercio y la competencia entre las naciones, que exige que la mano de obra sea cada vez más calificada para responder al rendimiento y la competividad. De esta manera, se recupera la confianza en la educación como eje para el desarrollo de lo que se ha dado en llamar “capital humano”, que es una de las dimensiones cruciales en desarrollo de las economías. (Kelleghan, 1997; Tiana, 1999).

Asimismo, ha contribuido a impulsar la puesta en marcha de programas de evaluación, el apoyo financiero decidido que los organismos internacionales (BID, OEA, Banco Mundial, por ejemplo) han proporcionado al sector educación y, cuyo impacto sobre el mejoramiento de los sistemas educacionales locales, quieren ver demostrado (Lockhead, 1991).

En este contexto comienzan a ponerse en marcha los sistemas nacionales de evaluación que permiten: proveer información referente al logro de las metas educacionales; identificar variables internas y externas al sistema que explican las desigualdades en los resultados; contribuir a una predicción informada del funcionamiento del sistema en el futuro y, proporcionar indicadores acerca de los rasgos más permanentes del sistema.

Los sistemas de evaluación comprenden, en general, la aplicación de pruebas o test referentes al logro de los aprendizajes esperados en las áreas culturales que constituyen los ejes del curriculum escolar, complementadas en ocasiones, con cuestionarios sobre variables potencialmente explicativas de la variabilidad de los resultados, los que son diseminados entre los agentes educacionales directos e indirectos.

Entre los propósitos señalados más frecuentemente para estos sistemas de evaluación se citan los siguientes (Lockhead, 1996; Greany y Kellaghan, 1996):

·             fundar y evaluar políticas educacionales,

·             evaluar programas educacionales específicos,

·             realizar el seguimiento de los cambios que experimentan los resultados educativos a través del tiempo,

·             responsabilizar a los maestros, las escuelas, regiones y otras subdivisiones administrativas por los aprendizajes alcanzados por los estudiantes,

·             seleccionar y distribuir a los alumnos hacia niveles educacionales superiores,

·             certificar los logros de aprendizaje de los estudiantes,

·             proporcionar datos a los padres y apoderados sobre la calidad de la educación ofrecida por las escuelas y,

·             diagnosticar necesidades de aprendizaje.

Es difícil, si no imposible, que todos estos propósitos puedan ser logrados a través de un sólo sistema de evaluación. Por tal motivo, a menudo coexisten dos o más sistemas con intencionalidades diferentes.

En todo caso, se espera que un sistema o programa que persigue algunos de los propósitos enunciados, contribuya a una mejor comprensión del funcionamiento del sistema educacional, proporcione las orientaciones necesarias para la toma de decisiones de diversos actores en diferentes niveles y, coadyuve al mejoramiento de la calidad del servicio educativo. Esto es, se supone que la evaluación del rendimiento escolar tenga un impacto sobre el propio sistema educacional, más allá de proporcionar información sobre el mismo. Se espera que las informaciones orienten una toma decisiones conducentes a acciones, cuyos efectos a su vez puedan ser evaluados por los propios sistemas, siempre que estos se difundan clara y oportunamente y el programa o sistema tenga una estabilidad en el tiempo.

2.            La “cultura evaluativa”.

El término “cultura” involucra un concepto polisémico y complejo. Más aún, si se le combina con el de evaluación, en el ámbito educacional. Sin un ánimo reduccionista, mas con el afán de llegar una convención para estimular la discusión, se propone entender por “cultura evaluativa” la combinación aditiva de acciones evaluativas formales que se difunden, con el uso de los resultados de dichas evaluaciones para la toma de decisiones y el reconocimiento social de la relevancia de la información evaluativa. En otros términos se propone la siguiente ecuación:

 

Acciones

evaluativas

difundidas

+

Uso de resultados evaluativos

+

Relevancia social de la información

=

Cultura

Evaluativa

Ya se mencionó que las acciones evaluativas pueden tener diferentes ámbitos e interesa, en este caso se ilustrará el concepto de cultura evaluativa, con la evaluación de los aprendizajes de los alumnos.

Dependiendo de cuáles sean los objetivos de un sistema de evaluación del rendimiento escolar, estos pueden tener un impacto en diferentes áreas o sectores, pero a su vez algunos de éstos tienen un efecto sobre el sistema de evaluación. A modo de síntesis, se incluye el siguiente diagrama:

 

De este modo, si un programa de evaluación del rendimiento escolar tiene los objetivos de generar informaciones para fundar y evaluar políticas educacionales y monitorear los resultados educativos, los resultados de la evaluación pueden influir en la propuesta de nuevas políticas educativas, las que incluyan, por ejemplo, reformas educativas. A la vez, es posible que tenga efectos sobre la gestión pedagógica de las escuelas, así como en las decisiones que adopten los maestros con respecto a la conducción del proceso educativo. Por otro lado, la implementación de una reforma educacional puede generar una necesidad evaluativa específica que influya en las características de un programa nacional de evaluación. En otros términos, las diferentes áreas que son influidas por un programa de evaluación, a su vez pueden incidir sobre éste generando nuevas necesidades evaluativas.

Cabe señalar, sin embargo, que estos efectos tienen lugar en la medida que efectivamente se utilicen los resultados de las evaluaciones para la toma de decisiones, lo que es un supuesto que no siempre se cumple. En la literatura especializada diversos autores (Alkin, 1979, 1985; Brown, Newman y Rivers, 1985) reconocen dos formas de conceptualizar el uso las informaciones, estos son: la denominada perspectiva de la corriente principal (mainstream perspective) y la concepción alternativa, que se resumen a continuación.

 La primera postura, concibe el uso como el impacto directo y rápido de la información evaluativa sobre el sistema educacional, programa o, en general, el objeto de la evaluación. Bajo esta concepción, el uso es caracterizado como un evento y no como un proceso, susceptible de ser iniciado desde el momento en que se planifica un sistema de evaluación. De esta manera, se dicotomiza la dimensión del uso en dos categorías extremas: uso versus no uso. Adherir a esta corriente implica presumir que se acepta la utilización de la evaluación, sólo cuando ésta produce efectos tales como: introducción  reformas educacionales inmediatas, cambios de un programa por otro o modificaciones drásticas en las estrategias pedagógicas. Estas acciones radicales no necesariamente ocurren, ya que existe un conjunto de factores que condicionan el empleo de la información evaluativa, que dependen de las características del proceso evaluativo y de los resultados que proporciona. Asimismo, debe considerarse que en la toma de decisiones influyen otros factores, además de los resultados de evaluaciones.

King y Peachman (1984), en un intento de clarificar esta concepción de uso, indican que a la base de ella se encuentran algunos supuestos cuestionables, que son los siguientes:

·             considerar que las decisiones se pueden adoptar de un modo clásicamente racional, sin considerar las variables políticas, sociales y organizacionales que influyen en ellas,

·             entender que la información evaluativa constituye el único factor desencadenante de efectos inmediatos y observables (el mito del big-bang),

·             estimar que la calidad de los informes evaluativos es una condición suficiente para su uso cabal y,

·             juzgar que la colaboración activa entre los evaluadores y los responsables de las decisiones incrementará necesariamente el uso.

Al respecto, se puede mencionar que los gestores del Programa de Evaluación del Rendimiento (PER) que se desarrollara en Chile entre 1982 y 1984 comenzaron la operación del programa precisamente con la adopción de la mayoría de estos supuestos, ya que supusieron erróneamente que, a partir de dicha información, los maestros, directores de escuela y autoridades educacionales, generarían propuestas de acciones a todo nivel, mediante un proceso de autodirección y autocontrol. No obstante en el corto plazo se dieron cuenta de la debilidad de los supuestos mencionados y adhirieron a la concepción alternativa.

Otro ejemplo que ilustra esta postura, se encuentra en Schiefelbein (1992, p.264), quien juzga el impacto del PER sólo a partir de la constatación que los resultados alcanzados por los alumnos en las evaluaciones no mostraron variaciones significativas en un período, señalando lo siguiente: “estos antecedentes muestran que las expectativas, en cuanto a mejoría de los rendimientos académicos, son demasiado altas”.

En cambio, el enfoque alternativo del uso de la información evaluativa, lo concibe como un proceso gradual, en el que dicha información, junto con otros antecedentes, pueden ir generando pequeñas acciones, las que modifican paulatinamente la situación inicial detectada. Bajo esta concepción, el impacto de la evaluación no es inmediato, puede demorarse años y producirse cuando es combinado con otras informaciones contextuales, o bajo distintas circunstancias, lo que redunda en que pueda adoptar significados diversos en distintos tiempos (Braskamp, 1982).

King y Pechman (1984) plantean que se pueden reconocer al menos tres niveles de uso de la información evaluativa:

·             simbólico o persuasivo

·             conceptual

·             instrumental

A estos niveles se puede agregar una cuarta categoría de “no uso instrumental”. La relación entre la producción de datos evaluativos, las informaciones contextuales y su empleo como insumo de la toma de decisiones se sintetiza en el siguiente diagrama: 

Cuando el empleo de los resultados de las evaluaciones se ubica en el nivel simbólico o persuasivo, se utiliza con fines personales. Por ejemplo, los hallazgos de una evaluación pueden ser usados por un director de escuela para justificar su buen desempeño, con lo cual gana un antecedente que aporta a su continuidad en el cargo. Esta modalidad exige un análisis del contexto en que opera, para juzgar adecuadamente las intenciones positivas o negativas subyacentes. En este caso, la evaluación es empleada para justificar ciertas decisiones, más que como insumo de las mismas y, a veces, suele usarse en este sentido por razones político-administrativas.

A su vez puede incluirse en este primer nivel, un efecto de los sistemas de evaluación del rendimiento, ampliamente discutido en la literatura (Greany y Kellaghan, 1996), esto es, la forma en que influyen sobre la enseñanza. De hecho, ninguna aplicación de pruebas externa es neutral y, los maestros, cuando de algún modo perciben la importancia de los resultados de los test, comienzan a orientar el proceso de enseñanza predominantemente hacia los contenidos y objetivos incluidos en las pruebas y comienzan a justificar su forma de abordar el curriculum escolar, a partir de la cobertura de las pruebas.

En cambio, el uso conceptual implica que la evaluación provoque en el usuario una reflexión más detenida acerca del objeto de evaluación, de forma que pueda reconocer que existen aciertos o dificultades para su desarrollo, conduciendo de esta manera a una modificación de sus actitudes. El proceso de cambio actitudinal puede llevarlo en el largo plazo a tomar algunas decisiones muy específicas. Por ejemplo, el director de una escuela puede atribuir los bajos resultados en una evaluación del rendimiento, a una falta de identificación de los alumnos con la escuela. Ante esta conclusión, convoca a los profesores a una jornada de discusión para buscar las causas de esta dificultad. Este ejemplo muestra, que si bien no se han emprendido acciones específicas, la información ha incentivado al usuario a una reflexión sobre el tema, la que después eventualmente se traduce en pequeñas acciones, tales como por ejemplo, encuentros informales entre maestros y alumnos.

Por otra parte, se califica el uso como instrumental, cuando se puede reconocer claramente que las informaciones generadas por la evaluación constituyen la base y el vínculo con decisiones tomadas por un usuario directo de las mismas. Empleando el mismo ejemplo anterior, si el director decide recabar sistemáticamente las opiniones de los alumnos de la escuela acerca de los aspectos que consideran positivos y negativos en la misma, para luego poner en marcha un programa conducente a mejorar la identificación  de los estudiantes con el plantel, estaría utilizando instrumentalmente la información proporcionada por el sistema de evaluación.

Por último, cuando la información ha sido desechada conscientemente por los usuarios, se puede denominar como "no uso instrumental". Si, por ejemplo, el informe de resultados de la evaluación del rendimiento muestra que los alumnos de un municipio han obtenido un desempeño extremadamente bajo en ortografía literal en el cuarto grado y, el departamento técnico pedagógico de dicha instancia, estima que la ortografía literal no es un objetivo educacional fundamental para ese grado; entonces, aunque tome conocimiento del hecho, probablemente no llevará a cabo ninguna acción para mejorar el logro de los aprendizajes del objetivo mencionado.

Al analizar el uso de la información de acuerdo a este modelo, es posible reconocer la presencia de efectos de un sistema nacional de evaluación de los aprendizajes en múltiples acciones, las que no necesariamente implican un mejoramiento rápido de los rendimientos. No obstante, dichas intervenciones pueden llevar en el mediano o largo plazo a una mejora de los aprendizajes estudiantiles

La instalación de una cultura evaluativa implica que se lleven a cabo evaluaciones educativas formales y periódicas, se difundan y se genere una estrategia de difusión de sus posibles usos, ya se trate, por ejemplo, de aprendizajes, o bien, de la competencia profesional de los maestros. Así, también se construye la relevancia social de la información evaluativas.

3.            Factores que facilitan o inhiben el desarrollo de una cultura evaluativa.

Es posible reconocer cuatro factores principales que facilitan o inhiben el desarrollo de una cultura evaluativa. Estos son:

·             la tradición en evaluación del país,

·             las políticas educacionales,

·             la legislación o normativa y,

·             las estrategias y formas de difusión de resultados.

Estos factores pueden actuar en ambos sentidos, ya sea contribuyendo al desarrollo de la cultura evaluativa, o bien, inhibiéndola.

 

 

 

3.1          La tradición en evaluación del país.

Este factor tiene que ver básicamente con el tiempo durante el cual se han estado realizando acciones evaluativas en un país, así como con los recursos humanos calificados disponibles para llevarlas a cabo. En efecto, si durante muchos años se ha intentado realizar acciones evaluativas que involucran grandes masivamente a los alumnos, sus padres y maestros, es más probable que se genere una cultura evaluativa. Esto no necesariamente implica que la evaluación haya sido un componente necesariamente  exitoso, ni tampoco que el esfuerzo desplegado haya sido sostenido durante todo el tiempo. No obstante, tiene como requisito que estas acciones evaluativas en todas las ocasiones sean llevadas a cabo por profesionales competentes y con credibilidad para la opinión pública. En ponencias sobre los sistemas de evaluación desarrollados en Chile, se han mencionado fundamentalmente tres experiencias que tenían a la base este factor facilitador. Estas son el Sistema Nacional de Ingreso a la Educación Universitaria, vigente en el país desde 1967, el Programa de Evaluación del Rendimiento Escolar (PER) realizado entre 1982 y 1984 el del Sistema Nacional de Medición de Calidad  de la Educación (SIMCE) desde 1989 en adelante (Himmel, 1997). A estas iniciativas se puede agregar, en el caso de Chile, otras que han ocurrido en un período mas extenso. Al respecto se puede señalar que los primeros intentos se hicieron a comienzos de la década de 1930. Fueron realizados por un conjunto de educadores que tuvieron la oportunidad de efectuar estudios de postgrado en Europa y los Estados Unidos de Norteamérica y, consistieron en la adaptación y elaboración de numerosas pruebas escolares (aritmética, ortografía, vocabulario, lectura silenciosa y comprensión lectora, historia y geografía y, otras que se administraron a alrededor de 10.000 alumnos. En esta línea también se puede mencionar la Prueba Nacional aplicada entre 1966 y 1968, por un equipo de especialistas del Ministerio de Educación a comienzos de la década del 80. En Colombia, México y Costa Rica, también puede encontrarse un trabajo desde hace unos 30 o 40 años en esta área, efectuado por especialistas y que ha tenido un gran desarrollo en los últimos diez años.

Como puede advertirse, la tradición aporta a la formación de una cultura evaluativa, en la medida en que la actividad es mantenida en el tiempo.

3.2          Las políticas educacionales.

Otro factor que contribuye a la generación de una cultura evaluativa son las políticas educacionales que promueven las acciones evaluativas. Al respecto se puede afirmar que si una política educacional involucra la evaluación, entonces la evaluación ocurre y, eventualmente es utilizada para propósitos de la toma de decisiones. Para ejemplificar este aserto, se emplearán 3 ejemplos. El primero se encuentra en Chile en la Reforma Educacional de 1965, que implicó un cambio en la escolarización mínima, los planes y programas, el enfoque del proceso educativo y la continuidad de los estudios en la educación media. La Prueba Nacional tenía como propósito orientar a los estudiantes que terminaban la educación general básica hacia la educación media general o la educación media técnico-profesional. Por otra parte, la descentralización administrativa del sistema educacional, es el origen al PER y al SIMCE. Sin embargo, es del caso señalar también que en el caso del PER, la política educacional fue formulada e implementada en forma incompleta. Efectivamente, el PER fue concebido más que nada como un sistema de evaluación masiva que desencadenaría acciones de mejoramiento desde la base, que son las escuelas, sin que mediara un apoyo técnico y económico, por parte del Ministerio, que permitiera ejecutar las acciones. Esta carencia fue remediada en el caso del SIMCE, ya que se pusieron en marcha numerosos programas de apoyo a las escuelas cuyos alumnos demuestran los logros más bajos (Himmel, 1997).

3.3          La legislación o las normas.

Un tercer factor, que constituye una dimensión facilitadora de la construcción de una cultura evaluativa se encuentra en la legislación o las normas respecto a la evaluación, ya que legitima la evaluación. Tanto en el caso de la Prueba Nacional, como en el del PER, no hubo una legislación o norma definida que regulara su obligatoriedad, características, periodicidad, etc. En cambio, tanto en el SIMCE, como en el Sistema Nacional de Ingreso a la Educación Universitaria existen disposiciones al respecto. El SIMCE se encuentra oficialmente reconocido en una de las leyes orgánicas sobre educación y el sistema de ingreso está regulado por la normativa del Consejo de Rectores de las universidades que reciben aportes estatales. Además, una parte de este sistema de evaluación, la Prueba de Aptitud Académica, se encuentra vinculada al financiamiento universitario por la legislación vigente. En estos últimos ejemplos se ve que la legislación y(o) la normativa han contribuido a la permanencia y legitimidad de los sistemas de evaluación y, a su vez ésta, al desarrollo de la cultura evaluativa

3.4          Las estrategias y formas de difusión de resultados.

Este último factor tiene un efecto decisivo sobre la formación de la cultura evaluativa. Como se señaló anteriormente, la cultura evaluativa tiene dos componentes, las acciones de evaluación por un lado y el uso de la información, por el otro. En tanto, los dos factores previos actúan principalmente sobre la realización de las acciones de evaluación, éste incide más específicamente sobre el uso de la información producida. En efecto, si la información generada  por los procesos evaluativos no se difunde o se disemina mediante una estrategia equivocada, difícilmente puede ser utilizada en la toma de decisiones.

La diseminación comprende al menos cuatro fases: la información previa al proceso evaluativo, durante el proceso, de los resultados y el seguimiento.

La difusión previa al proceso tiene como propósito informar acerca de los objetivos, características y calendarización del proceso. Es una etapa de sensibilización a los afectados e involucrados por la evaluación. Se puede pensar que, una vez que un programa o sistema de evaluación se encuentra instalado, esta etapa ya no es necesaria. Sin embargo, estos sistemas no son estáticos, sino dinámicos y sufren cambios en el tiempo. Dichos cambios se pueden referir a los contenidos, modalidades, calendarios, poblaciones objetivo, cobertura, etc., de modo que siempre es necesario sensibilizar los afectados e involucrados con respecto estos cambios.

Por ejemplo, en el SIMCE la información durante la etapa anterior al proceso solía consistir en las siguientes acciones:

             Distribución de un tríptico a los establecimientos, cuatro meses antes de al aplicación de las pruebas. En éste se explican los objetivos del SIMCE, se adelantaban las fechas de su aplicación y se anunciaba que posteriormente se proveerían antecedentes más técnicos.

             Envío de un tríptico informativo a los padres de los alumnos . En este tríptico se entrega información acerca de los objetivos del SIMCE, de las fechas de administración de las pruebas y del rol que le corresponde a los padres en este sistema. Su objetivo es el de despertar en los padres el interés hacia el programa, así como su cooperación con los colegios, en la formación de sus hijos.

.            Producción de un video de unos 15 minutos de duración, con un carácter eminentemente motivacional. Este se comienza a diseminar en talleres con los supervisores, los que posteriormente replican esta difusión en los niveles locales a directores y profesores. Sus objetivos principales son: contribuir al desarrollo de una actitud positiva hacia el SIMCE en los diferentes estamentos del sistema educacional; promover sus fundamentos e intencionalidad de manera homogénea para todas las audiencias y, apoyar las actividades de difusión que realizarían los equipos de supervisores a nivel local.

.             El afiche alusivo al SIMCE se distribuye en todos los colegios de Chile y en lugares de la vía pública. En algunos años este afiche contenía un calendario del año.

             Un programa de televisión de difusión nacional, dando amplia cobertura periodística del proceso.

             Los aspectos técnicos se diseminan a los profesores y directores de escuelas a través de un folleto técnico en el cual se detallan los fundamentos del SIMCE; la forma de elaboración de los instrumentos de medición que se emplean y sus características técnicas y, ejemplos de los objetivos y de las preguntas que incluyen en las pruebas. Además se prepara un conjunto uniforme de acetatos para la difusión local, a través de charlas efectuadas por los supervisores.

La información durante el proceso de evaluación tiene como objetivo el de llamar la atención de la opinión pública en general hacia el proceso que se está efectuando. En el SIMCE con el propósito de que los medios de comunicación se hagan cargo de esta difusión normalmente se elaboran comunicados de prensa, que se difunden el día anterior al comienzo de la aplicación de las pruebas. Además, las autoridades superiores del Ministerio de Educación, incluido el Ministro, visitan y se hacen presentes en los locales de aplicación el día de inicio del proceso.

Con respecto a la diseminación de resultados, es necesario advertir que ésta debe ser dirigida específicamente a las diferentes audiencias y, sobre todo, debe ser oportuna. Al respecto, es necesario distinguir, al menos,  entre la información dirigida a las autoridades, los profesores, los padres, los especialistas en evaluación y la opinión pública en general. El tipo de información suministrada a cada audiencia depende del grado de desarrollo de la cultura evaluativa. De esta manera, si dicha cultura se encuentra en una etapa muy incipiente, será necesario proporcionar una información más simple, pero en ningún caso sobresimplificada. En cambio, en la medida que se desarrolla la cultura evaluativa, se puede ir entregando una información cada vez más sofisticada, resguardando de todas manera el nivel de conocimiento que manejan las distintas audiencias. Como el tipo de información que se entrega, también cambia en el tiempo, es necesario incorporar manuales de interpretación al programa de diseminación de resultados y, en el caso de los sistemas de evaluación de los aprendizajes, se requiere además de manuales de orientaciones pedagógicas..

El seguimiento también requiere de un proceso de difusión. Básicamente aquí se trata de difundir las acciones emprendidas por los diferentes agentes para superar resultados deficitarios y monitorear el uso de los resultados. Por ejemplo, en Chile se elaboró un índice de vulnerabilidad educacional a partir de los resultados del SIMCE, este índice ha servido para asignar recursos y apoyo a las escuelas, cuyos alumnos los exhiben resultados más deficitarios. Una de las iniciativas ha consistido en la formulación de proyectos de mejoramiento educativo, formulados por las escuelas a partir de un diagnóstico de necesidades educativas, efectuadas por las propias escuelas. Los resultados de la ejecución de estos proyectos, son difundidos a través de publicaciones y exposiciones.

Es necesario señalar también, que ninguno de los cuatro factores descritos es suficiente por si solo para generar una cultura evaluativa. No basta por lo tanto, que un país disponga de una tradición en evaluación o una legislación que la promueva, o bien, de políticas educativas que la impulsan. Son necesarios todos estos factores y, muy centralmente, la forma o estrategia de difusión, que es la que permite ir educando a los diferentes actores en la cultura evaluativa.

3.4          Efectos cultura evaluativa sobre el sistema educacional, así como sobre el debate político y público, en general.

La cultura evaluativa puede tener un efecto virtuoso y otro vicioso sobre el sistema educacional y, sobre el debate político y público. El efecto virtuoso se produce cuando el servicio educativo mejora, de acuerdo a los consensos nacionales en cuanto a lo que esta mejora implica, traduciéndose frecuentemente en un otorgamiento de prioridad al sector educación y una asignación de mayores recursos. Otro efecto positivo que deriva de la cultura evaluativa es, que los criterios o estándares para juzgar el desempeño de los alumnos se definen cada vez mejor y con expectativas más altas, lo que contribuye a que los educandos incorporen conocimientos útiles y actualizados, mejores habilidades de pensamiento, destrezas más complejas y valores, como se convino en la declaración de UNESCO en 1990. De esta manera se logran mejores recursos humanos, esto es, un “capital humano” cada vez más valioso.

Por otra parte se produce un círculo vicioso cuando los resultados de la evaluación se traducen meramente en un trabajo hacia el logro de lo que el sistema de evaluación respectivo pretende explícitamente. Es claro que ningún sistema de evaluación puede abarcar todos los propósitos y diferentes aspectos del proceso educativo y, por lo tanto, siempre proporcionará una visión parcial. En otros términos, los alumnos aprenden lo que el sistema de evaluación pretende, los directores contratan a los profesores que logran los mejores resultados con sus alumnos y los padres escogen las escuelas de acuerdo a este mismo criterio, para sus hijos, cuando tienen la opción. Este último efecto hace que no se logren las metas educacionales nacionales, si no que solamente las que abarca el sistema de evaluación, pues todo aquello que el sistema o programa no incluye se relega a un segundo plano o simplemente se suprime, ya que es menos importante y, por consiguiente, la educación se torna sesgada y empobrecida.

Con la síntesis presentada, se espera haber logrado el objetivo de estimular el debate sobre la cultura evaluativa, los factores que la promueven y los efectos que puede tener.

Referencias bibliográficas

Alkin, M. (1981) "The Feasability of Measuring Educational Attainment in Chilean Schools." Consultant Report. Santiago, Chile: PER, Informe Nº8.

Alkin, M. C. (1985) A Guide for Evaluation Decision Makers. California, Beverly Hills, USA: Sage Publications.

Alkin, M. C.; Daillak, R. Y White, P. (1979) Using Evaluations: Does Evaluation make a difference?  California, Beverly Hills, USA: Sage Publications.

Braskamp, A. L. (1982) “A definition of use.” Studies in Educational Evaluation. 8, pp. 169-174.

Brown, R. D.; Newman, D. y Rivers L. (1985) “An exploratory study of contextual factors as influences on schoolboard evaluation information needs for decision making.” Educational Evaluation and Policy Analysis, 7, pp.437-445.

Greany, V. y Kellaghan, Th. (1996) Monitoring Learning Outcomes of Education Systems. Washington, D. C., USA: Directions in Development, The World Bank.

Himmel, E. (1997) Impacto Social de los Sistemas de Evaluación del Rendimiento Escolar. En Alvarez, B. Y y Ruiz-Casares, M. Evaluación y Reforma educativa. Informe Técnico 3. U.S.A., AID/AED, pp. 125-157.

Kelleghan, T. (1997) Seguimiento de los resultados Educativos Nacionales. En Alvarez, B. Y y Ruiz-Casares, M. Evaluación y Reforma educativa. Informe Técnico 3. U.S.A., AID/AED, pp. 23-65.

King, J. A. Y Peachman, E. M. (1984) Pinning a wave to the shore: conceptualizing evaluation use in school system. Educational Evaluation and Policy Analysis, 6, pp.241-251.

Lockhead, M. (1996) “International Context for Assessments.” En Murphy, P; Greany, V.; Lockhead, M y Rojas, C. Eds. National Assessments. Testing the System. Washington, D. C.,USA: EDI Learning Resources Series, The World Bank, pp. 9-19.

Lockhead, M.E. (1991) "World Bank support for capacity building: The challenge of educational assessment." Trabajo presentado al International Consultive Forum, Paris.

Schiefelbein, E. (1992) “Análisis del SIMCE y sugerencias para mejorar su impacto en la calidad.” En  Gómez, S. Ed., La Realidad en Cifras. Estadísticas Sociales. Santiago, Chile: FLACSO/INE/UNRISD, pp. 241-280.

Tiana, A. (1999) La Evalualación y la Calidad. Ensaio, Vol. 7, pp. 25-46.

UNESCO (1990) World Declaration on Education for All. Meeting Basic Learning Needs. World Conference on Education for All.

 


 

email: ifiemex@yahoo.com.mx
Av. de la Paz 57, local 35,
San Angel, México D.F.
Tel/Fax: 5550 64 31
Teléfono: 5550 96 19