Instituto de Fomento e Investigación
Educativa, A.C.
INDICE
Página
Introducción
Argentina
Chile
Colombia
España
Estados
Unidos
Francia
México
Programas Internacionales
Reino
Unido
Lecciones Aprendidas y Futuros Desafíos
Bibliografía
Anexo: Una Mirada a los Sistemas de Evaluación de Seis Países
INTRODUCCIÓN
Uno de los
acontecimientos más significativos en el campo de la educación es la
emergencia y consolidación de los llamados sistemas nacionales de evaluación.
Condiciones
que han favorecido la emergencia de los Sistemas Nacionales de Evaluación:
Alejandro
Tiana (1996), tratadista español en el tema, destaca tres condiciones que han
favorecido la emergencia de estos sistemas. Ellas son: 1) el cambio registrado
en los mecanismos de administración y control de los sistemas educativos; 2)
la demanda social de información y rendición de cuentas y 3) un nuevo modelo
de conducción de los sistemas educativos. La primera se refiere a que las
instancias administrativas en los niveles central y regional deben adoptar
medidas que posibiliten a las instituciones educativas mayor autonomía para
dar respuesta a las demandas del entorno sin renunciar a la responsabilidad de
ejercer la función de control que la sociedad les ha encomendado. La segunda,
tiene que ver con el control y gestión participativos que deben ejercer todos
los ciudadanos sobre la educación, es decir, con la "rendición de
cuentas" para vincular la educación al desarrollo, asumir la competencia
creciente y establecer prioridades en la asignación de recursos. La última,
alude a la gestión basada en la información sobre el estado, funcionamiento
y productos del sistema educativo.
Posibles
aportes de los sistemas de evaluación a la mejora de los sistemas educativos:
Entre los
posibles aportes que puede realizar la evaluación para la mejora cualitativa
de la educación se han seleccionado cuatro, considerados los más
significativos: 1) Conocimiento y diagnóstico del sistema educativo; 2)
Conducción de los procesos de cambio; 3) Valoración de los resultados de la
educación; y 4) Mejora de la organización y funcionamiento de los centros
educativos.
Definición
del Sistema Nacional de Evaluación de la Educación:
Un sistema
Nacional de Evaluación de la Educación es un dispositivo administrativo para
la conducción del sistema educativo. Su función es ofrecer información
sobre los resultados de la educación, el funcionamiento de distintos niveles
del sistema, las condiciones que afectan los procesos en las distintas
instancias y el aporte de distintos actores. Esto con el propósito de definir
las políticas educativas, orientar el desarrollo de planes de mejoramiento y
rendir cuentas sobre la respuesta del sistema a las demandas de la sociedad.
ESTATUS JURÍDICO:
La Ley Federal de Educación, sancionada en 1993,
es explícita en cuanto a la necesidad de producir información básica
para la formulación de políticas de mejoramiento de la calidad a través de
la creación de un Sistema Nacional de Evaluación de la Calidad (SINEC)
coordinado por el organismo central e integrado por unidades
jurisdiccionales de las provincias y el Gobierno Autónomo de la Ciudad de
Buenos Aires. El requerimiento de llevar a la práctica un sistema de
evaluación que acredite la calidad de los distintos niveles que constituyen
el sistema educativo formal a escala nacional es un valor compartido por todos
los actores que forman parte de la comunidad educativa.
El artículo 49 instituye que “ la
evaluación de la calidad en el sistema educativo verificará la adecuación
de los contenidos curriculares de los distintos ciclos, niveles y regímenes
especiales a las necesidades sociales y a los requerimientos educativos de la
comunidad, así como el nivel de aprendizaje de los alumnos / as y la calidad
de la formación docente”.
Por último,
el artículo 50 dispone que “las autoridades educativas de las
provincias y de la Municipalidad de la Ciudad de Buenos Aires evaluarán periódicamente
la calidad y el funcionamiento del sistema educativo en el ámbito de su
competencia “.
Mediante el Decreto
506 del 24 de marzo de 1993 se aprueba la organización provisoria del
Ministerio de Cultura y Educación de la Nación. Dentro de esta organización provisoria se crea la Secretaría
de Programación y Evaluación Educativa y, dentro de esta, la Subsecretaría
de Evaluación de la Calidad Educativa de la que dependen la Dirección
Nacional de Evaluación y la Dirección General Red Federal de información
OBJETIVOS DEL SINEC:
Las
metas generales propuestas por el SINEC fueron :
·
realizar análisis de los planteles funcionales de las
instituciones educativas de los niveles primario y medio para derivar tipologías
aptas para la mejor comprensión de los factores que inciden en el rendimiento
escolar;
·
desarrollar instrumentos válidos y confiables para medir el
rendimiento académico en las asignaturas de Matemática, Lengua y Ciencia en
el final de los ciclos de la enseñanza primaria y media;
·
construir y diseñar un conjunto de instrumentos para evaluar
las características del plantel (directivos, docentes y alumnos);
·
realizar una aplicación nacional de carácter muestral
anual;
·
diseñar y ejecutar un programa de difusión del sistema de
evaluación de la calidad;
·
diseñar y ejecutar programas de difusión para el manejo de
resultados;
·
diseñar un programa de investigación sobre áreas críticas
identificadas a partir del análisis de los resultados de la evaluación.
LA ELABORACIÓN DE LOS INSTRUMENTOS DE EVALUACIÓN:
a)
Las
pruebas.
Las pruebas se construyen sobre la base de un análisis
sistemático de los contenidos considerados centrales y básicos en cada una
de las áreas o disciplinas. Por tal motivo, la aplicación de dichas pruebas
proporcionan información sobre el nivel de logros mínimos o básicos
obtenidos por los alumnos en las diferentes disciplinas.
En encuentros nacionales y regionales se acuerda
con las jurisdicciones una tabla - base para cada uno de los cursos la que
establece el punto de partida para construir el conjunto de las pruebas a
aplicar. Estas tablas incluyen los contenidos y las capacidades básicas o mínimas
que se tendrán en cuenta, así como también la cantidad de ejercicios (ítem)
que se incorporarán para cada una de ellas.
Finalmente, se eligen los contenidos que pueden
ser evaluados masivamente en forma escrita. Dichos contenidos cumplen con las
siguientes condiciones:
·
son centrales desde el punto de vista de la disciplina,
·
están presentes en todas las jurisdicciones,
·
tienen alta probabilidad de haber sido enseñados,
·
tienen la posibilidad de ser evaluados en forma escrita,
·
cuentan con la posibilidad de ser evaluados en forma masiva.
b)
La
información complementaria.
En forma complementaria, se administran
cuestionarios a los alumnos, docentes, directores y, sólo en 1993, a las
familias de los alumnos. A través de estos cuestionarios se recaba información
vinculada con la historia académica de los alumnos, las expectativas docentes
respecto a los alumnos, las formas de organización del trabajo docente, las
formas de organización del trabajo en la escuela en su conjunto, etc. Dicha
información tiene por objeto describir algunas recurrencias o características
comunes que contribuyan a identificar y explicar algunos aspectos que inciden
en el rendimiento académico de los alumnos - vale decir, identificar los
factores de efectividad- y de este modo completar la información producida
con la administración de las pruebas.
LA
ESTRATEGIA METODOLÓGICA:
La estrategia propuesta por el SINEC consiste en
medir periódicamente el rendimiento de los alumnos en todos los ciclos y
niveles de la Educación General Básica y media, en las distintas áreas
disciplinares. La decisión de tomar en consideración las áreas de matemática
y lengua se funda en que ellas permiten evaluar la capacidad de
abstracción y razonamiento lógico de los alumnos para su desempeño en la
vida cotidiana. A partir de 1995, se introduce la evaluación de otras áreas
disciplinares tales como las Ciencias Sociales y las Ciencias Naturales.
La estrategia metodológica seleccionada se
orienta, pues, a medir a través de técnicas y procedimientos el rendimiento
de los alumnos del último año de los distintos ciclos y niveles, por un
lado; y, por otro, a correlacionar dicho rendimiento con variables que se
refieren al sistema educativo, a actitudes y valores de los alumnos y a su
medio familiar. Asimismo, permite la construcción de perfiles descriptivos de
docentes, alumnos, estilos de gestión educativa, y participación de la
familia en el proceso de aprendizaje.
En la primera etapa, para la conformación de
este sistema de evaluación de la calidad se han elaborado los siguientes
instrumentos para la recolección de datos:
·
Pruebas de conocimiento de matemática y lengua para alumnos
del último de los niveles primario y medio, con el fin de evaluar los niveles
de logro académico alcanzados.
·
Encuesta a los alumnos con el propósito de averiguar sus hábitos
de estudio y demás actividades vinculadas a la tarea escolar.
·
Encuesta a los directivos de los establecimientos escolares
en los que se ha tomado la prueba de conocimiento, con el objeto de conocer
las características de la institución tanto en lo físico como en los
recursos humanos (docentes) con los que cuenta.
·
Encuesta a los docentes para conocer las técnicas y
motivaciones que orientan su tarea en el aula, así como las características
fundamentales de su carrera docente.
·
Encuesta a la familia de los alumnos destinada a averiguar su
tipo de participación en la escuela y en el proceso de aprendizaje de sus
hijos.
En síntesis, desde 1993, se han
realizado 7 operativos nacionales en 3°, 6°, 7° y 9° año de
la Educación General Básica (EGB) y en el último año de la Educación
Secundaria. Estos últimos con carácter censal en 1997/ 98/ 99. Los demás
con muestras aleatorias y estratificadas, con representatividad nacional y por
jurisdicciones.
Las pruebas
de rendimiento académico evaluaron principalmente LENGUA y MATEMÁTICA.
Se tomaron, también, algunas de CIENCIAS NATURALES y CIENCIAS SOCIALES con
carácter experimental en distintos años y cursos.
Chile ha estado
involucrado desde hace largo tiempo en el desarrollo de evaluaciones
educacionales. Su programa fue concebido en 1978, cuando el Ministerio de
Educación solicitó a la Pontificia Universidad Católica que diseñara e
implementara un sistema de información para la educación. En 1988, con la
transferencia de las escuelas públicas a las municipalidades, el programa
recibió el nombre de Sistema de Medición de la Calidad de la Educación
(SIMCE).
La función del
SIMCE es ayudar al Ministerio de Educación y a las autoridades regionales y
provinciales a supervisar el sistema de educación, a evaluar a las escuelas y
a apoyar la capacitación docente en el servicio. Entre los principales
objetivos del SIMCE podemos mencionar los siguientes:
Asimismo, el
programa evalúa a los niños que cursan los grados cuarto y octavo en las áreas
de español y matemáticas y al 10% de ellos en ciencias naturales, historia y
geografía. También evalúa el desarrollo personal y las actitudes de los
alumnos, las actitudes y antecedentes de los profesores y los padres, y la
eficacia de las escuelas. Las evaluaciones de ambos grados se aplican en años
alternados. A partir de 1991, el Ministerio de Educación se hizo cargo de la
administración del programa.
A contar de
1988, el programa se ha vuelto más eficaz y eficiente, luego de la introducción
de mejoramientos en la capacidad técnica, el sistema de procesamiento
computarizado y la administración. Actualmente, los puntajes se entregan a
las escuelas en forma mucho más rápida y se han simplificado los informes
para asegurar la fácil comprensión de los resultados. Estos esfuerzos
parecen estar teniendo impacto en la planificación pedagógica en muchas
escuelas. Quienes diseñan los currículos y los materiales pedagógicos, por
ejemplo, están dando énfasis al dominio de los objetivos que parecen
ocasionar problemas a los alumnos. Algunos padres están utilizando los
resultados del SIMCE para seleccionar para sus hijos las escuelas que muestran
un mejor rendimiento. El costo del programa es de aproximadamente $5 dólares
por alumno, lo que es comparable con los estándares internacionales.
Los puntajes en
el SIMCE también han constituido la base de un programa pedagógico dirigido
inicialmente a 900 y posteriormente a 1.200 de las escuelas chilenas que
exhiben el peor rendimiento. Las escuelas que participan en este programa han
recibido materiales pedagógicos, bibliotecas, libros, infraestructura y
capacitación docente en servicio. Dependiendo de su condición
Las pruebas del
SIMCE revelan lo siguiente: aquellas escuelas que tienen niños que proviene
de familias pobres y con un bajo nivel de educación o de áreas rurales
obtienen los peores puntajes en las pruebas del SIMCE; las escuelas
municipales públicas y las escuelas rurales obtienen puntajes más bajos que
las escuelas privadas, especialmente aquellas instituciones con una larga
tradición; las escuelas privadas muestran un rendimiento mejor que las
escuelas públicas aun después de controlar el factor del nivel socioeconómico
de los padres y, finalmente, los puntajes de las 900 escuelas muestran un
mejoramiento significativo durante los últimos años.
Entre los
actuales problemas se encuentra el hecho de que, si bien muchas escuelas están
haciendo uso de los resultados del SIMCE con el fin de mejorar las condiciones
locales, aún se espera que sean las autoridades centrales las que inicien las
acciones correctivas. Algunas escuelas han informando un aumento del número
de alumnos provenientes de hogares en situación desmedrada, en un aparente
esfuerzo por mostrar que sus logros relativos (valor agregado) han mejorado.
Las mediciones del área afectiva no han tenido éxito y quizás debieran ser
descartadas. Tal vez también sería apropiado reducir la proporción de
pruebas al universo y recurrir más al muestreo. Finalmente, debido a
problemas técnicos, las posibilidades de
comparación de los resultados de un año son inadecuadas.
En general,
Chile cuenta en la actualidad con el sistema de evaluación más amplio y
mejor administrado de América Latina y el SIMCE ha servido como una poderosa
herramienta para la implementación de un programa de reforma que promueve la
descentralización, la responsabilidad
COLOMBIA
En 1998, el
Ministerio de Educación Nacional se propone establecer el sistema de evaluación
de la educación y para ello realiza una mesa de trabajo en evaluación con la
participación de expertos nacionales e internacionales. Es de destacar las
conclusiones generales:
·
En Colombia existen
algunos desarrollos importantes que aportan elementos valiosos para el diseño
del sistema como son: la Ley General de Educación; la fortaleza conceptual y
operativa del Servicio Nacional de Pruebas del Instituto Colombiano para el
Fomento de la Educación Superior (ICFES); la definición de competencias y
responsabilidades de las entidades territoriales, expresadas en la Ley 60 de
1993; la propuesta de un Sistema Nacional de Evaluación de la Calidad de la
Educación basada en una concepción regional; avances significativos en el
diseño de pruebas de logro y de factores asociados; el diseño de una muestra
maestra nacional que permite aplicaciones periódicas y comparables en el
tiempo; y participación del país en evaluaciones internacionales; es
indudable que subsisten limitaciones significativas frente al reto de diseñar
un Sistema de Evaluación vinculadas con la falta de diseño e
institucionalización y con la consiguiente ausencia en la definición de
funciones y competencias de las unidades de gestión.
·
Es prioritario diseñar
y establecer el Sistema Nacional de Evaluación de la Educación y crear un
organismo con una estructura acorde con las funciones a desempeñar y con
autonomía, que lo administre. Su estructura debe incluir organismos de
consulta, de concertación y de decisión en asuntos de carácter político,
científico y técnico que permitan llegar a consensos, garantizar apertura y
ganar legitimidad, credibilidad y confianza en sus decisiones.
Se
ha trabajado en el campo de la evaluación
de docentes para ingreso al Servicio Educativo Estatal y desde 1997
se ha adelantado bajo la coordinación del Ministerio de Educación Nacional
(MEN), la investigación específica y elaboración de pruebas para evaluar
docentes en ejercicio.
Un
objetivo en el que ha sido fundamental el papel del ICFES es en el de
proporcionar información sobre los logros de los alumnos de la educación básica
y los factores que pueden llegar a explicar estos logros. De esta manera ha
contribuido a la formulación de políticas y al mejoramiento de la toma de
decisiones en educación orientadas a la intervención efectiva para mejorar
la enseñanza y el aprendizaje.
En
este sentido, los resultados de la evaluación educativa y su uso, se
visualizan como una posibilidad cierta de contribuir a garantizar la calidad
de la educación; por ello se sigue prestando el reconocido Servicio Nacional
de Pruebas pero la dependencia encargada de prestarlo toma el nombre a partir
del año 2000 de Subdirección de Aseguramiento de la Calidad.
ESTATUS JURÍDICO
A
partir del año 2000, tras la reestructuración del Ministerio de Educación y
el Instituto Colombiano para el Fomento de la Educación Superior (ICFES) se
ha reglamentado que el MEN dirige el Sistema Nacional de Evaluación de la
Educación y el ICFES lo administra (Decretos 2662/99 Artículo 2º numeral
20; Decreto 088 febrero 2/2000 Artículo 4º numeral 9).
DIFUSIÓN
PÚBLICA DE LOS RESULTADOS:
En noviembre de 1997, el Ministerio de educación Nacional publicó
los cuatro libros que se relacionan a continuación sobre las aplicaciones del
Sistema Nacional de Evaluación realizadas entre 1992 y 1994.
Resultados en las Áreas de Matemáticas y Lenguaje,
dirigido a las autoridades regionales, las instituciones formadoras de
docentes, los centros y grupos de investigación y a los directivos de las
instituciones; en ellos se presentan de manera resumida los marcos
conceptuales de los instrumentos de evaluación, los procesos técnicos para
la obtención de resultados y los resultados nacionales y regionales obtenidos
por los estudiantes en las áreas de lenguaje y matemáticas.
PROGRAMAS
INTERNACIONALES
A)
Estudio Internacional de Cívica y Democracia
Conceptos
Y Objetivos Del Estudio
Colombia
participa desde 1995, junto con 24 países más, en el Estudio Internacional
de Formación Cívica organizado y coordinado por la IEA (INTERNATIONAL
ASSOCIATION FOR THE EVALUATION OF EDUCATIONAL ACHIEVEMENT), Asociación
Internacional para la Evaluación del Logro Educativo.
El
propósito más importante del estudio es identificar y examinar, en un marco
comparativo, cuáles son las formas en que los jóvenes de 14 y 15 años
(grado octavo) y los alumnos de grado 11, se preparan para asumir su papel de
ciudadanos en sus países, además de cómo se inician en los distintos
niveles y tipos de comunidad política.
B) Estudio sobre el Progreso Internacional en Competencia en
Lectura
(Progress
in International Reading Literacy Study – PIRLS)
Colombia
participa actualmente en el Estudio Internacional sobre el Progreso en
Competencia en Lectura (Progress in International Reading Literacy Study -
PIRLS), adelantado por la International Association for the Evaluation of
Educational Achievement (IEA). PIRLS
es un importante proyecto de investigación educativa sobre los logros de los
estudiantes en competencia en lectura, que se adelanta en más de 30 países
de todo el mundo. Está diseñado para medir e interpretar diferencias entre
los sistemas nacionales de educación con el fin de ayudar a mejorar la enseñanza
y aprendizaje de la lectura en todo el mundo.
C)
Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación
El
Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación es
la Red de Sistemas de Medición y Evaluación Educativa de los países de la
región, y un ámbito de discusión y acción técnico-política sobre temas
del aprendizaje, sus variables relacionadas y su traducción en política pública
en educación.
El
respeto y la igualdad, el derecho a la educación y la calidad de la enseñanza
exigen, por parte de las diferentes administraciones estatales y centros
educativos, el cumplimiento de las enseñanzas mínimas legalmente
establecidas. Así pues, el Instituto Nacional de Calidad y Evaluación (INCE)
debe evaluar el grado de adquisición de estos mínimos para los diversos
niveles, etapas, ciclos y grados del sistema educativo.
Las
principales funciones que le corresponden al INCE son:
En
el Real
Decreto 928/1993 se establece la organización básica del INCE,
constituida por un Consejo Rector de carácter decisorio, un Director, un
Comité Científico con carácter consultivo y una plantilla de personal
necesaria para el cumplimiento de sus funciones.
FECHA
DE CONSTITUCIÓN
18
de junio de 1993
FINANCIAMIENTO
MINISTERIO
DE EDUCACIÓN Y CIENCIA
REAL
DECRETO 928/1993, de 18 de junio, por el que se regula el Instituto Nacional
de Calidad y Evaluación.
Artículo
11.
El
Ministerio de Educación y Ciencia asegurará al Instituto Nacional de Calidad
y Evaluación la dotación presupuestaria necesaria para la realización y
coordinación de los trabajos que tiene encomendados. El Consejo Rector podrá
establecer prioridades en la utilización de los recursos disponibles. Para el
desarrollo de los programas establecidos, en el ámbito de las
correspondientes Administraciones educativas, se acordarán, en cada caso, los
criterios que garanticen la disponibilidad de los medios necesarios para su
aplicación.
EVALUACIONES:
Niveles Educativos que evalúa:
La
evaluación del sistema educativo se realiza en dos ámbitos: el que
corresponde al Estado y el propio de las Administraciones educativas con
competencias plenas. El INCE se sitúa en el primero de ellos, siendo
el encargado de evaluar los aspectos del currículo que constituyen las enseñanzas
mínimas establecidas en el artículo
4 de la LOGSE. Por otra parte, el Instituto ha de contribuir
a la elaboración de sistemas de evaluación, a la realización de
investigaciones, estudios y evaluaciones, además de aportar propuestas de
iniciativas y sugerencias que puedan contribuir a la mejora de la calidad de
la enseñanza.
Proyecto
Internacional de Indicadores de los sistemas educativos (INES) de la OCDE;
Proyecto Internacional para la producción de indicadores de resultados
educativos de los alumnos (PISA) de la OCDE y Estudio de centros de Educación
secundaria post-obligatoria.
DESEMPEÑO
DE DIRECTORES:
Diagnóstico
de la función directiva en los centros docentes sostenidos con fondos públicos.
ALCANCE
(NACIONAL O REGIONAL):
Nacional,
pero haciendo uso de las evaluaciones de las Comunidades Autónomas.
MUESTREO
O CENSAL:
Muestreo,
a través de la elaboración de un sistema estatal de indicadores de la
educación.
DIFUSIÓN
PÚBLICA DE LOS RESULTADOS (TOTAL O PARCIALMENTE)
BOE
del 21 de noviembre de 1995
Artículo
28. Instituto Nacional de Calidad y Evaluación.
I.
INTRODUCCIÓN:
Estados Unidos
se encuentra a la vanguardia en el desarrollo de una amplia variedad de
evaluaciones educacionales destinadas a medir el desempeño institucional,
establecer niveles de competencia mínimos para el egreso de la escuela y
establecer puntos de referencia para medir el
En virtud de su
historia y de sus leyes, y en contraste con la mayoría de los países,
Estados Unidos no cuenta con un currículum obligatorio a nivel nacional. Y
dado que la mayoría de los estados sólo entregan pautas generales, cada
distrito escolar tiene considerable libertad para establecer el currículo.
Como resultado, lo que se enseña realmente en la sala de clases varía
enormemente de una escuela a otra y de un distrito a otro, y los alumnos y los
profesores a menudo tienen una noción exagerada del nivel de logro que
obtienen. Debido a estos problemas, las autoridades han hecho un gran esfuerzo
por establecer estándares más sólidos en cuanto a aprendizaje y logros a
nivel de los estados, como asimismo estándares nacionales posiblemente
Cabe señalar
que las dos principales asociaciones gremiales de profesores, especialmente la
Federación Norteamericana de Profesores (American Federation of Teachers -
AFT), han apoyado permanentemente los esfuerzos a nivel nacional y estatal
tendientes al mejoramiento de la evaluación y la calidad de la educación.
II.
NAEP:
OBJETIVOS
DEL CENTRO
El
Centro para la Evaluación Nacional del Progreso Educativo (National
Assessment of Educational Progress - NAEP), es la única entidad que evalúa,
de una manera continua, el conocimiento y capacidades de los estudiantes
norteamericanos.
FECHA
DE CONSTITUCIÓN: 1969
EVALUACIONES:
Niveles
Educativos que comprende:
Grados
4, 8, 11 y 12. Además mide resultados para alumnos en edades de 9, 13 y 17.
RENDIMIENTO
ACADÉMICO DE ALUMNOS
NAEP
evalúa periódicamente el desempeño de los alumnos, tanto actual como el
mostrado en el largo plazo, relativo a lectura, matemáticas, ciencia, gramática,
historia estadounidense, civismo, geografía, artes y otras materias.
En
1990, NAEP adoptó un nuevo formato de información. Además de las escalas de
aptitud que describen lo que los alumnos saben y lo que pueden hacer, NAEP
comenzó a informar los “niveles de rendimiento” que mide lo que los
estudiantes deberían saber y ser capaces de hacer. El propósito era
establecer estándares acerca de lo que los estudiantes deberían saber a una
cierta edad o grado, y no sólo medir lo que ello efectivamente saben.
Las
evaluaciones de NAEP muestran los resultados educativos en diversos niveles:
nacional, estatal y local.
MUESTREO O CENSAL
Muestral, se realizan tanto a nivel nacional como estatal. En 1998,
43 estados participaron en este tipo de evaluaciones de NAEP. Las materias
evaluadas fueron lectura en los grados 4 y 8, así como escritura en grado 8.
Para el año 2000, la meta será que todos los estados participen en las
evaluaciones estatales de matemáticas y ciencia para el 4º y 8º grado.
USUARIOS DE LA INFORMACIÓN SOBRE LAS EVALUACIONES
Encargados del diseño de políticas públicas,
administradores, directores escolares y maestros.
DIFUSIÓN
PÚBLICA DE LOS RESULTADOS:
En
su sitio web y en publicaciones impresas.
FINANCIAMIENTO:
Gobierno
Federal
Desde mediados
de los años ochenta, en Francia se ha desarrollado un sofisticado sistema de
evaluación de los alumnos. Si bien Francia cuenta con un currículum
obligatorio a nivel nacional, las escuelas elementales y secundarias tienen un
alto grado de libertad en el uso de sus fondos y sus técnicas pedagógicas.
La responsabilidad por la supervisión y evaluación de la educación está en
manos de los más de 200 técnicos de la Direction de l’Evaluation et de la
Prospective (DEP), una división del Ministerio de Educación de Francia.
Las principales
autoridades de gobierno están firmemente comprometidas con el establecimiento
de un sistema de medición de los resultados educacionales basado en estándares
claros y en una difusión completa y abierta de los resultados, asegurando de
este modo la independencia de la DEP.
Según el
sistema francés, los estándares de logro esperados se establecen de manera
centralizada y se toman pruebas anuales a todos los alumnos de grados específicos
de la educación primaria y secundaria del nivel inferior. El examen de
bachillerato (egreso) administrado a los alumnos del nivel superior de la
educación secundaria también se utiliza con propósitos de evaluación. La
DEP proporciona retroalimentación detallada y fácil de comprender a todas
las partes involucradas: la opinión pública, los padres, los alumnos, los
profesores y administradores y el Ministro de Educación. El organismo ha
desarrollado también una amplia variedad de materiales
Como ocurre en
todo el mundo, las escuelas de las comunidades más pobres de Francia obtienen
puntajes más bajos que las escuelas que se encuentran en las áreas de mayor
riqueza. La DEP ha intentado identificar las escuelas que se encuentran en áreas
más pobres y están exhibiendo un buen rendimiento con el fin de definir de
mejor manera el “valor agregado” de la escolaridad. Las escuelas que
muestran un rendimiento mejor de lo esperado en base a su población escolar
se definen como escuelas “eficaces”. Estudiando a dichas escuelas, las
autoridades debieran ser capaces de determinar por qué son eficaces y luego
establecer condiciones similares en las escuelas que presentan un rendimiento
más bajo.
En 1970, México
estableció una oficina en la Unidad de Planificación Educacional de la
Secretaría de Educación Pública, que finalmente se transformó en la
Subdirección de Evaluación y Acreditación, con el propósito de estudiar
las características y la calidad del sistema educacional del país. Los
profesionales involucrados llevaron a cabo estudios de aptitud en niños de
sexto grado de la educación básica y establecieron un examen de ingreso a la
educación secundaria.
Durante el período
1976 a 1982, la subdirección investigó el aprendizaje en una muestra
representativa de alumnos que cursaban el cuarto y quinto grado. Los
resultados de esta evaluación aparecieron en publicaciones científicas y
especializadas, no siendo divulgadas de ninguna otra manera, y las autoridades
les prestaron poca atención. En efecto, la información con respecto a la
evaluación se transformó en un “secreto de estado” sólo conocido por un
reducido número de profesionales de la secretaría. Este enfoque dificultó
el desarrollo técnico como asimismo la utilización para el diseño de políticas.
Durante el período
1983 a 1988, en México se desarrolló un examen para egresados de las
escuelas de capacitación de profesores. Posteriormente, en 1989, se tomó la
decisión de aplicar el
En 1994, después
de cinco años de evaluaciones de la calidad de la educación en México, la
Secretaría emitió un informe acerca de los conocimientos y las habilidades
de 480.000 profesores como asimismo el rendimiento de 2,8 millones de niños
de educación básica y secundaria. Sus principales conclusiones fueron que
los niños que habían asistido a la educación preescolar obtenían puntajes
más altos que aquellos que no lo habían hecho; los niños que habían
repetido el sexto grado como asimismo aquellos que estaban trabajando exhibían
un menor rendimiento que aquellos que nunca habían repetido y aquellos que no
trabajaban; los niños que asistían a escuelas urbanas o privadas obtenían
mucho mejores resultados que aquellos que asistían a escuelas rurales y públicas;
los puntajes más bajos se encontraban entre los niños que asistían a
escuelas indígenas y comunitarias, que contaban con instalaciones inadecuadas
y profesores con menor nivel de capacitación, y los niños que obtenían los
mejores puntajes asistían a escuelas urbanas y tenían padres que exhibían
un mayor nivel de educación. Mientras que los niños de primer y segundo
grado obtenían puntajes cercanos a lo que los investigadores y diseñadores
de currículos esperaban, sus puntajes bajaban sucesivamente cada año en términos
del porcentaje de respuestas correctas. Las autoridades mexicanas informaron
también que era imposible medir sistemáticamente el desempeño de los
profesores en la sala de clases, debido a que las poblaciones de alumnos eran
extremadamente diversas y aún existían dificultades técnicas.
De 1995 a 1999,
la SEP ha aplicado exámenes cada año a aproximadamente 600 mil docentes y a
7 millones de alumnos (de tercer grado de educación primaria a tercer grado
de educación secundaria, en casi la totalidad de las escuelas secundarias y
en el universo completo de las escuelas primarias. En este periodo, los
Consejos Técnicos Escolares, encargados de evaluar el desempeño profesional
de los profesores otorgaron, en su gran mayoría, el máximo puntaje a todos
sus docentes evaluados. Lo anterior hace evidente las dificultades que
enfrenta realizar una auto evaluación en los centros escolares sin la
referencia de una evaluación externa.
Por otra parte,
las evaluaciones de maestros y de alumnos poco se han utilizado para apoyar la
toma de decisiones de las autoridades educativas y para apoyar el trabajo
diario de los docentes. Para subsanar este fenómeno, la Dirección General de
Evaluación (DGE) de la SEP inició en 1997 la generación de reportes anuales
para cada entidad federativa, donde se efectúa la medición de la preparación
profesional de los docentes y el aprovechamiento escolar de los alumnos, donde
se indican los resultados y la posición relativa de la entidad de manera
global, por nivel educativo, por tipo de examen y por unidad temática.
Asimismo, la DGE regresa a las escuelas los exámenes aplicados a los alumnos
junto con los siguientes indicadores:
A pesar de lo
anterior, hasta 1999 es aún reducido el número de autoridades educativas que
han incorporado estos resultados para fortalecer sus áreas más débiles,
modificar el formato de sus evaluaciones u orientar mejor los cursos de
actualización de sus profesores.
Por último, se
observa una reticencia por parte de la DGE para informar a los padres de
familia sobre el resultado de estas evaluaciones, bajo el argumento de que
esta acción podría provocar temor y/o aversión entre las autoridades
educativas evaluadas, así como motivar el cambio de alumnos de escuelas de
bajo rendimiento hacia aquellas con mejores resultados. Sin embargo, sería
conveniente reconsiderar la conveniencia de esta medida, ya que la difusión pública
de las evaluaciones contribuye a identificar áreas de oportunidad para
mejorar los procesos educativos, facilita la transparencia en la actuación de
los agentes escolares y provoca una m,ayor participación de los padres en la
educación de sus hijos.
El
acontecimiento más importante relacionado con las evaluaciones
internacionales en los últimos años ha sido el Tercer Estudio Internacional
de Matemáticas y Ciencias (Third International Mathematics and Science Survey
- TIMSS) de la IEA (International Evaluation Association). La IEA es un consorcio de evaluación que opera en todo el
mundo a través de su oficina central en Ámsterdam, Holanda. Es conocida por
sus estudios internacionales de programas de matemáticas, ciencias, lectura,
alfabetización y ciencias sociales. Los programas de la IEA son financiados
por los países participantes.
El TIMSS tiene
como objetivo medir, comparar y explicar el aprendizaje en ciencias y matemáticas
en 41 países. Actualmente se dispone de los resultados de los exámenes de
matemáticas y ciencias para niños de los grados cuarto, séptimo, octavo, y
duodécimo. Además, recientemente, el TIMSS llevó a cabo un innovador análisis
sobre la “oportunidad de aprender” de los niños, que clasifica en categorías
y compara los currículos, los textos escolares y la pedagogía en la sala de
clases entre los 41 países participantes. Dichos análisis demuestran que los
exámenes de rendimiento no deben simplemente concentrarse en la identificación
de los países que obtienen los puntajes más altos o más bajos, sino que
pueden ser utilizados como una herramienta para medir el progreso educacional
de un país, redefinir sus objetivos curriculares y modificar las prácticas
en la sala de clases.
En 1991, once
países latinoamericanos (Costa Rica, Perú, Argentina, República Dominicana,
Colombia, Guatemala, Venezuela, Chile, Ecuador, Brasil y México) asistieron a
una reunión regional preliminar del TIMSS, pero sólo Colombia y México
participaron hasta el final. Además, sólo se informaron los puntajes de
Colombia en la publicación del TIMSS. En el último minuto, México decidió
no permitir la divulgación de sus puntajes. Argentina y República Dominicana
participaron en el análisis de los currículos. La razón de la baja
participación de los países de América Latina (y de todos los países en
desarrollo) parece ser una combinación de falta de recursos técnicos y
financieros adecuados como, tal vez, la preocupación de algunas autoridades
ante la posibilidad de obtener los peores puntajes.
La metodología
del TIMSS permite que quienes desarrollan los currículos y quienes diseñan
las políticas determinen si existe correspondencia entre los currículos, los
textos escolares y la enseñanza y aprendizaje en la sala de clases. Por último,
se repitió la evaluación del TIMSS en 1999.
REINO
UNIDO
ESTATUS JURÍDICO
La Oficina para los Estándares en la Educación (OFSTED),
oficialmente la Oficina del Inspector Principal de su Majestad de las Escuelas
en Inglaterra, fue instalada el 1 de septiembre de 1992. Es un departamento gubernamental no-ministerial,
independiente del Departamento para la Educación y el Empleo (DEE).
PROPOSITO:
El
propósito de OFSTED es mejorar los estándares, el logro y la calidad de la
educación en de escuelas, la capacitación del profesor, el servicio a los jóvenes
y la enseñanza para adultos, a través de la inspección regular, el reporte
público y el consejo informado. OFSTED
también tiene responsabilidad conjunta con la Comisión de Auditoria para la
inspección de las Autoridades Locales de Educación.
La
actividad para la cual OFSTED es más reconocido es la inspección escolar,
actividad donde tiene una responsabilidad estatutaria de informar, a la
Secretaría de Estado de Educación y Empleo, sobre los siguientes temas:
-
la calidad de la educación proporcionada por las escuelas en Inglaterra;
-
los estándares educativos alcanzados por los pupilos en esas escuelas;
-
si los recursos financieros puestos a disposición de esas escuelas están
siendo manejados eficientemente; y
-
el desarrollo espiritual, moral, social y cultural de los alumnos.
Para
satisfacer estos requisitos, OFSTED instaló un sistema del inspección para
asegurarse de que cada escuela pública en Inglaterra sea examinada cada seis
años. Tiene que cerciorarse de
que haya los suficientes Inspectores Registrados (RgIs) disponibles de modo
que puedan someter ofertas y competir por contratos de inspección en los
niveles de educación secundaria, primaria y de educación especial.
OFSTED establece el marco para estos exámenes, recluta y entrena a los
RgIs y a los miembros del equipo, incluyendo inspectores sin experiencia
(lay). Los RgIs y otros inspectores del equipo no son empleados de
OFSTED. Ellos dependen de las
autoridades educativas locales y de firmas privadas que actúan bajo contrato
con OFSTED.
ESTRUCTURA
ORGANIZACIONAL
·
Dirección General
Incluye
al Director de Planeación y Control, a los Directores de Inspección y al
Director de la oficina privada de HMCÍ (Oficina del Inspector Principal de su
Majestad de las Escuelas en Inglaterra).
La Dirección General es responsable del funcionamiento correcto de
OFSTED y del establecimiento de todas las políticas.
·
División de
Contratos:
Es
una de las divisiones administrativas más grandes, con responsabilidad de
contratar el sistema inspección de las escuelas y de que la concesión de
todos los contratos se realice de forma competitiva. La
división debe asegurarse de mantener la eficacia y la eficiencia del sistema
de contratos y de que todas las escuelas están siendo inspeccionadas.
Esta división también se encarga de los contratos para el
entrenamiento de inspectores y de aquellos que se concretan con el sector
privado.
·
División de Calidad
en la Inspección:
Esta
división es responsable de mantener el registro de los inspectores (RgIs), de
los inspectores del preescolar (RgNIs) y del equipo de inspectores sin
experiencia. Asimismo, evalúa el funcionamiento de los inspectores y de
los contratistas; el
entrenamiento de los aspirantes a inspectores, de la acreditación y monitoreo
de los capacitadores; y del
ulterior entrenamiento y desarrollo profesional de los inspectores.
La División también tiene responsabilidad de la evaluación de los
candidatos para todas las categorías del estatus de inspector.
·
División de Educación
No Obligatoria:
Esta
división reporta sobre la calidad, la eficacia y los estándares de las
escuelas que atienden a los jóvenes que van de 16 a 19 años, así como de la
enseñanza para adultos y de la juventud que trabaja;
sobre el uso del financiamiento a los organismos de jóvenes
voluntarios; sobre la calidad y
difusión de la orientación vocacional; así como de las labores educativas
en las prisiones.
·
División de Educación
Preescolar y Primaria:
Esta
División inspecciona y proporciona consejo sobre la calidad de la educación
y sobre los estándares mínimos que deben lograr los alumnos de estos grados
escolares.
·
División
Internacional y de Investigación (RAI):
OFSTED
tiene la base de datos educativa más grande en el mundo y ésta División la
maneja y administra. Dicha información es generada por las inspecciones de
RgI. Esta División emprende proyectos de investigación usando la información
de la base de datos y prepara análisis estadísticos como servicio para otras
divisiones de OFSTED. RAI también
prepara Reportes de Indicadores Escolares y de Contexto Pre-Inspección,
mismos que analizan estadísticas para proporcionar información a los
inspectores sobre la escuela que será inspeccionada.
·
División de Mejora
Escolar (SID):
Esta
División aconseja a las autoridades educativas sobre escuelas que han
mostrado bajo rendimiento, así como su posterior desempeño cuando se hallan
sujetas a provisiones especiales. SID se
comunica con aquellas autoridades apropiadas, con las Autoridades
Locales Educativas y con las asociaciones de educación encargadas de mejorar
el desempeño de este tipo de escuelas. Esta División es la encargada de
corroborar la validez del juicio de los RgIs' acerca de que una escuela
efectivamente requiere sujetarse a medidas especiales.
La división identifica escuelas con debilidades serias y las examina
para controlar cómo están remediando sus debilidades.
Por último, esta División es responsable de los planes de acción,
vigilando las mejoras resultado de la inspección y los vínculos con sus
directores y los padres de familia.
·
División de Educación
Especial:
División
que reporta sobre los estándares y la calidad de escuelas especiales
pertenecientes a los sectores que reciben financiamiento público y a las
escuelas independientes, así como también sobre los establecimientos
pertenecientes a Servicios Públicos.
·
División de Educación
y Capacitación a Maestros:
Esta
División examina y reporta sobre el entrenamiento inicial de profesores, los
cursos de inducción para nuevos profesores y de la capacitación en el
trabajo. Asimismo, formula
recomendaciones sobre políticas referentes a la evaluación del profesor, su
remuneración, condiciones de su servicio de enseñanza y cuando el número de
maestros requeridos es insuficiente.
Resumen de
la experiencia en seis países
Chile y
Argentina cuentan con los sistemas de evaluación más amplios y mejor
administrados de América Latina. Chile ha demostrado también el mayor
compromiso de largo plazo con el desarrollo de evaluaciones. Si bien Chile y
Argentina han hecho los mayores avances en la utilización de las evaluaciones
en el área del diseño de las políticas, la reforma curricular y el
mejoramiento de las escuelas, aún quedan muchos aspectos que mejorar incluso en
estos países. En particular, aún no se han establecido objetivos de
aprendizaje claros a nivel nacional y sólo recién se están iniciando
esfuerzos sistemáticos por “compatibilizar” el currículum, los textos
escolares y la pedagogía utilizada en la sala de clases. Chile y Argentina
también han hecho avances en la integración de las evaluaciones en un sistema
amplio de supervisión y evaluación.
Entre los
principales problemas que requieren atención se encuentran la renuencia de México
a divulgar los resultados de las evaluaciones, el enfoque “intermitente” de
Costa Rica con respecto a las evaluaciones y el excesivo número de pruebas
aplicadas; y el lento progreso de Brasil en la utilización de las evaluaciones
para la reforma de los currículos y las políticas. Con excepción de Costa
Rica, los seis países analizados en este trabajo han utilizado preguntas de
selección múltiple más que preguntas de rendimiento o de interpretación
abierta.
Otro punto que
debe tomarse en cuenta es que los seis países informaron resultados similares en
los exámenes. En particular, los alumnos que cursaban los últimos años de la
educación básica y aquellos que asistían a la educación secundaria
obtuvieron puntajes muy por debajo de las expectativas de los educadores e
investigadores profesionales. Los estudiantes con los mejores puntajes provenían
de escuelas urbanas y privadas y tenían padres con un mayor nivel de educación.
Pocos países de la región han emprendido análisis multivariados detallados de
estos resultados con el fin de identificar sus causas. Si bien diversos estudios
han mostrado una correlación entre los profesores mejor capacitados y un mejor
rendimiento de los alumnos, la mayoría de estos estudios no controlaban el
factor del nivel socioeconómico de los alumnos o la ubicación de la escuela lo
suficientemente como para confirmar la importancia de la educación de los
profesores. Además, aún existe poca información con respecto a si los niveles
de rendimiento de los alumnos han cambiado a través del tiempo.
Entre las
innovaciones importantes en la región se incluye el intento de Brasil de
evaluar las instituciones de educación superior; las evaluaciones de la
capacidad de aprendizaje efectuadas en Costa Rica entre los niños que entran a
la educación primaria y sus exámenes para los alumnos que terminan la educación
secundaria; las evaluaciones aplicadas en México para medir los conocimientos y
habilidades de los profesores; el énfasis dado en Colombia a la investigación;
el uso que se hace en Chile de las evaluaciones para orientar la asignación de
recursos y los esfuerzos de Argentina por utilizar las evaluaciones para la
reforma curricular. El programa UNESCO/OREALC también constituye una importante
innovación que tendrá mayor impacto a medida que se vaya aumentando la
coordinación con las instituciones como la IEA.
En general,
entre las principales lecciones aprendidas y desafíos para el futuro se
incluyen los siguientes: (a) la importancia de un consenso nacional y un
compromiso de largo plazo; (b) la importancia de centrarse explícitamente en el
uso de las evaluaciones como herramientas para mejorar el aprendizaje; (c) la
necesidad de generar capacidades y competencia técnica y (d) la necesidad de
obtener beneficios de los adelantos e innovaciones provenientes tanto de América
Latina como de otras regiones, especialmente a través de programas de pruebas
internacionales como los de la IEA.
Generación
de consenso y compromiso
Generación
de un consenso nacional.
Tal vez la
lección más importante a la fecha es que la necesidad de llevar a cabo
evaluaciones ya no debiera ser un tema de debate en los países de América
Latina. Por el contrario, estos países necesitan establecer objetivos
educacionales, determinar si los niños, las instituciones y los sistemas
escolares están cumpliendo sus objetivos y, luego, establecer programas
tendientes a asegurar que dichos objetivos se cumplan finalmente. Las
evaluaciones no servirán para mejorar la calidad de la educación a menos que
todos concuerden en la importancia de mejorar la calidad y en la necesidad de
informar los resultados de las evaluaciones de una manera amplia, oportuna y fácilmente
comprensible a todos los participantes en el proceso (es decir, de manera
“transparente”). Este consenso debe representar una coalición entre los
profesores, los padres, los administradores y los líderes empresariales y políticos.
Debe persistir en el tiempo y contar con el respaldo de las más altas
autoridades de gobierno; sin embargo, sus decisiones no se deben ver influidas
por los compromisos políticos. Los programas de evaluación deben ser llevados
adelante con decisión y no se debe permitir que sean suspendidos y luego
reiniciados en forma intermitente (como en el caso de Costa Rica) ni que sus
resultados sean ocultados a la opinión pública (como en el caso de México).
Integración
de los profesores en el proceso
de evaluación.
Es preciso
incluir a los profesores en el proceso de evaluación desde el comienzo si se
desea que las evaluaciones tengan impacto en la educación. En América Latina,
las asociaciones gremiales de profesores tienden a ser observadores pasivos o
incluso a oponerse a las evaluaciones. Es preciso convencerlas de que el hecho
de adoptar un enfoque más profesional con respecto a su trabajo, perfeccionar
los procesos de la sala de clases y participar cabalmente en todos los programas
de evaluación va en su propio interés. Las asociaciones gremiales no deben
temer que
Un enfoque
sistémico.
Un compromiso
con la transparencia también requiere un enfoque sistémico para abordar la
supervisión y la evaluación. Al respecto, debe entenderse que las evaluaciones
sólo miden el rendimiento de los niños y es poco lo que nos dicen acerca de la
magnitud y las causas de la deserción. Otras herramientas para medir el
rendimiento de los alumnos y del sistema son las siguientes: estudios de la
deserción y la repetición, mediciones de los insumos escolares y estimaciones
de los recursos mínimos que cada escuela debiera tener, observaciones sistemáticas
de los procesos escolares y estudios del desempeño de los egresados de las
escuelas en el mercado laboral.
Usos de las
evaluaciones
El mayor desafío
para el futuro en América Latina será asegurar que las evaluaciones se
utilicen precisamente como herramientas para mejorar la calidad de la educación.
Las evaluaciones pueden influir en muchos elementos del sistema educacional,
incluidas las políticas educacionales
Refuerzo de
la “compatibilización”. Por
sobre todo, las evaluaciones pueden ayudar a los países de América Latina a
lograr una mayor compatibilización del currículum que se pretende aplicar, el
currículum que realmente se aplica, los textos escolares, los conocimientos de
los profesores, la pedagogía en la sala de clases y el aprendizaje. Los ajustes
resultantes permitirán establecer objetivos más altos pero factibles, mejorar
la capacitación docente y la pedagogía, y asegurar que el currículum revisado
sea aplicado en la práctica. Esto requerirá un gran trabajo de análisis,
difusión y capacitación. Con una buena retroalimentación y recursos, las
evaluaciones podrán ser utilizadas directamente como una herramienta para
mejorar la enseñanza y el aprendizaje. Argentina ha hecho los mayores avances
en este proceso a la fecha.
Orientación
de los recursos.
Dada la gran disparidad en los logros educacionales en América
Latina, las evaluaciones deben ser utilizadas para canalizar los recursos
adicionales hacia las escuelas más necesitadas de la región, particularmente
aquéllas que se encuentran en las áreas rurales y en los barrios más pobres
de las zonas urbanas. Dicha actividad puede llevarse a cabo siguiendo el modelo
del “Programa de las 900 escuelas” aplicado en Chile, que está explícitamente
dirigido al mejoramiento del rendimiento de las escuelas que han obtenido los
peores puntajes.
Estímulo a
un mejor rendimiento en las escuelas.
Las evaluaciones deben proporcionar información útil a las
escuelas, padres y profesores. Esto requerirá, entre otros elementos,
determinar el “valor agregado” de la escolaridad, identificando aquellas
escuelas que obtienen un puntaje mayor que el esperado en atención a los
antecedentes socioeconómicos de los alumnos, como se hiciera en Francia, o
midiendo el grado de mejoría en los puntajes de las escuelas en períodos
sucesivos. Estos enfoques conducen a un reconocimiento y recompensa de las
escuelas “eficaces” y motivan a las demás escuelas a reproducir las
características de dichos establecimientos. Este enfoque elimina también el
sesgo en contra de las escuelas que se encuentran en barrios pobres. Hasta la
fecha, Chile es el país que más ha avanzado en el reconocimiento y estímulo a
dichas escuelas.
Creación de
capacidades y competencia técnica
Fortalecimiento
de las instituciones independientes.
En la mayoría
de los países de América Latina, sería muy difícil para el gobierno central
implementar un programa de evaluación directamente en el largo plazo, como se
hizo en Francia. Entre los obstáculos a un sistema de ese tipo se encuentran
los posibles conflictos de intereses, los sueldos insuficientes y los
procedimientos de contratación y administración inflexibles. Una estrategia más
apropiada para la región sería fomentar la creación de organismos de pruebas
competentes independientes del gobierno, manteniendo un organismo gubernamental
pequeño, especializado y altamente eficiente en la función de supervisar
dichas actividades. Colombia parece haber desarrollado una sólida asociación
de este tipo entre el sector público y el sector privado.
Garantía de
conocimientos especializados adecuados e investigación de apoyo.
Si se desea que
las evaluaciones sean eficientes como herramientas para medir lo que se pretende
que midan, se requiere un alto nivel de conocimientos especializados. De lo
contrario, es muy fácil que presenten deficiencias: puede que no discriminen
adecuadamente entre los que aprenden; la comparabilidad de un año al otro puede
verse afectada; las escuelas y regiones pueden engañar; el marco de la muestra
puede ser inexacto, con lo cual toda la evaluación puede resultar inútil; técnicas
analíticas más sofisticadas pueden mostrar que las supuestas relaciones
“causales” son falsas. Muchos de estos problemas ya han sido detectados en
las evaluaciones hechas por los países. Por lo tanto, es esencial capacitar y
remunerar adecuadamente a expertos en evaluación de currículos, metodología
de estudios muestrales y técnicas analíticas. Como se ha hecho en Jordania, es
importante consultar a las autoridades más conocidas y respetadas del mundo en
el área de las evaluaciones, ya que no existe una metodología “regional”
de pruebas. Los gobiernos y fundaciones también necesitan fomentar centros de
postgrado de excelencia en el área de la docencia y la investigación en la
región. En especial, existe la necesidad de apoyar las investigaciones
independientes basadas en los datos de las evaluaciones, que constituyen una
rica fuente de información sobre todos los aspectos de la educación
relacionados con los alumnos, los profesores y las escuelas. Para obtener los
mejores resultados, estas investigaciones deben basarse en las técnicas analíticas
más modernas. Otro aspecto igualmente importante, es que los investigadores
como asimismo quienes diseñan las políticas deben estar de acuerdo en los
objetivos de las investigaciones y estar dispuestos a divulgar los resultados
aun si éstos son ambiguos o negativos.
Nuevos
enfoques
Participación
en los programas de evaluación internacionales.
El TIMSS ofrece
a los países de América Latina una enorme oportunidad para el establecimiento
de estándares, la compatibilización de los currículos y los textos escolares,
el perfeccionamiento del profesorado y los avances en el aprendizaje. Toda la
región puede obtener beneficios de los conocimientos especializados y la
metodología del TIMSS. Actualmente, la IEA tiene planes de duplicar el TIMSS en
1999. Chile y Brasil ya han expresado su intención de participar. Los países
latinoamericanos podrían también participar en el nuevo programa de educación
cívica de la IEA, que será particularmente importante por los aspectos
relacionados con el fortalecimiento de la sociedad civil en la región.
Actualmente, Chile y Colombia están comprometidos con el estudio relativo a la
educación cívica. Como alternativa, los investigadores del TIMSS podrían
llevar a cabo un análisis de los currículos en los textos y las pautas
curriculares y compararlos con los currículos aplicados en otras regiones del
mundo. También podrían hacer el intento de determinar si los exámenes
nacionales y otros son compatibles con el currículum nacional que se pretende
aplicar. La metodología del TIMSS ya ha sido utilizada para analizar el
contenido curricular, los textos escolares y la pedagogía en Argentina,
Colombia, México y República Dominicana. Es posible solicitar asistencia técnica
en cualquiera de estas actividades tanto a los profesionales internacionales
como a los investigadores regionales del TIMSS.
Método
basado en el universo versus método basado en una muestra.
Antes de
emprender una evaluación del universo, los países deben estar conscientes de
que ésta es una tarea de alto costo y que requiere una administración
minuciosa por parte de profesionales competentes. También se necesita un
sistema de retroalimentación detallado y apoyo a las escuelas. En Chile, el
costo de la aplicación de pruebas al universo es de aproximadamente $5 dólares
por alumno, lo que representa aproximadamente el 2% de los costos unitarios
totales. Incluso esta reducida cantidad puede ser difícil de justificar en los
países con graves restricciones fiscales y que carecen de fondos para material
pedagógico. En comparación, los estudios muestrales cuestan menos, pero pueden
proporcionar información suficiente para el establecimiento de políticas
nacionales y para la identificación de los problemas de compatibilización
entre el currículum, los textos escolares y la enseñanza. Sin embargo, estos
estudios requieren precisas técnicas de muestreo y una administración
rigurosa. Siempre que sea posible, los países de América Latina también deben
utilizar los exámenes de selección existentes para efectos de evaluación.
Pruebas de
rendimiento.
En los últimos
años, Estados Unidos ha ido incorporado cada vez más las preguntas de
interpretación abierta en sus pruebas de rendimiento, en tanto que Europa se ha
26.concentrado en mejorar la confiabilidad y validez de los instrumentos de
medición. Por el contrario, la mayoría de los países de América Latina todavía
favorecen las evaluaciones del tipo “selección múltiple”. Los países de
la región debieran por lo menos explorar los enfoques más nuevos con respecto
a las pruebas. Sin embargo, no podrán hacerlo si aquéllas personas que
califican las pruebas no cuentan con una cabal capacitación en los
procedimientos pertinentes.
Exámenes de
competencia mínima.
Puede que los
países de América Latina deseen considerar la aplicación de “exámenes de
competencia mínima” para el nivel secundario. Estos ya han sido desarrollados
en algunas partes de Estados Unidos y en Costa Rica, como una manera de
estimular el aprendizaje. Este tipo de exámenes serían especialmente
apropiados para los países descentralizados de gran tamaño, como Brasil.
Opciones
para los países más pequeños y más pobres.
Los países más pequeños y más pobres simplemente no cuentan con
los conocimientos técnicos especializados ni los recursos necesarios para
implementar un sistema de evaluación en forma sostenida. Como lo sugiere la
experiencia de Costa Rica, los conocimientos especializados locales pueden ser
insuficientes. Por lo tanto, los países más pequeños deberían emprender sólo
un mínimo de pruebas (por ejemplo, sólo matemáticas e idioma) en unos pocos
grados. Otra opción es operar en consorcios (compuestos, por ejemplo, por los
países centro-americanos), hacer uso de los programas internacionales y
aprovechar la asistencia técnica regional (por ejemplo, de Chile y Argentina).
Cooperación
regional.
Para fortalecer el proceso de coordinación regional, será necesario desarrollar vínculos más estrechos con la IEA y con los principales centros de investigación y desarrollo del mundo en el área de las pruebas y evaluaciones, junto con establecer una amplia participación, que incluya las instituciones no gubernamentales, en los foros y comités regionales. También son necesarios los esfuerzos a nivel regional para: analizar los resultados de las evaluaciones de la UNESCO/OREALC de manera de identificar los factores asociados a un alto rendimiento, comprender las interacciones entre los objetivos curriculares y el aprendizaje a través de la medición de las “oportunidades para el aprendizaje” y, lo que es más importante, identificar y apoyar los centros regionales de excelencia dedicados a las pruebas, las mediciones y las investigaciones educacionales.
·
Estados Unidos. 2000. Centro para la Evaluación Nacional del Progreso Educativo
(National Assessment of Educational Progress - NAEP).
http://nces.ed.gov/nationsreportcard/site/
ANEXO: Una
Mirada a los Sistemas de Evaluación de Seis Países
|
Argentina |
Brasil |
|
Fecha
de la primera evaluación: 1993. Fecha
del programa de evaluación más reciente: 1995. Grados
evaluados (programa más reciente): Grados
2,3,5 y 7 en educación primaria. Materias
evaluadas: Matemáticas
y lectura y, en el 7º grado, también ciencias naturales y sociales. Muestra
o universo: Universo
de estudiantes. Resultados
importantes: Las
preguntas se seleccionaron en base a los niveles mínimos esperados, pero
los escolares respondieron sólo el 50% de las preguntas correctamente;
los factores escolares representaron el 40% de la varianza asociada a los
puntajes en matemáticas. Tipos
de investigaciones realizadas: Correlaciones
simples y tabulaciones cruzadas. Información
disponible acerca de los costos: — Elementos
técnicos de interés: Selección
múltiple e interpretación abierta. Estructura
institucional: Administrado
por el Ministerio de Educación, pero dado en contrato a diversas
instituciones privadas. Retroalimentación: Programa
amplio que entrega información acerca del rendimiento escolar, los
perfiles de los alumnos, los profesores y los modelos administrativos
asociados al rendimiento; identifica el contenido con mayor dificultad e
incluye recomendaciones para mejoramientos en la pedagogía. Impacto
sobre las políticas: Manuales
metodológicos para mejorar el aprendizaje como asimismo capacitación en
el servicio basada en los resultados de las pruebas distribuidos a todas
las escuelas; asistencia técnica entregada a 24 estados. Aspectos
políticos y otros: — Relación
con programas de evaluación internacionales: Participó
en el análisis de currículos del TIMSS y emprendió estudios demasiado
tarde como para ser incluidos en el informe; ha entregado asistencia técnica
a Bolivia y Paraguay. |
Fecha
de la primera evaluación: 1990. Fecha
del programa de evaluación más reciente: 1995. Grados
evaluados (programa más reciente): Grados 4
y 8 de la educación primaria y grados 2 y 3 de la educación secundaria
(además, Brasil ha iniciado un programa de evaluación de todos los
estudiantes universitarios). Materias
evaluadas: Matemáticas
y lectura. Muestra
o universo: Muestra
de 90,499 alumnos de 2,289 escuelas públicas y 511 escuelas privadas. Resultados
importantes: Los
escolares generalmente obtuvieron puntajes muy por debajo de los niveles
de aprendizaje esperados definidos por los profesores, investigadores y
especialistas; los puntajes más altos se observaron en el sur del país,
en las ciudades capitales, en las escuelas urbanas y privada
y en las escuelas diurnas de jornada completa; los estudiantes más
jóvenes, los estudiantes blancos y orientales y los estudiantes con
profesores con mayor capacitación obtuvieron los mejores resultados. Tipos
de investigaciones realizadas: Correlaciones
simples y tabulaciones cruzadas. Información
disponible acerca de los costos: — Elementos
técnicos de interés: Selección
múltiple. Estructura
institucional: Administrado
por el Ministerio de Educación, pero dado en contrato a diversas
instituciones privadas. Retroalimentación: Los
informes fueron puestos a disposición de la prensa, pero no fueron
utilizados por las escuelas mismas. Impacto
sobre las políticas: A la
fecha no se ha tomado ninguna decisión específica sobre la base del
programa de evaluación. Aspectos
políticos y otros: No se
han considerado en forma adecuada los usos de los resultados de las
evaluaciones en el área de las políticas, tales como la concentración
en las escuelas con peor rendimiento. Relación
con programas de evaluación internacionales: Participó
en el estudio de la IEA en matemáticas y lectura en 1993 y tiene planes
de participar en el TIMSS-R (1999). |
|
Chile |
Colombia |
|
Fecha
de la primera evaluación: 1981. Fecha
del programa de evaluación más reciente: 1991-96. Grados
evaluados (programa más reciente): Grados 4
y 8. Materias
evaluadas: Lectura y
aritmética en los grados 4 y 8: muestra del 10% en ciencias naturales,
historia y geografía. Muestra
o universo: Principalmente
universal, excepto lo observado anteriormente. Resultados
importantes: Los
resultados continúan mostrando un bajo rendimiento en las escuelas públicas
municipalizadas y en las escuelas rurales. Alta correlación entre el
nivel socioeconómico y el rendimiento; se han producido significativos
mejoramientos en los puntajes en las escuelas participantes en el programa
de “900 escuelas” que se concentra en las escuelas con peor
rendimiento. Tipos
de investigaciones realizadas: Correlaciones
simples y tabulaciones cruzadas; trabajo analítico más sofisticado
actualmente en curso. Información
disponible acerca de los costos: US$ 5 por
estudiante evaluado. Elementos
técnicos de interés: Selección
múltiple hasta ahora; se considera la introducción de más preguntas de
rendimiento, interpretación abierta y ensayo; se está revisando el método
estadístico para asegurar una mayor confiabilidad de un año al
siguiente. Estructura
institucional: La
capacidad de pruebas ha sido creada por el Ministerio de Educación más
que por un organismo autónomo. Retroalimentación: Los
informes están siendo constantemente simplificados y ajustados a
receptores específicos, especialmente a nivel de las escuelas; los
directores de las escuelas, los profesores y los padres utilizan los
resultados de las pruebas; algunos padres utilizan los resultados de las
pruebas para seleccionar las escuelas; los diseñadores del currículum
vitae nacional están utilizando los informes para revisar el currículum. Impacto
sobre las políticas: Los diseñadores
del currículum están dando énfasis al dominio de las materias en las áreas
de debilidad; se ha continuado con los programas pedagógicos dirigidos a
las escuelas de peor rendimiento (programa de “900 escuelas”). Aspectos
políticos y otros: El
programa está tan institucionalizado que se están volviendo más
importantes aspectos de “segundo orden”; por ejemplo, los profesores
podrían estar “enseñando con miras a la prueba” de manera exagerada
y las escuelas podrían no estar considerando el nivel de pobreza de los
estudiantes. Relación
con programas de evaluación internacionales: Ninguna
directamente hasta el momento, pero existen planes de participar en el
TIMSS-R. |
Fecha de la primera evaluación: 1990. Fecha del programa de evaluación más reciente: 1994. Grados evaluados (programa más reciente): Inicialmente los grados 3 y 5 y posteriormente los grados 7
y 9. Materias evaluadas: Inicialmente matemáticas y lectura; posteriormente, también
ciencias naturales y sociales. Muestra o universo: Sólo muestra. Resultados importantes: Los niveles cognitivos de los alumnos de los grados 3 y 5
son bajos comparados con las expectativas, especialmente en el área de
las habilidades críticas y reflexivas. Los mejores puntajes se obtienen
en las escuelas urbanas y privadas, entre quienes han asistido a la enseñanza
preescolar, no han repetido, tenían libros en sus casas y tenían padres
con niveles de educación relativamente altos; los alumnos de clases con
profesores con mayor nivel de educación, disponibilidad de textos
escolares, docentes de sexo femenino, de la escuela nueva y de escuelas
completas obtuvieron mejores resultados. Tipos de investigaciones realizadas: Correlaciones, tabulaciones cruzadas y algún análisis
multivariado. Información disponible acerca de los costos: — Elementos técnicos de interés: Selección múltiple. Estructura institucional: Empresa conjunta entre el Ministerio de Educación, el
Instituto Ser, la Universidad Nacional de Profesores y el Centro de
Estudios Sociales. Retroalimentación: Los informes y resúmenes de las investigaciones están
disponibles pero no son útiles para la mayoría de las escuelas y
municipalidades debido a la base de la muestra. Impacto sobre las políticas: La Ley de Educación de 1994 incorpora los resultados de
las evaluaciones tales como la concentración en la educación preescolar,
la educación de los profesores y los textos escolares. Aspectos políticos y otros: Se considera que la expansión al universo sería demasiado
cara y superaría las capacidades institucionales, pero se ampliará la
muestra de manera de entregar más información a las escuelas y regiones
evaluadas. Relación con programas de evaluación
internacionales: Pleno participante en el TIMSS con información de los
resultados; tiene planes de participar en el estudio de ciencias sociales
de la IEA. |
|
Costa Rica |
México |
|
Fecha
de la primera evaluación: 1987. Fecha
del programa de evaluación más reciente: 1993-97. Grados
evaluados (programa más reciente): Grados
1,3,6,9,12. Materias
evaluadas: Grado 1,
capacidad de aprendizaje; grados 3, 9, 12, todas las materias; también
muestras sobre las capacidades cognitivas y físicas en diversos grados. Muestra
o universo: Principalmente
universo, con excepción de las capacidades físicas y cognitivas y la
capacidad de aprendizaje. Resultados
importantes: Aún no
se encuentran disponibles para las pruebas actuales; los resultados
anteriores mostraban que los alumnos tenían un rendimiento muy inferior
al esperado en comparación a los objetivos del currículum nacional; los
alumnos de las escuelas privadas, urbanas y académicas obtuvieron los
mejores resultados. Los alumnos obtuvieron puntajes progresivamente peores
en comparación con los objetivos del currículum a medida que aumentaba
su tiempo de permanencia en la escuela. Tipos
de investigaciones realizadas: Tabulaciones
cruzadas simples. Información
disponible acerca de los costos: US$1,50-US$7,50
por alumno evaluado en 1991. Elementos
técnicos de interés: Principalmente
selección múltiple. Estructura
institucional: Se está
probando actualmente una empresa de cooperación entre el Ministerio de
Educación y el IIMEC en la Universidad de Costa Rica. Retroalimentación: Los
anteriores programas de evaluación tuvieron poca difusión; en el nuevo
programa, los informes serán preparados para múltiples receptores. Impacto
sobre las políticas: Reintroducción
en 1989 de las pruebas nacionales o regionales que representan un alto
porcentaje de las notas finales de los alumnos; utilizadas como
justificación para el aumento de los fondos para educación. Aspectos
políticos y otros: Enfoque
intermitente con respecto a las evaluaciones, dependiendo de la actitud de
los sucesivos ministros de educación; el actual ministro está a favor de
las evaluaciones. Relación
con programas de evaluación internacionales: Ninguna
directamente. |
Fecha
de la primera evaluación: 1976. Fecha
del programa de evaluación más reciente: 1994. Grados
evaluados (programa más reciente): Todos
los grados de la educación básica y secundaria, como también los
profesores. Materias
evaluadas: Matemáticas
y lectura en las escuelas; se evaluó a los profesores en las materias y
los conocimientos pedagógicos. Muestra
o universo: Universo
en 1994 anteriormente muestras. Resultados
importantes: A medida
que los alumnos avanzan en la escuela, obtienen puntajes progresivamente más
bajos que lo esperado; los puntajes más altos fueron obtenidos por los
alumnos que habían asistido a la enseñanza preescolar, no estaban
repitiendo el año, asistían a escuelas urbanas o privadas y tenían
padres mejor educados en áreas urbanas; los niños de las
escuelas indígenas y comunitarias con instalaciones escolares inadecuadas
y profesores con menor capacitación obtuvieron los peores puntajes. Tipos
de investigaciones realizadas: Correlaciones
simples y tabulaciones cruzadas. Información
disponible acerca de los costos: US$35
por alumno en las muestras tomadas en 1990. Elementos
técnicos de interés: Selección
múltiple. Estructura
institucional: Administrado
por la Secretaría de Educación Pública. Retroalimentación: Los
informes se entregan a la opinión pública pero no son fáciles de
comprender; hasta 1990 los resultados de las evaluaciones tuvieron carácter
confidencial. Impacto
sobre las políticas: Hasta
hace poco ningún impacto sobre las políticas; las evaluaciones a los
profesores están relacionadas con el convenio con la asociación gremial
nacional para mejorar la calidad de la educación básica. Aspectos
políticos y otros: Difusión
y utilización inadecuadas a nivel de las escuelas. Relación
con programas de evaluación internacionales: Pleno
participante en el TIMSS, pero en el último momento solicitó que no se
informaran los resultados. |
email: ifiemex@yahoo.com.mx
Av. de la Paz 57, local 35,
San Angel, México D.F.
Tel/Fax: 5550 64 31
Teléfono: 5550 96 19