Tiempos de pruebas: Los usos y abusos de la evaluación

Gordon Stobart, Pablo Manzano Bernárdez

• Editorial: Ediciones Morata
• Año: 2010
• ISBN:
  9788471127013
• Edición: 1
• Categoría: Pedagogía
• Categoría: Educación general

¿Qué nos aportan realmente los tests de inteligencia y de capacidades? ¿Las pruebas objetivas utilizadas en las evaluaciones minan los aprendizajes?El autor sostiene que la evaluación determina el modo de vernos a nosotros mismos y nuestra forma de aprender. En un momento en el que se clasifica a las personas con arreglo a sus capacidades, estilos de aprendizaje o por su rendimiento, examina con minuciosidad los fundamentos de esas clasificaciones. Muestra también que, en nuestra cultura, donde los tests y pruebas objetivas gozan de una importante aceptación, la evaluación puede socavar a menudo los aprendizajes relevantes, fomentando una instrucción superficial 'para el examen' y considerando los resultados de las pruebas como fines en sí mismos. El autor investiga cómo podemos preparar evaluaciones que generen aprendizajes más significativos y profundos y que puedan desempeñar un papel constructivo en la creación de nuestras identidades como personas y como aprendices. "Tiempos de pruebas" revisa los propósitos y consecuencias de las distintas modalidades de evaluar y examina críticamente los usos más destacados de muchas de ellas, tales como: - Tests de CI y de capacidades.- Inteligencias múltiples, inteligencia emocional.- Estilos de aprendizaje.- Pruebas de rendición de cuentas y para obtención de certificados y títulos.- Evaluación formativa.Gordon STOBART no se contenta con sacar a la luz las dimensiones perversas de ciertas modalidades de evaluación y de medición muy de actualidad, sino que también expone alternativas rigurosas y prácticas sobre cómo debe plantearse una evaluación que sirva para enriquecer los procesos de enseñanza y aprendizaje. Este libro, accesible y provocativo, es de gran interés para profesionales de la educación, investigadores, profesorado y estudiantes universitarios de educación, psicología y sociología.

CAPÍTULO VI

La larga sombra de la rendición de cuentas

Ley de Goodhart1: Cuando una medida se convierte en objetivo, deja de ser una buena medida.

Cualquier regularidad estadística tenderá a desaparecer cuando se ejerzan presiones sobre ella con fines de control.

(Charles GOODHART.)

La ley de Goodhart es el equivalente sociológico del principio de indeterminación de Heisenberg en física cuántica. Por regla general, la medida de un sistema lo perturba. Cuanto más precisa es la medida y más corta su escala temporal, mayor es la energía de la perturbación y mayor la imprevisibilidad del resultado.

(Michael MCINTYRE, 2001.)

Uno de los argumentos centrales de este libro es que la evaluación puede tanto debilitar como estimular el aprendizaje. En el Capítulo V, hemos visto que, con el fin de que el individuo compita en el mercado laboral, la evaluación puede convertirse en un fin en sí misma: es el resultado lo que cuenta; la calidad del aprendizaje es irrelevante. En este capítulo, examinaremos cómo pueden afectar al aprendizaje las presiones de la rendición de cuentas para mejorar los resultados. A este respecto, es crítico el uso de medidas sencillas, como las puntuaciones de los exámenes, para juzgar si se han alcanzado los objetivos. El hecho de no alcanzarlos tiene consecuencias, tanto económicas como profesionales; en consecuencia, los exámenes adquieren una importancia decisiva y los resultados lo son todo.

Mi argumento es que, aunque el uso de los exámenes para rendir cuentas con un carácter decisivo, sus medidas estrictas y su insistencia en la mejora rápida, pueda reportar beneficios a corto plazo, rápidamente se degrada y es contraproducente. La ley de Goodhart, derivada de la economía, lo recoge muy bien: escoge un indicador estricto y observa cómo distorsiona lo que ocurre. Revisaré las presiones que la rendición de cuentas educativa, basada en los exámenes, al uso en Inglaterra y en Estados Unidos, dos de los sistemas más draconianos del mundo, ejercen sobre el aprendizaje. Sin embargo, necesitamos que se rindan cuentas, así que, ¿cómo sería una forma constructiva de hacerlo? En respuesta a esta pregunta, presento un modelo de rendición inteligente de cuentas.

Estamos tan acostumbrados a la rendición de cuentas en muchas esferas de la vida que resulta difícil definirla2. La utilizo aquí en el sentido vulgar de juzgar la eficacia de determinadas actividades, que pueden ser muy generales, como los servicios médicos, o restringidas a una iniciativa específica como por ejemplo, la reducción del absentismo escolar. Por regla general, el centro de atención se fija en la organización, por ejemplo, los hospitales, los sistemas de transporte y las escuelas, en vez de hacerlo sobre los individuos que reciben estos servicios. Esto suele implicar el uso de recursos, por lo que quienes los financian querrán saber qué se ha conseguido con sus inversiones. Cuando hay una necesidad dramática de mejorar un servicio, suele ponerse en juego una mezcla de incentivos y penalizaciones. Esta mezcla puede producir el efecto de choque buscado, pero cualquier mejora del rendimiento medido se producirá a menudo a costa de algunas consecuencias no buscadas que empiezan a distorsionar el sistema. Me limitaré a dos ejemplos: el transporte público y los tiempos de espera de los hospitales.

Objetivos de puntualidad

En el Reino Unido, muchas personas estarán acostumbradas a los objetivos de puntualidad del transporte público y a que se penalice económicamente a las compañías ferroviarias por el porcentaje de trenes que circulen con retraso. Los viajeros en ferrocarril también están acostumbrados a las modificaciones del horario de los trenes que incrementan constantemente la duración del mismo viaje, para que sea más difícil que lleguen con retraso. Es fácil que los viajeros de larga distancia hayan tenido la experiencia de viajar en un tren con mucho retraso al que detienen para que deje paso a otros trenes posteriores. Se hace esto para que los otros trenes no se retrasen y solo haya que pagar la compensación a los viajeros del tren muy retrasado. Incluso he viajado en un servicio “cancelado” que circuló por su trayecto pero sin retraso, puesto que había sido cancelado. Este artículo del Guardian resume perfectamente estas distorsiones:

Los tiempos de espera de los hospitales

Los tiempos de espera constituyen otro filón para obtener ejemplos. El Gobierno abordó el “escándalo” de los interminables tiempos de espera para las operaciones y estableció como objetivo reducir el tiempo que los pacientes tendrían que esperar para una operación desde que eran recibidos por el médico. Aunque esta medida produjo en parte el efecto deseado, también propició otros no deseados. Uno de éstos fue que, a menudo, pasaba más tiempo antes de ser recibido por el médico, dado que la cuenta atrás no empezaba hasta ese momento. Otro fue que los tiempos de espera se redujeran programando las operaciones más sencillas y menos necesarias por delante de las más graves y que más tiempo requerían.

Un claro ejemplo de esta clase de cinismo fue el del hospital que no salía muy bien parado en el indicador del tiempo que transcurría hasta que un paciente era atendido por el enfermero responsable de la clasificación en urgencias. El objetivo era de cinco minutos, pero muchos pacientes tenían que esperar mucho más tiempo. Al investigar la situación, la dirección del hospital descubrió que la razón era que, al estar el hospital a las afueras de la población, los pacientes llegaban con frecuencia juntos en el autobús que circulaba cada hora, por lo que los enfermeros no podían ver a todos los pacientes en cinco minutos. ¿La solución? El hospital se puso en contacto con la empresa de autobuses y acordaron trasladar la parada del autobús, retrasándola hasta la carretera, de manera que los viajeros tuvieran que ir andando hasta la clínica y se espaciaran los tiempos de llegada (los lesionados en las piernas mucho después que los lesionados en las manos, los jóvenes antes que los viejos, etc.). Los tiempos de espera se redujeron considerablemente y el hospital mejoró su comportamiento en este indicador3.

La rendición de cuentas en la escuela

A estas mismas presiones se enfrentan escuelas y universidades cuando establecen objetivos para mejorar sus resultados en los exámenes. Los responsables políticos se han dado cuenta de que la evaluación puede utilizarse como una poderosa herramienta para la reforma de la educación. Lo que se ponga a prueba, sobre todo si conlleva consecuencias importantes, determinará lo que se enseñe y cómo se enseñe. Por tanto, esta es una vía más directa que el desarrollo paciente del currículum y la pedagogía, y produce unos resultados claros de manera relativamente barata. El modelo se ajusta también a la necesidad del economista de indicadores sencillos que puedan interpretarse para comprobar si la inversión produce beneficios.

Esto no es nada nuevo. En el Capítulo Primero, vimos que los tests se han utilizado históricamente con fines de rendición de cuentas. La introducción de los exámenes universitarios en Cambridge trataba de mejorar la calidad del estudio de los estudiantes, igual que los exámenes de las escuelas de secundaria se consideraban como una forma de mejorar la educación en las escuelas privadas de “clase media”. En 1840, hubo exámenes en Boston (EE.UU.), con el fin de hacer comparaciones entre aulas y escuelas. El plan de “pago por resultados”, de Robert LOWE, para promover la enseñanza de las “tres erres”4 en las escuelas elementales estatales fue quizá el ejemplo supremo en Inglaterra.

Estos planes que tienen como finalidad la rendición de cuentas hacen hincapié en cumplir los objetivos impuestos por quienes corren con la financiación. El problema es que, a menudo, estos son más bien expresiones de aspiraciones que objetivos empíricos: se basan en la creencia social de que los niños deberían hacer las cosas mucho mejor de lo que las hacen y que la forma de conseguirlo es exigir más al sistema. La motivación procede generalmente de la impaciencia política por la aparente reticencia del sector público a cambiar, acompañada por la retórica política de los “objetivos ambiciosos” como “palancas para el cambio”, junto con “el apoyo y la presión”. En Inglaterra, esto ha incluido objetivos para el mismo Gobierno, por lo que la imposibilidad de alcanzar los objetivos de alfabetización y de aritmética de los niños de 11 años en 2002 condujo, en parte, a la dimisión del entonces Secretario de Estado para la Educación5.

Tests para la rendición de cuentas: No Child Left Behind6 (EE.UU.) y la evaluación del currículum nacional en Inglaterra

Los ejemplos de tests para la rendición de cuentas de Estados Unidos y de Inglaterra que utilizo aquí pueden considerarse formas extremas de lo que sucede en muchos países. Lo que los distingue son la escala y las consecuencias de los tests.

Las características clave de esta rendición de cuentas basada en los exámenes son:

• metas: se presentan como“normas”o“estándares”,que representan el nivel de rendimiento deseado;

• objetivos: los niveles exigidos de rendimiento se especifican tanto como objetivos anuales de mejora y a largo plazo;

• medidas: las pruebas mediante las que se juzga el rendimiento. Pueden ser los resultados de los tests utilizados con otros fines o tests específicos de rendición de cuentas que no tengan otras finalidades importantes;

• consecuencias: los resultados están vinculados a penalizaciones y recompensas.

Estos son los que consiguen que los tests sean tan importantes, porque el futuro de una escuela pueda estar determinado por los resultados.

Que ningún niño se quede atrás (“No Child Left Behind”, NCLB)

En los Estados Unidos, la política educativa ...

Índice

• Portada
• Obras en coedición con el Ministerio de Educación
• Portadilla
• Créditos
• Contenido
• Agradecimientos
• Introducción
• CAPÍTULO PRIMERO: Evaluando la evaluación
• CAPÍTULO II: Los tests de inteligencia: Cómo crear un monstruo
• CAPÍTULO III: El movimiento de oposición: Inteligencias múltiples e inteligencia emocional
• CAPÍTULO IV: El atractivo de los estilos de aprendizaje
• CAPÍTULO V: La titulitis: ¿Aún contiagiosa después de tanto tiempo?
• CAPÍTULO VI: La larga sombra de la rendición de cuentas
• CAPÍTULO VII: Razones para alegrarse: La evaluación para el aprendizaje
• CAPÍTULO VIII: Recuperar la evaluación: Responsabilizarnos de quienes somos
• Bibliografía
• Índice de autores
• Índice de materias
• Otras Obras de Morata
• Gordon STOBART