Ayer en El Pais aparece un interesante reportaje sobre la evaluación de la evaluación.
Trata de muchos aspestos que nos tocan de cerca, como la impugnación de preguntas de examen, las diferencias de expedientes académicos en unos centros y otros, las diferencias en oposiciones entre unos lugares y otros...
Saludos
Exámenes a examen
La propia evaluación de las pruebas sigue siendo asignatura pendiente en España
ÁLVARO DE CÓZAR 06/05/2009
http://www.elpais.com/articulo/sociedad/Examenes/examen/elpepisoc/20090506elpepisoc_1/Tes
Toda la vida examinándonos: el primer control rutinario en la enseñanza básica, la prueba de selectividad, los exámenes de la facultad, el del carné de conducir, el del curso de inglés, las oposiciones, toda aquella lista de preguntas contestadas para acreditar conocimientos, las que le impiden optar a un puesto de trabajo y las que se lo otorgan. Los exámenes, sobre todo algunos, determinan en gran parte el destino de quienes los hacen. Cabe pedirles por tanto que sean elaborados con garantías. En la mayoría de las ocasiones, esas garantías no existen.
¿Las tenían los alumnos que se toparon en 2006 con una integral maldita en el examen de selectividad? A la operación le faltaba un 2, el que indicaba que la función seno iba elevada al cuadrado. La falta del símbolo multiplicó la dificultad del problema convirtiéndolo en un quebradero de cabeza incluso para un matemático experimentado. Tras las reclamaciones, los examinadores decidieron anular la pregunta y corregir las otras dos preguntas del examen de forma "suave". Qué se entendía por ese adjetivo quedaba a criterio de los examinadores.
El caso de la integral maldita muestra la falta de controles a la hora de elaborar las pruebas. "En ese ejemplo, si el examen hubiese sido resuelto por un experto antes de ser entregado a los alumnos, la errata se habría detectado", señala Vicente Ponsoda, catedrático de Modelos y Aplicaciones Psicométricas en la Universidad Autónoma de Madrid.
El experto ha buceado en la prensa y ha recopilado varios ejemplos que ilustran hasta qué punto se formulan mal las preguntas. Otro caso: una pregunta en el comentario de texto de selectividad de 1994 resultó más sencilla para los aficionados al fútbol. Se les preguntó qué significaba la palabra pucelana. El término no figuraba entonces en el diccionario de la RAE como gentilicio de Valladolid. Un profesor denunció el examen y demostró que la mayoría de los que contestaron bien la pregunta conocían la respuesta de oírla en las retransmisiones deportivas. "Una pregunta que se incluye en un examen de lengua y que la hacen mejor los interesados en el deporte no es una buena pregunta. Si el examen hubiese tenido los controles adecuados", concluye Ponsoda, "la pregunta habría sido eliminada".
Suele perderse de vista la trascendencia que tienen estos errores. No pasa inadvertida para quienes se la juegan en los exámenes. Si uno pone las palabras con las preguntas anuladas en Google, el buscador ofrece 106.000 resultados. La mayoría son foros en los que los internautas muestran su disconformidad con la evaluación de los exámenes de oposiciones una vez que han perdido sus opciones a obtener una plaza. Para los expertos, hay demasiados casos. "Las pruebas suelen ser construidas para cada ocasión concreta por una comisión o tribunal nombrado ad hoc, en el que hay expertos en el contenido que se pregunta pero con escasos conocimientos sobre las características que debe tener una prueba de evaluación para cumplir su cometido", asegura María José Navas, profesora de metodología de ciencias del comportamiento de la UNED.
Para medir la estatura de una persona usamos un metro. ¿Por qué usamos entonces varios métodos para medir los conocimientos? Obvio, por ahora nadie ha inventado uno que funcione con tanta fiabilidad. La psicometría, la rama de la psicología que trata de poner remedio a eso, considera que uno de los principales objetivos a la hora de elaborar exámenes es encontrar una escala común, es decir, unos criterios comunes que permitan dar calificaciones ajustadas y comparables.
La prueba de selectividad, por ejemplo, no sigue esa escala común. Un estudiante obtiene una nota determinada en su prueba de acceso a la Universidad y compite por una plaza con otros estudiantes que han obtenido puntuaciones en otras pruebas de acceso. Los exámenes no están a la misma escala, así que no pueden ser comparados. Pero sí se comparan. La Universidad da las plazas a los alumnos con mejor nota, pero puede que éstos no sean los que más conocimientos tienen, sino los que han recibido las preguntas más fáciles o los que han tenido un corrector más blando. El año pasado, el porcentaje de aptos en la Universidad de Valencia fue del 97%, mientras que en Madrid lo fue del 86%. ¿Pueden compararse esos datos? ¿Significa eso que los estudiantes de Valencia están más preparados que los de Madrid? ¿Fueron los correctores más duros en Madrid? ¿Los exámenes más complicados? Cada comunidad autónoma elaboró los exámenes con las universidades, así que es imposible compararlos y obtener información a todas esas preguntas.
La cultura psicométrica en España marcha por detrás de otros países con más tradición como Holanda o Estados Unidos, dos países que cuentan con dos de los centros privados más especializados en la materia. En Estados Unidos, el ETS (Educational Testing Service) cuenta con casi 3.000 empleados y es el centro responsable de los exámenes del TOEFL, que evalúan cada año el conocimiento de inglés en todo el mundo, o el SAT, el examen de acceso a la Universidad en Estados Unidos. "Sus métodos son envidiables. Es uno de los centros de referencia para medir los sistemas de evaluación", señala Ponsoda. "Sus exámenes se fundamentan en un largo proceso que establece controles de calidad sobre cada pregunta y son elaborados por gente muy cualificada".
Timo Bechger es uno de los expertos del CITO, el instituto responsable de los exámenes que se realizan en toda Holanda después de la Primaria. "Es un examen tipo test, el mismo para todos y por lo tanto, más justo e igualitario. Este centro fue fundado hace 40 años y eso nos ha permitido ajustar cada vez más los criterios de calidad de las pruebas", explica Bechger. El experto considera que España sigue haciendo sus exámenes de una forma ritual. "Una vez que empiezas a pensar en el impacto que tiene en la vida de una persona suspender un examen o sacar poca nota es cuando te das cuenta de la importancia de la psicometría", explica.
En España hay varios equipos de investigación trabajando en distintas universidades sobre cuestiones de medición. Desde el Colegio Oficial de Psicólogos se ha trabajado para mejorar el uso de pruebas y tests en España mediante la creación de una Comisión de Test, integrada por representantes del mundo académico y profesional y de empresas dedicadas a la elaboración de test. Un dato: el personal destinado a I+D en una de las compañías especializadas en esta actividad, TEA Ediciones, se ha duplicado en los últimos años.
Un ejemplo de las buenas maneras en la medición de conocimientos, de las que España también participa con el Instituto de Evaluación (órgano dependiente del Ministerio de Educación) es el Informe PISA, de la Organización para la Cooperación y el Desarrollo Económico (OCDE). Se trata de la fotografía más completa y actualizada sobre el rendimiento de los alumnos en los países más desarrollados. En el informe realizado en 2006 participaron 62 países, y en cada país fueron examinados entre 4.500 y 10.000 estudiantes de la edad de 15 años para establecer su grado de competencia en lectura, matemáticas y ciencias naturales. El estudio se realiza cada tres años y las preguntas se evalúan una a una.
Un comité de especialistas las estudia para establecer si están mal planteadas. Si una pregunta catalogada con un nivel de dificultad bajo ha sido contestada erróneamente por alumnos que normalmente sacan buena nota, la conclusión es sencilla: la pregunta no sirve para medir el conocimiento de ese alumno.
Según los expertos, desde un punto de vista psicométrico el Informe PISA es muy riguroso. Se hace con muestras muy seleccionadas que tienen en cuenta que haya jóvenes de todas las regiones y de distinto nivel social. Se suele hablar de un 95% de fiabilidad en las pruebas del informe. No se califica a los alumnos, sino que se establece la media del conjunto de todos los que han participado en esa prueba. No se dice éste es bueno y éste otro excelente, sino que se les mide en comparación con el resto.
Los exámenes tipo test son utilizados con éxito en la evaluación diagnóstica de pacientes, para ayudar en procesos de mediación familiar o incluso en la decisión de quién consigue la custodia legal de los hijos en procesos de separación y divorcio. La profesora de metodología, María José Navas, asegura que este tipo de pruebas son útiles también para que las empresas seleccionen a su personal. "Los tests son una herramienta de evaluación muy valiosa cuando están bien construidos y son correctamente administrados, corregidos e interpretados". Siempre que se dé esta premisa, los exámenes tipo test pueden evaluar el conocimiento de un alumno de forma objetiva. Pero su abuso puede tener graves consecuencias. La más terrible, la que trajo consigo la polémica ley no child left behind (que ningún niño se quede atrás) del anterior presidente de Estados Unidos, George W. Bush. La norma impuso unos exámenes en todos los Estados. Los resultados de esos controles servirían para decidir cuántos fondos federales merecía una escuela. La ley tuvo dos consecuencias funestas. Muchas escuelas públicas de zonas pobres se fueron a la bancarrota, algunos profesores perdieron el empleo y muchos estudiantes no recibieron el título. La solución planteada por los centros para escapar de esos problemas fue dejar sustituir la enseñanza de conocimientos por la enseñanza de los tests.
Las irregularidades en las pruebas no afectan sólo a la educación en los colegios o universidades. En ocasiones, un test mal planteado puede decidir a qué se va a dedicar uno el resto de su vida. En una oposición a plazas de enfermero en Extremadura, el test constaba de 100 preguntas. Seis de ellas se sustituyeron por las preguntas de reserva y otras seis sufrieron cambios en su formulación. Es decir, hubo cambios en 12 de las 100 preguntas. Según la resolución en la que se convocaba la oposición, los candidatos tenían que responder a las 100 preguntas del test y a otras siete de reserva por si había anulaciones. El examen estaba tan mal hecho que se necesitaban muchas más preguntas de reserva. La consecuencia inevitable de la anulación de preguntas es que las personas que serían aptas de no haber anulaciones pasan a no serlo, y al contrario.
Los expertos insisten en que nada de esto pasaría si los exámenes se hiciesen antes, si hubiese controles específicos, pruebas piloto. Mayores irregularidades se han visto en otros exámenes. Un test para la selección de bomberos incluía la pregunta "¿Cuál de estas sustancias es autorreactiva?". Una de las respuestas posibles era Zapateroboboetanopacta. La gracieta, obviamente, supuso la anulación de la pregunta.
Jue 07 Mayo 2009, 12:37 pm