¿Qué miden las evaluaciones de opción múltiple?

Los modelos mediados por las TIC hacen uso más que frecuente de las evaluaciones de opción múltiple. Particularmente cuando se da formación en un modelo asíncrono (cada estudiante trabajando en sus tiempos) y en grandes grupos (que en un MOOC (Massive Online Open Course) como es el caso de Coursera), puede un curso llegar a 50,000 personas. Una evaluación en estos contextos sólo puede lograrse con exámenes de opción múltiple. De la misma manera, Google Workspace for Education ha popularizado este tipo de evaluaciones, por medio de la plataforma Google Forms, que permite crear tests con opciones para ser llenados en el modelo de opción múltiple, u otros modelos de evaluación, y que además sistematiza los resultados, aliviando la carga laboral de los docentes.

Hasta aquí todo bien. Las TIC una vez más han permitido opciones, como en este caso de evaluaciones que pueden ser automatizadas y tener los resultados finales en instantes. Sin embargo, la duda que me ha asaltado todo el tiempo es su eficiencia. ¿Realmente los tests de opción múltiple miden el conocimiento real del estudiante?, ¿de qué depende?

En primer lugar, en mi humilde opinión, depende de la sintaxis con que estén escritos. En muchas ocasiones quienes nos enfrentamos a una pregunta de este tipo, aunque conozcamos del tema, no atinamos si es un inciso o el otro, entre otras cosas, porque quien redactó la pregunta primero se aseguró de elaborarla teniendo bien claro para él o ella de cuál sería la respuesta correcta, y los demás reactivos, o bien simplemente los rellenó con conceptos cercanos o añadió algo que pudiese engañar y hacer caer al aplicante. Pero aquí está la parte que genera confusión, porque justamente al enlazar en las opciones conceptos cercanos, muy frecuentemente resulta que la respuesta abierta a esa misma pregunta no estaría en blanco y negro y contendría aspectos que concatenaran muchos elementos que demostraran un manejo del tema a evaluar, pero que en la respuesta de opción múltiple es un sólo inciso, y así no opera la vida. Por esta razón, mi percepción es que este tipo de evaluaciones de forma muy recurrente tienden a no evaluar lo que deben, y valoran más elementos de memoria tradicional, la más socorrida en nuestros sistemas educativos. 

En una ocasión, hice el proceso para obtener una plaza en el gobierno federal. Me hicieron leer la Ley Federal de responsabilidades de los servidores públicos, los sitios web donde había información vital del gobierno federal, en total, unas 300 páginas de información. Muchísimo material para revisar y prepararme para concursar. Se supone que era muy importante la experiencia para poder aplicar a la posición. Sin embargo el test estaba lleno de puras cuestiones de memoria, y otras de memoria fotográfica: en un reactivo me preguntaban, "En x página está un párrafo que señala las acciones del C. Presidente en tal rubro"...acto seguido, la pregunta era: "son 4 párrafos en el sitio, dígame cuál de ellos tiene este mensaje...el primero...tic tac....el segundo...tic tac..." Me sigo pregunto qué medía esa pregunta: ¿memoria fotográfica?¿eso requería tener el aplicante como competencia para ser exitoso en su función? Me niego a creerlo.

Y todavía lo pueden complicar más. Preguntas de opción múltiple de 4 reactivos donde dos o más son correctas. Y de nueva cuenta la subjetividad para abordar las respuestas hace que muy comúnmente se fallen estos exámenes, a menos que te hayas preparado de memoria. Además si pusiste dos bien y no 3, de cualquier forma se anula la respuesta completa, aunque hayas demostrado al menos parcialmente el manejo del concepto. Eso habría que revisarlo cada vez que se aplica. Y en nuestro medio tecnológico, donde hablamos de la importancia de nuevos modelos educativos, basarnos en la memoria no supone un paso hacia adelante (y vaya que yo defiendo la memorización en determinados contextos educativos, pero no generalizado en los test de opción múltiple).

¿Y cuál es la solución? yo pienso que quizás es buena hora de:

1. Estandarizar los tests de opción múltiple. Para ello CONOCER podría iniciar un estándar específico. Se necesita una mayor profesionalización en la elaboración de estos instrumentos.

2. Añadir elementos que compensen el sobrepeso que sobre la memoria comúnmente tienen estos exámenes.

3. Relativizar la ponderación de estos vehículos de evaluación. Me ha tocado observar algún estándar de CONOCER en donde por una respuesta mala de conocimientos, te pueden declarar "no competente", cuando se supone que este tipo de estándares se basan en el "saber hacer" y el conocimiento no debe ser tan determinante, sino la experiencia. Lo mismo ocurre con otro tipo de certificaciones de otras entidades públicas y privadas que recurren a la opción múltiple, donde incluso la redacción es confusa, porque vienen de traducciones de otros idiomas.

Para finalizar, les platico la experiencia que tuve en un test para hacer ranking de "hints" (sugerencias que te pone el navegador cuando comienzas a escribir), y donde, de acuerdo a la respuesta que me daba el sitio, yo debía clasificar en: perfecto, bueno, aceptable y no aceptable. Se me dio una capacitación al respecto, y nunca pasé de 68% del test bien (lo hice tres veces). Mi percepción al final es que había brechas subjetivas entre cada categoría, que literalmente tendría que estar en la cabeza de quien hizo el test. Otra posibilidad, es que yo sea muy malo y no lo acepte.

En tiempos en que vivimos una aceleración de la tecnología en todos los aspectos de nuestras vidas, revisar modelos que se nos pueden haber escapado del armario de lo tradicional, no es tiempo ocioso. Vale la pena ser críticos siempre. 

Les mando un saludo cordial.