Cada octubre, varios millones de estudiantes de segundo y tercer año se presentan a un PSAT y tratan de resolver la menor cantidad de problemas posible. Lo que quizás no se den cuenta es que College Board, el creador de la prueba, está tratando de hacer lo mismo. El nuevo PSAT ha tenido al menos un error cada año que se ha dado el examen. College Board no ha tratado este tema con suficiente seriedad. A medida que avanzamos en otra temporada de PSAT, Soy Sat echa un vistazo a lo que estos errores significan y no significan para los estudiantes.

¿Cuántos errores se han producido?
El PSAT se da en dos o tres fechas cada año para adaptarse a diferentes horarios escolares. En total, ha habido 8 nuevos formularios PSAT para 2015-2017. La mitad de esos formularios tenían errores en la prueba de Matemáticas. El formulario del 19 de octubre de 2016 en realidad tuvo dos problemas eliminados.

¿Siempre han ocurrido estos errores?
Quería confirmar mi recuerdo de que el antiguo PSAT rara vez omitía una pregunta en la puntuación. Entre 2005 y 2014, hubo veintiséis fechas de PSAT. En un solo formulario, una pregunta no se calificó: una pregunta de escritura en 2007. Así es como el desempeño de College Board en el nuevo PSAT se compara con su desempeño en el antiguo PSAT.

Estos resultados no inspiran confianza.

¿Qué hace que un problema sea descartado?
Un error puede ser cualquier cosa, desde un error de imprenta (quizás el diagrama de un problema no era completamente visible en la mitad de los folletos) hasta una pregunta que accidentalmente no incluía una respuesta correcta o una que tenía «doble clave» y tenía dos respuestas correctas. respuestas En un caso notorio, College Board incluyó un problema palabra por palabra tomado de los materiales de práctica que había proporcionado a los estudiantes. La solución cuando ocurren errores es no contar la pregunta para nadie.

¿Por qué los errores se han vuelto más frecuentes?
El alcance de College Board ha superado su alcance. Trató de revisar por completo el PSAT y el SAT en un breve período de tiempo e implementó el nuevo PSAT en octubre de 2015. Al hacerlo, desechó años de experiencia en el desarrollo de cierto tipo de examen y tuvo que comenzar de cero en la construcción de un biblioteca de materiales. Mientras realizaba esta revisión, College Board también incorporó más desarrollo de pruebas internamente y redujo su dependencia del Servicio de Pruebas Educativas (ETS). A College Board le gusta recurrir a discutir su extenso proceso de revisión y prueba previa. Pero un proceso de revisión adecuado no produce este nivel de errores.

¿Cómo se pueden desechar los problemas y seguir produciendo puntuaciones precisas?
Construido en cada prueba hay cierto nivel de redundancia. Si bien no es bueno descartar problemas, no invalida el examen.

Imagine un concurso de tiro de baloncesto que involucre 48 tiros desde varios puntos de la cancha, con un punto otorgado por cada canasta hecha. ¿Habría sido diferente su opinión sobre la validez del concurso si hubiera dicho que se trataba de 47 tiros? La capacidad de hacer distinciones entre los niveles de habilidad aún estaría allí. Eso es básicamente lo que sucede cuando College Board descarta un problema: el resultado es acortar un poco la prueba. Luego, College Board determina los puntajes según el desempeño en 47 problemas de matemáticas en lugar de 48.

¿Qué pasa si un código de formulario tiene un problema descartado y otro no?
Algunos estudiantes temen estar en desventaja por tener un problema menos. Los códigos de formularios múltiples ya deben pasar por un proceso de equiparación para tener en cuenta el hecho de que la dificultad de las preguntas nunca es idéntica de una prueba a otra. Se construye un modelo, por ejemplo, sobre cómo se desempeñaría un estudiante 700 en una prueba y cómo se desempeñaría ese estudiante en otra prueba. Cuando se descarta un problema, el modelo se ajusta para tenerlo en cuenta. Si se hace correctamente, no hace que lograr un puntaje en particular sea más fácil o más difícil.

¿Pero es justo?
Aún así, hay una sensación de injusticia en hacer que los estudiantes tomen una prueba de 48 preguntas y solo los califiquen en 47 de ellas. Los estudiantes que contestaron correctamente la pregunta descartada naturalmente se sienten menospreciados. Mirando hacia atrás en la clasificación de los jugadores de baloncesto, ¿qué pasaría si dos jugadores originalmente terminaran empatados en 25 canastas hechas? Después de descartar uno de los intentos, digamos que las luces se apagaron mientras algunos de los jugadores estaban disparando, un concursante termina con solo 24. Se cambiaron las clasificaciones. Es dudoso que cualquiera de los jugadores hubiera protestado desde el principio porque la contienda fue de solo 47 tiros en lugar de 48, pero las consecuencias son reales en este caso. También es problemático en un entorno de prueba porque las preguntas no se dan en el vacío. Algunos estudiantes pueden haber respondido rápidamente un elemento descartado y otros pueden haber trabajado en ello durante unos minutos. ¿Qué pasaría si algunos de los estudiantes se dieran cuenta de que el problema era defectuoso y pasaran más tiempo rascándose la cabeza? No hay una solución ideal. Hacer la prueba de nuevo no es una opción que nadie quiera.

College Board tiende a centrarse en lo abstracto: 47 preguntas son suficientes para producir resultados precisos. Eso es matemáticamente correcto. Los estudiantes, naturalmente, se enfocan en lo concreto: «¡Perdí el tiempo en una pregunta que ni siquiera contaba!» Hace que los examinados desconfíen de la prueba. Literalmente tomaron un examen defectuoso.

La complacencia de College Board conduce a más errores. Si no piensa que importa si hay o no un error en una prueba, no gastará el tiempo y el dinero extra para eliminar esos errores. En el SAT de junio de 2018, por ejemplo, se omitieron cuatro preguntas de la puntuación. Eso es perjudicial para la reputación de una prueba. Además, College Board hace todo lo posible por esconder estos errores debajo de la alfombra. Evita poner los problemas defectuosos en los bancos de preguntas a los que los estudiantes pueden acceder. A menos que su mano sea forzada, ni siquiera explica qué salió mal con un problema. Amenaza a los estudiantes y sitios web cuando las preguntas se discuten abiertamente. Todavía tengo que escuchar algún buen argumento para no revelar por qué se descartó una pregunta. Estos no son elementos de prueba previa en los que College Board recopila datos estadísticos. Estos son tontos. Si se comete un error, admítalo, explíquelo y discuta qué medidas se tomarán para evitar que suceda en el futuro. En la medida en que College Board incluso reconozca un error, su respuesta es una variación de «No se preocupe, es lo suficientemente bueno». Me preocupa. No es suficientemente bueno. Al centrarse estrictamente en la calificación de las pruebas, College Board pasa por alto la disminución de la confianza que los estudiantes, padres y consejeros tienen en un examen propenso a errores.

Con suerte, College Board romperá su racha de errores de PSAT en 2018, y los estudiantes sabrán que se contarán todos sus esfuerzos. Todos deberíamos tener esta expectativa y asegurarnos de que College Board sea responsable si no cumple.