Cuando arriba es abajo: SAT de junio de 2018
Poco después de que se publicaran los resultados del SAT de junio la semana pasada, clientes de todo el país llamaban a las oficinas de Soy Sat, confundidos por las noticias que tenían que compartir. Los padres estaban comprensiblemente desconcertados por el hecho aparentemente ilógico de que sus estudiantes, como dijo una madre, «lo hicieron mejor, pero peor». En la parte de Matemáticas del SAT de junio, muchos estudiantes respondieron correctamente un porcentaje mucho más alto de preguntas que en fechas de exámenes anteriores, pero aun así terminaron con puntajes escalados más bajos de 200-800. Mientras tanto, College Board sostiene que los resultados son precisos.
Algunos estudiantes, padres, consejeros y tutores no solo se sienten decepcionados, sino completamente desilusionados por este resultado anómalo. Entre las preguntas que escuchamos están: «¿Cómo sucedió esto?», «¿Por qué sucedió esto?», «¿Puede ser correcto?», «¿Qué debemos hacer a continuación?», «¿Podría volver a suceder?», «¿Cómo ¿Verán las universidades los resultados de junio de 2018?” y “¿Qué pasa si mi puntaje realmente subió en junio?”
A través y debajo del espejo
Los responsables de la prueba y los examinados son similares en el sentido de que ambos ven cada elemento de la prueba como una valiosa oportunidad para ganar terreno. Los estudiantes no pueden darse el lujo de desperdiciar una pregunta con un error por descuido y los productores de pruebas no pueden permitirse el lujo de incluir una pregunta que no contribuya lo suficiente a la clasificación de los estudiantes. Una prueba de Matemáticas SAT de 58 preguntas es ineficiente, por ejemplo, si todos los estudiantes responden correctamente las primeras 30 preguntas. Será un examen inexacto si todas las preguntas son demasiado difíciles para hacer distinciones útiles.
La promesa fundamental de las pruebas estandarizadas, que los puntajes sean consistentes e intercambiables a lo largo del tiempo, es también su problema. En la utopía de un creador de pruebas, habría un suministro interminable de formularios de prueba equivalentes que contendrían preguntas únicas pero que, por lo demás, serían idénticos en alcance, composición y dificultad. Si bien ciertos parámetros como el recuento de elementos, la secuencia de secciones y el tiempo pueden mantenerse constantes, otros aspectos de las pruebas tienen variaciones inevitables.
La forma más intuitiva de calificar una prueba se basa en los aciertos y errores. Los estudiantes pueden comprender de inmediato lo que significa responder correctamente 40 de 58 preguntas. Sin embargo, este método falla cuando considera que las pruebas son demasiado complejas para producir exactamente los mismos resultados cada vez.
Un ejemplo simplificado de equiparación
Imagine un grupo de referencia de estudiantes que toman cada SAT antes de que se ofrezca ampliamente. Los estudiantes de referencia que acertaron 42 preguntas en el Formulario A acertaron 43 preguntas en el Formulario B. En el Formulario C, los mismos estudiantes acertaron 41 preguntas. No parecería justo considerar que 41 respuestas correctas son equivalentes en los tres formularios. El formulario C fue el más difícil de los exámenes; El formulario B fue el más fácil. El proceso de equiparación podría decir que 42 -> 650 en la prueba A, 43 -> 650 en la prueba B y 41 -> 650 en la prueba C. Ese nivel de diferencia es lo que esperamos encontrar al equiparar los exámenes. De hecho, al mirar el puntaje más alto que jamás haya producido un 650 en el antiguo SAT, donde tenemos casi 50 exámenes publicados durante 10 años, el puntaje bruto más bajo fue 40. El puntaje bruto más alto para producir un 650 fue 44. Las curvas nunca variaron en más de 40 o 50 puntos escalados para el mismo puntaje bruto en cualquier parte del año. los exámenes.
Cómo se queda corto el SAT de junio
Compare esto con cómo encaja el SAT 2018 Math de junio entre sus compañeros nuevo SAT. Se podría lograr un 650 con 50 respuestas correctas. Ese es el puntaje escalado más bajo que tiene el nuevo SAT alguna vez producido para 50 respuestas correctas. El puntaje más alto que ha producido para 50 respuestas correctas en un examen publicado real es de 740 puntos, ¡una oscilación de 90 puntos! Entonces, en sus primeros dos años, el nuevo SAT ha duplicado aproximadamente los extremos observados en el antiguo SAT durante 10 años y 4 veces más exámenes. En términos de desviación estándar, la prueba de junio de 2018 estuvo 2 SD más lejos de la media que cualquier otro examen. Cuando ocurre una inundación de 100 años después de dos años, debe sospechar mucho del pronóstico del tiempo.
La diferencia entre preciso y justo
College Board sigue volviendo al hecho de que los elementos se desarrollaron de acuerdo con los estándares, la equiparación se calculó correctamente, los elementos se calificaron correctamente y la escala resultante fue correcta. No hay evidencia directa de que College Board no haya puntuado bien los exámenes. Sin embargo, hay evidencia de que College Board emitió un examen que habría sabido que estaba fuera de las especificaciones. Es costoso desechar un examen, pero eso es exactamente lo que debería haber hecho el College Board.
Quizás College Board pensó que las nuevas preguntas del SAT en los formularios anteriores eran demasiado difíciles y estaba tratando de cambiar a un conjunto de preguntas más fácil. Estas cosas las hacen las organizaciones de pruebas, pero generalmente a través de un largo proceso evolutivo. Dar un salto tan temprano en un programa sería una gran irresponsabilidad. Creemos que junio fue un caso atípico en lugar de ser la nueva normalidad, pero solo College Board lo sabe con certeza.
¿Hay alguna forma de verificar externamente los resultados del SAT de junio? ¿Cómo impactó a los estudiantes como grupo? Los datos detallados utilizados para construir y equiparar nuevos exámenes se consideran secretos comerciales que las organizaciones de evaluación no divulgan. College Board publica periódicamente el rango de coeficientes de confiabilidad para los exámenes, por lo que eventualmente podemos ver si junio se quedó corto en esta medida.
Podemos, al menos, mirar el resultado final. El grupo de estudiantes que toman el SAT en una fecha de examen en particular es bastante consistente de un año a otro. Si la prueba de junio de 2018 estuvo completamente fuera de control, entonces la mala calibración debería aparecer en una comparación con los resultados de junio de 2017. A pesar de tener tablas de conversión de puntajes brutos a escalados muy diferentes, la prueba de matemáticas de junio terminó con puntajes promedio idénticos y distribuciones de puntajes similares a las del examen de junio de 2017. Es posible que algunos estudiantes no hayan obtenido puntajes altos debido a la estructura del examen. pero esto significa que un número aproximadamente igual de estudiantes se benefició.
Un resultado “justo” para la totalidad puede seguir siendo injusto para muchos
Las ligeras variaciones de dificultad entre las formas suelen pasar desapercibidas. Sin embargo, en cierto punto, el nivel de dificultad cambia la experiencia de prueba. Se justifica que un estudiante diga: «¡Esto no es para lo que me inscribí!» College Board no comenzaría a presentar problemas de cálculo en el SAT sin previo aviso. Es posible que esas preguntas no afecten la confiabilidad del examen, pero el cambio violaría el pacto implícito que College Board tiene con sus estudiantes y sus instituciones miembros. El SAT no está destinado a ser un examen «gotcha».
En junio, el mundo esotérico de los psicometristas profesionales que establecen lo que equivale a una escala extraña en una de las muchas pruebas construidas a lo largo de los años para millones de estudiantes que solicitan ingreso a miles de universidades entró en conflicto con el mundo práctico de un desafortunado adolescente que dibuja esa prueba de escala extraña. antes de aplicar a algunas universidades, una vez en su vida. Los 340,000 estudiantes que tomaron el SAT de junio pueden haber terminado con una distribución de puntajes similar a la de los que tomaron el SAT de junio de 2017, pero la confiabilidad (qué tan bien se alineó el puntaje de un estudiante con el desempeño anterior) aún está muy en duda. Soy Sat ha visto a muchos estudiantes que se desempeñaron bien en el SAT de junio, pero esto no niega las preocupaciones sobre su imparcialidad.
Brechas de puntuación e imprecisión
La otra anomalía importante con el examen de Matemáticas fue el conjunto de brechas entre las puntuaciones escaladas, especialmente en el extremo superior. En el SAT de junio, nadie recibió un 710, un 730, un 740, un 760, un 780 o un 790; más de la mitad de las puntuaciones posibles de 700 o más no se utilizaron. Una sola respuesta incorrecta podría haber dejado caer a un estudiante hasta en 30 puntos. Seguramente hubo examinados que normalmente habrían llenado esos vacíos, pero el SAT de junio no pudo clasificarlos adecuadamente. El exceso de confianza en las preguntas fáciles no le dio al SAT el poder suficiente para hacer distinciones finas entre los estudiantes con puntajes altos. Y aunque se advierte a los funcionarios de admisiones que no hagan distinciones significativas entre pequeñas diferencias de puntaje, las universidades altamente selectivas están inundadas de puntajes en este rango y pueden percibir un contraste que las pruebas mismas no pueden ver.
La incongruencia de la escala de junio es una crítica válida. De hecho, College Board incluye «brechas minimizadas» entre sus propios objetivos de construcción de pruebas en su Manual Técnico SAT. Ningún otro SAT nuevo tiene tantos vacíos ni de cerca. Algunos no tienen ninguno en el extremo superior.
¿Ahora que?
Cifras tan aberrantes generan escepticismo hacia la integridad de estos exámenes que aparentemente reflejan la habilidad matemática (y verbal) y poco más. ¿La versión de junio hizo eso adecuadamente o tal vez exageró el efecto de un error por descuido? ¿Aplicarán los lectores de solicitudes universitarias alguna interpretación contextual a un puntaje SAT de junio de 2018 cuando los creadores de exámenes les aconsejen ignorar las fechas de administración? Los estudiantes deben asumir que no. La devaluación de las calificaciones pondría en desventaja a los estudiantes que obtuvieron buenos resultados en el examen.
Los estudiantes tampoco deben contar con que College Board ceda ante la presión de las peticiones u otras demandas para revisar los resultados de junio. Fue un examen mal construido (College Board tenía que haberlo sabido al entrar), pero no hubo un error total que pudiera causar que los resultados fueran revisados o anulados. College Board, quizás tímidamente, se mantiene fiel a sus puntajes informados. Se siente bien . . . suficiente . . .sobre los valores que ha asignado a cada posible total de puntos brutos.
Si bien esta publicación se ha centrado en las deficiencias en el lado de Matemáticas del SAT de junio, también vale la pena señalar que cuatro preguntas «verbales» (2 de lectura, 2 de escritura) se consideraron imposibles de calificar, lo que redujo efectivamente el denominador de la proporción de puntos brutos de ERW de cada estudiante. College Board insiste en que esto no tuvo impacto en las puntuaciones escaladas (¿qué pasa con el tiempo dedicado a responder estos elementos desechados?), pero es otra razón por la que el SAT de junio de 2018 no será recordado como uno de los mejores trabajos de College Board.
En cambio, las preocupaciones crecen a medida que las partes interesadas (estudiantes, padres, consejeros e incluso universidades) se preguntan si el SAT está perdiendo el rumbo. Soy Sat se apresura a defender al SAT cuando se le culpa erróneamente, pero también hemos escrito sobre los pasos en falso de su propietario que parecen aumentar desde 2012, cuando el liderazgo actual asumió el poder. Se han producido cambios internos significativos en los últimos años, incluida la pérdida de miembros clave del equipo SAT y la recuperación de la construcción de pruebas de ETS, que había sido subcontratado durante mucho tiempo para crear pruebas. Parece que College Board puede estar aprendiendo por las malas lo difícil que es realmente el trabajo.
En cuanto a los consejos para los estudiantes que no están seguros de sus próximos pasos (elección de puntaje, control, repetición de la prueba, preparación adicional), debe ser una discusión caso por caso con un experto que pueda examinar cuidadosamente una lista de factores individuales. Lo alentamos a programar una llamada con un director de Soy Sat para analizar sus planes específicos para el otoño.
