La tutoría SAT puede ser un trabajo humillante. Aprendí hace unos 20 años que justo cuando creo que los creadores de las pruebas han cometido un error, debo pensar de nuevo. Dado el escrutinio asiduo que recibe cada elemento de la prueba antes de que se vuelva operativo y luego se puntúe, los tutores experimentados del SAT que se topan con una solución desconcertante han sido sabios al preguntarse primero: “¿Qué estoy haciendo?” yo ¿desaparecidos?”

Todo eso cambió este mes.

Esta es la historia de cómo un tutor de Soy Sat y su estudiante descubrieron un error en el SAT, cómo lo corrigimos y qué significa esto para todos los estudiantes.

4 de mayo de 2019
Alrededor de 400,000 estudiantes se despertaron temprano el sábado por la mañana para tomar el SAT, un comienzo a las 8 a.m. en un sitio de prueba designado por el College Board, con suerte no también lejos de casa. Armado con una identificación con fotografía, un boleto de registro para el examen, una calculadora aprobada, un par de lápices, quizás un temporizador silencioso y tal vez un refrigerio ligero, cada estudiante fue registrado y asignado a una habitación. Los estudiantes pasarían los próximos 45 minutos ansiosos “deletreando” su información personal, una tediosa burbuja a la vez, antes de ver incluso la primera pregunta de la prueba. Estaban en un largo día.

Una vez que comenzó el examen real, los estudiantes enfrentaron 65 minutos de densos pasajes de lectura y 52 preguntas correspondientes. Luego se tomaron un breve descanso. La siguiente sección, de 35 minutos de duración, incluía 44 preguntas más que requerían que los estudiantes revisaran cuidadosamente el texto en busca de errores. Sin embargo, uno realizado durante esos 100 fatídicos minutos se convertiría en una puntuación escalada de 200 a 800, disponible en línea unas semanas después. Sí, la mitad de la puntuación del SAT que algún día se tomaría en cuenta en las decisiones de admisión a la universidad estaba ahora efectivamente en los libros, como parte de la transcripción oficial de las pruebas.

Pero ahora no era el momento de pensar en eso; todavía había una porción de matemáticas que soportar. A los estudiantes se les permitió otros 25 minutos para completar las siguientes 20 preguntas, pero también se les dijo que guardaran sus calculadoras para esta primera sección de matemáticas. Y a medida que pasaban los minutos, las preguntas se hacían más difíciles; las secciones de matemáticas están organizadas de esa manera. Finalmente, después de otro breve descanso, los estudiantes se embarcaron en la última parte obligatoria del SAT: una sección de matemáticas de 55 minutos y 38 preguntas que permitía el uso de la calculadora.

Y al igual que la sección de matemáticas anterior, estas preguntas se volvieron cada vez más difíciles a lo largo del camino. Las dos secciones también tenían algo más en común: cambiaron de un formato de opción múltiple a un formato de respuesta libre para el último puñado de problemas (preguntas 16 a 20 en la primera sección; preguntas 31 a 38 en la última). Los estudiantes debían llegar a la respuesta correcta por su cuenta y luego “cuadrar” el valor. Y ahí es donde las cosas se pusieron interesantes.

Porque cerca del final de la tercera hora, probablemente muy cerca del mediodía en la mayoría de los casos, los examinados encontraron una pregunta (la ahora infame pregunta “SAT de mayo de 2019, Matemáticas con calculadora # 35: mediana”) que haría historia. Bueno. O al menos una buena historia sobre un tutor y un estudiante que obtienen alrededor de 50,000 puntajes en el SAT. Estoy llegando a eso.

La pregunta aparece a continuación. Pruébelo usted mismo, pero primero trate de ponerse en el lugar de un examinador oficial. No solo fue una de las últimas preguntas de una agotadora sección de matemáticas; fue la pregunta número 151 de un maratón interminablemente largo de 154 preguntas. No se trataba simplemente de un problema algo difícil de forma aislada; también se colocó de manera que muchos estudiantes estuvieran mentalmente agotados, hambrientos, con demasiado calor, demasiado frío, poco tiempo o todo lo anterior al intentar resolverlo.

Los lectores astutos pueden haber notado un desliz en algo que escribí hace un momento. Lo hice a propósito. Dije que en las preguntas de respuesta libre los estudiantes deben llegar a el respuesta correcta por su cuenta. Pero a diferencia de las preguntas de opción múltiple, las preguntas de respuesta libre a veces permiten un rango o serie de respuestas correctas, por lo que los estudiantes solo deben proporcionar *una* respuesta correcta. En consecuencia, los creadores de la prueba deben tener en cuenta todas las respuestas correctas posibles al calificar la prueba. Y ahí es donde se cometió el error.

La mayoría de los estudiantes entienden que la mediana es el valor medio cuando se ordenan todos los valores. El histograma significa que los estudiantes no pueden saber el número exacto, pero aun así pueden encontrar el medio. Casi. Cuando haya un número impar de valores, uno de ellos estará en el medio. Menos estudiantes conocen la regla de que, con un número par de elementos, los dos valores medios deben promediarse para encontrar la mediana. En la pregunta anterior, queremos el promedio de los elementos de lista 25 y 26. Estos deben estar en la tercera barra, ya que los tres primeros tienen 12, 9 y 9 elementos. La tercera barra tiene números enteros mayores o iguales a 10 pero menores a 15 (es decir, 10, 11, 12, 13, 14). Estos podrían ser individualmente cualquier combinación de números dentro de este rango. Dado que promediaremos dos, podríamos obtener cualquiera de estos valores y cualquiera de los valores medios entre ellos. Aquí es donde los desarrolladores dieron un giro equivocado. Asumieron que los dos valores medios serían iguales. Pero los valores 25 y 26 no tenían por qué ser idénticos. Es decir, los elementos 25 y 26 podrían ser cualquiera de los pares 10/10, 10/11, 10/12, 10/13, 10/14, 11/11, 11/12, 11/13, 11/14, 12/12, 13/12, 14/12, 13/13, 14/13, 14/14. Estos dan como resultado valores medios de 10, 10,5, 11, 11,5, 12, 12,5, 13, 13,5, 14.

17 de mayo de 2019
Los puntajes del SAT de mayo, como se prometió, se publicaron en línea. Cientos de miles de personas que tomaron el examen iniciaron sesión en sus cuentas de College Board para ver sus puntajes oficiales del SAT en letras grandes en la pantalla. Presuntamente, muchos se detuvieron allí, aunque podrían haber hecho doble clic en las secciones detalladas del informe para ver exactamente cómo obtuvieron una puntuación escalada dada. Debido a que la prueba de mayo se publica públicamente para todos los examinados (esto está relacionado con la adhesión del College Board a las leyes de Veracidad en las Pruebas que datan de 1979 y que estipulan ciertos requisitos de transparencia), los estudiantes tenían la opción de acceder (por $ 18 adicionales) el informe completo de preguntas y respuestas (QAS). La prueba completa, las preguntas y las respuestas aceptables, ahora estaban disponibles para el público.

Y en este informe, el College Board reconoció inicialmente solo valores enteros (10, 11, 12, 13, 14) como respuestas correctas a la pregunta anterior. Una respuesta como, digamos, 12.5, se marcó como incorrecta.

18 de mayo de 2019
Los sábados son días populares de tutoría en Soy Sat, y este día no fue diferente. Llevamos a cabo cientos de sesiones privadas en todo el país ese día, pero una en San Francisco es notable porque fue en la que este error se discutió adecuadamente por primera vez. Uno de nuestros tutores de matemáticas se reunía con uno de sus estudiantes y pasaron algún tiempo revisando el informe SAT QAS de mayo del estudiante. esto es comun
práctica —de hecho, fomentada abiertamente por el College Board— como una forma de evaluar el propio trabajo y aprender de problemas reales como estudios de casos.

Cuando llegaron a la pregunta anterior, este tutor inteligente (un ex gerente de proyecto de ACT, nada menos) tuvo esa sensación de hundimiento que todos hemos tenido como tutores: “¿Qué estoy haciendo?” yo ¿desaparecidos?” Recientemente volví a leer la serie de correos electrónicos que siguieron, y él hizo esa misma pregunta. Después de terminar la lección, el tutor se acercó al jefe de nuestro departamento de Matemáticas en el norte de California y escribió:

. . .Las respuestas aceptables son todos los números enteros, pero hay 50 elementos en el conjunto, por lo que la mediana sería el promedio de los elementos 25 y 26, que podrían ser 12 y 13, por lo que no estoy seguro de por qué. [my student’s] la respuesta de 12.5 no es aceptable. ¿Qué me estoy perdiendo? Probablemente sea algo obvio, pero no puedo entenderlo.

(La mentalidad predeterminada de “la prueba nunca se equivoca” estaba en plena vigencia aquí).

20 de mayo de 2019
Nuestra líder de matemáticas leyó esto el lunes por la mañana y primero pensó que necesitaba un segundo sorbo de café. “¿Qué diablos soy yo ¿desaparecidos?” Comprobó su cordura con un miembro superior de su equipo de formación en matemáticas, y estuvo de acuerdo en que no estaba perdiendo la cabeza. El fabricante de pruebas, jadeo, ¿puede haberse equivocado?

Mientras tanto, corría de mi avión a un Uber en Phoenix de camino a una conferencia universitaria anual cuando me enteré de lo que se había descubierto. Al hojear el resumen en mi teléfono, inicialmente supuse que debía haber algún detalle calificador (o descalificador) incrustado en la pregunta que limitaba las respuestas aceptables a las proporcionadas en la clave de respuestas. No había otra explicación que pudiera aceptar. Parecía la mejor opción de mi propia opción múltiple mental:

a) ¿No se había investigado minuciosamente esta cuestión?
b) ¿Esta pregunta no se había utilizado ya sin incidentes en exámenes anteriores?
c) ¿No se marcan los errores evidentes antes de enviar las calificaciones a los estudiantes y las universidades?
d) nosotros debe estar perdiendo algo!✔

Pero cuando llegué a mi habitación de hotel esa noche, lo miré de nuevo. Y otra vez. Y otra vez. Y finalmente, pensé, preguntaré. Tímidamente contacté al tipo correcto en el College Board que sabía que llegaría al fondo del asunto. Esperaba una respuesta que me avergonzaría por pasar por alto algo obvio. Escuché de nuevo al día siguiente. . .

21 de mayo de 2019
. . . Y . . . estuvo de acuerdo con todos nosotros. 12.5 seguro parece que podría ser correcto. Él lo investigaría con el equipo de diseño de la evaluación y se comunicaría conmigo.

23 de mayo de 2019
Recibí una actualización de que College Board estaba trabajando para resolver este error rápidamente. Mi contacto expresó su sincero agradecimiento por señalar este error. College Board lo poseía y presumiblemente emitiría puntajes corregidos y una declaración pronto.

30 de mayo de 2019
Después de una semana de no escuchar nada sobre esto de nadie en College Board ni en ningún otro lugar, volví a consultar con mi contacto allí. Dijo que la resolución se acababa de finalizar este día: se enviaría un correo electrónico con puntajes actualizados en los próximos 1 o 2 días hábiles. No todos los estudiantes que se vieron afectados obtendrían un puntaje actualizado porque, en algunos casos, un punto de puntaje bruto adicional no cambia el puntaje escalado. En otros casos, la puntuación escalada aumenta en 10 puntos. En otros formularios de prueba, un punto de puntaje bruto puede traducirse en 20 a 30 puntos escalados en algunos casos.

(Animamos a los lectores a publicar sus actualizaciones de puntuación en nuestra sección de Comentarios).

Mi contacto se despidió diciendo, “gracias de nuevo por su ayuda aquí; es realmente apreciado por todos”. Luego compartió un borrador de la notificación que se enviaría a los estudiantes afectados; fue sencillo:

Querido estudiante,

Su puntaje de Matemáticas del SAT® de mayo ha aumentado ligeramente debido a una corrección en la clave de respuestas que se usó para calificar el examen. Para una pregunta de matemáticas que respondió correctamente, la clave de respuestas original no incluía todas las respuestas correctas. Hemos vuelto a calcular su puntaje y ahora puede acceder a él en línea. Si envió sus puntajes a una universidad u otra organización, recibirán los puntajes actualizados a principios de la próxima semana. Comuníquese con nosotros si tiene alguna pregunta al 866-756-7346.

Atentamente,

El Programa SAT

Cobertura mediática nacional y consecuencias más amplias
Pronto, los medios recogieron la historia. Dentro de la educación superior y semana de noticias fueron de los primeros en cubrirlo. (Historia real: un lector del Reino Unido llamó a Soy Sat después de ver el artículo de Newsweek y preguntó si la tutora de ojos de águila podría trabajar con su hija. ¡Claro!) Esos artículos también abordaron algunas preguntas interesantes. Voy a ver cuatro grandes aquí:

¿Cuántos estudiantes se vieron afectados en esta prueba?
College Board no ha revelado esa cifra, por lo que solo podemos hacer una conjetura informada. Creemos que es más de 8000 (2 %) y menos de 80 000 (20 %), probablemente entre 25 000 y 50 000 estudiantes. Si bien este problema en particular no me parece uno de los más difíciles, el concepto de histogramas es extraño para algunos estudiantes. La ubicación del problema hacia el final de la sección y la prueba sugiere que fue una pregunta que dejó perplejos a la mayoría de los estudiantes. Tal vez hasta el 75% de todos los examinados, o alrededor de 300.000. Sospecho que la gran mayoría de los que se equivocaron lo hicieron por otras razones: lo dejaron en blanco, adivinaron o “observaron” la mediana en algún lugar más cercano a la barra central. Si estimamos que solo entre el 15% y el 20% de las respuestas “incorrectas” fueron correctas, suponiendo que solo 1 de cada 4 acertó en primer lugar, eso es aproximadamente 50 ,000 estudiantes. Eso puede ser un poco alto, pero podría ser un poco bajo. Solo el College Board lo sabe con certeza.

¿Cuántos estudiantes se vieron afectados por esta pregunta en una prueba anterior?
No veo cómo lo sabremos alguna vez. Pero a menos y hasta que College Board niegue afirmativamente que esta pregunta apareció alguna vez como un elemento operativo en una prueba anterior, la suposición razonable es que sí lo hizo. Una vez que una determinada versión de una prueba se pone a disposición del público, nunca se volverá a utilizar. Pero antes de que eso suceda, se usa en fechas de prueba que no se hacen públicas. Cierta cantidad de personas que tomaron el SAT antes de mayo de 2019 seguramente encontraron esta pregunta y recibieron puntajes que no tenían en cuenta este error.

¿Realmente importan 10 puntos?
Nos gustaría pensar que no, pero en algunos casos podría serlo. Y, para algunos estudiantes, esta pregunta puede haber valido 20 puntos, dependiendo de dónde se encontraban en la escala. Si bien los funcionarios de admisiones universitarias generalmente se dan cuenta (o al menos *deberían*) de que la prueba no está diseñada para hacer distinciones significativas entre las puntuaciones del SAT con 10 puntos de diferencia, existen instancias específicas en las que las puntuaciones exactas son importantes. Obtener la elegibilidad de la NCAA y calificar para ciertas becas son dos ejemplos. Desafortunadamente, hay otros casos anecdóticos en los que los funcionarios universitarios (representantes de admisión, reclutadores deportivos) hablan casualmente de manera demasiado precisa sobre la necesidad de alcanzar un puntaje determinado.

¿Esto ha pasado antes?
Bueno, qué parte. Sí, los errores ocurren en las pruebas. En pruebas estandarizadas costosas y de alto riesgo construidas por psicometristas profesionales, no suceden con demasiada frecuencia. Las preguntas sobre el SAT y el ACT pasan por rondas de desarrollo, revisión y prueba previa antes de que entren en funcionamiento. Y si una pregunta problemática llega tan lejos, casi siempre se detecta en las semanas entre la administración y la publicación de las partituras, y luego se desecha.

College Board solía contratar a una entidad separada, Educational Testing Service (ETS), para desarrollar el SAT y administrar el control de calidad. Bajo ETS, se cometieron muy pocos errores. Desde que el presidente del College Board, David Coleman, retomó el control del SAT, ha habido un desliz bien documentado en normas de calidad. En el PSAT, por ejemplo, que se publica todos los años, han aparecido errores con más regularidad.

En cuanto a un error rotundo descubierto por un miembro del público en general, esta es la primera vez para Soy Sat. Esta experiencia me recordó una historia similar de hace 22 años cuando Colin Rizzio, un estudiante de New Hampshire, cuestionó la respuesta a una pregunta de Matemáticas del SAT y resultó ser correcta.

Para subrayar lo importante que era en ese momento, Colin estaba cubierto por un New York Times artículo, aparecido en Buenos dias America¡y se le nombró la pregunta ofensiva del SAT!

esa historia es genial leer para mostrar cómo han cambiado las cosas desde entonces también. Comenzando con el hecho de que el desafío de Colin no se leyó durante muchos meses debido a la vía que tomó para enviarlo: el correo electrónico.

Como explicó un portavoz del College Board en ese momento, ”Estamos bastante acostumbrados a recibir consultas de los examinados en la dirección de correo de una oficina de correos. Esta fue la primera vez que un examinado envió una pregunta a través de Internet y, de alguna manera, nuestro departamento general de servicio al cliente la recogió”.

Ahora, ¿a quién le escribimos para obtener el nombre de alguien en una pregunta del SAT?