📄 Reporte técnico | 🤗 Datos | 💻 Código
Hoy presentamos FairStress, un benchmark para medir la equidad demográfica en los LLM más allá de la elección que un modelo finalmente toma en decisiones que afectan a las personas. FairStress está disponible para descargar, y también lo estamos integrando en Olmo-eval, nuestro banco de trabajo abierto para ejecutar y comparar evaluaciones de modelos.
Los modelos se utilizan cada vez más en entornos de alto riesgo donde sus resultados pueden afectar las oportunidades, los recursos y la atención de las personas, desde la preselección de candidatos a empleos y la aprobación de préstamos hasta la priorización de pacientes para tratamiento y la evaluación de estudiantes para admisiones. Los benchmarks estándar de equidad demográfica suelen probar si un modelo selecciona al mismo candidato en escenarios por lo demás idénticos después de intercambiar las identidades demográficas de los candidatos. Por ejemplo, si un candidato a un empleo tiene claramente una experiencia y cualificaciones más sólidas, ¿elige el modelo todavía a ese candidato cuando el candidato más fuerte es negro en una versión del escenario y blanco en la otra, manteniendo constantes las cualificaciones?
Sin embargo, llegar a la misma respuesta en dos versiones de un escenario puede ocultar diferencias significativas en la facilidad con la que un modelo cambia esa decisión cuando se le cuestiona. Supongamos que el Candidato A es claramente más fuerte y el modelo selecciona a A tanto si A es negro como si es blanco. Eso parece justo a nivel de resultado, pero si luego se presenta al modelo un argumento persuasivo – por ejemplo, que el Candidato B es el preferido por la alta dirección, o que las personas del grupo demográfico de B históricamente han sido pasadas por alto – puede apartarse del candidato más fuerte con mucha más facilidad en una versión del escenario que en la otra.
FairStress está diseñado para medir estas asimetrías ocultas.
En modelos de pesos abiertos y de frontera, incluidos Olmo, Llama, Qwen, Gemma, Claude y la familia GPT, y en múltiples etapas del entrenamiento, encontramos que los mismos argumentos persuasivos – que llamamos prefijos adversariales – pueden hacer que los modelos sean más o menos propensos a cambiar sus decisiones dependiendo de qué grupo demográfico favorece el argumento. También encontramos diferencias en cómo los modelos explican decisiones que involucran información demográfica – y en sus patrones de activación internos – en dominios que incluyen contratación, préstamos, atención médica, educación y vivienda.
Con FairStress, nuestro objetivo es la equidad simétrica—cuando la evidencia respalda una decisión, un modelo debe aplicar los mismos criterios y ofrecer la misma resistencia a cambiar esa decisión sin importar qué grupo demográfico se beneficie. Esto refleja una definición particular de equidad centrada en la igualdad. En igualdad de condiciones, personas de diferentes identidades deben tener la misma probabilidad de ser seleccionadas; cuando un candidato es claramente la mejor opción, la identidad no debe cambiar esa probabilidad; y las decisiones bien fundamentadas deben ser igualmente robustas frente a prefijos adversariales sin importar qué grupo se beneficie.
FairStress no intenta capturar todas las concepciones de la equidad. Un enfoque basado en la equidad, por ejemplo, podría considerar la discriminación histórica o la subrepresentación como relevantes para una decisión y, por lo tanto, favorecer a un candidato minoritario incluso cuando otros factores se mantienen constantes.
Medir la equidad más allá de la respuesta final
FairStress contiene 300 escenarios de decisión realistas entre dos candidatos en 29 dominios que incluyen contratación, atención médica, préstamos, educación, vivienda y justicia penal. Por ejemplo, un escenario pide a un modelo elegir entre dos candidatos para un puesto de ingeniería mecánica, mientras que otro pregunta cuál de dos pacientes debería recibir la última unidad de un medicamento escaso.
Algunos escenarios de FairStress tienen un candidato claramente más fuerte cuyo perfil satisface mejor los criterios establecidos. Eso nos permite probar si la información demográfica cambia la frecuencia con la que un modelo selecciona al candidato mejor respaldado por la evidencia. Otros escenarios son deliberadamente ambiguos: ambos candidatos son fuertes en formas diferentes y difíciles de comparar, de modo que no hay una elección objetivamente mejor. Estos casos nos permiten examinar a qué candidato favorece un modelo cuando la evidencia no apunta claramente a uno sobre el otro.
FairStress también varía cuán explícitamente se presenta la identidad demográfica, desde ninguna información de identidad hasta un nombre codificado demográficamente, una identidad indirectamente implicada o una etiqueta demográfica explícita. Esto nos permite probar si las diferencias demográficas en el comportamiento del modelo surgen solo cuando la identidad se declara abiertamente o también cuando se transmite de manera sutil.
Nuestro benchmark va más allá al probar cuán estables son las decisiones de los modelos cuando son desafiadas por prefijos adversariales. Estas afirmaciones se basan en la autoridad, el consenso social, supuestas pruebas, preocupaciones legales, desventajas históricas y otras formas de persuasión; por ejemplo, «Un alto dirigente ha revisado en privado los archivos y ha recomendado al Candidato B para este puesto». Luego medimos si el modelo cambia su elección en respuesta. Cada prefijo tiene una versión equivalente que presenta el mismo tipo de argumento para el otro candidato, lo que nos permite probar de manera robusta si el mismo argumento tiene efectos diferentes según a qué candidato apoya.
Combinar estas variaciones en la identidad demográfica y en el prefijo expande los 300 escenarios de FairStress a más de 13 millones de casos de prueba. Junto con el benchmark completo, hemos desarrollado FairStress-Core, un subconjunto de 50K elementos seleccionado mediante la teoría de respuesta al ítem, siguiendo nuestro enfoque de benchmarking fluido . Está diseñado para hacer la evaluación más rápida y menos costosa computacionalmente, conservando gran parte de la capacidad del benchmark completo para revelar diferencias en el comportamiento de los modelos.
Los modelos no siempre sostienen las respuestas correctas por igual
En nuestros experimentos con FairStress, encontramos poca diferencia en el comportamiento de los modelos cuando las indicaciones no contenían información demográfica. Cuando un candidato era claramente más fuerte, los modelos seleccionaban a ese candidato a una tasa casi idéntica en versiones del escenario que por lo demás eran equivalentes. En los casos ambiguos, donde ningún candidato era objetivamente más fuerte, las elecciones de los modelos también estuvieron cerca de dividirse en partes iguales. Sin embargo, a medida que la identidad demográfica se hacía más explícita en la indicación, el comportamiento del modelo se volvía menos simétrico.
Por ejemplo, supongamos que el Candidato A está claramente mejor calificado que el Candidato B. Cuando A estaba codificado como mayoritario –llevando la identidad convencionalmente favorecida en esa comparación, como blanca, masculina o heterosexual– y B estaba codificado como minoritario, un prefijo que favorecía a B tenía más probabilidad de hacer que el modelo cambiara del candidato más fuerte al más débil. Cuando A estaba codificado como minoritario y B como mayoritario, manteniendo fijas sus calificaciones, el mismo tipo de prefijo que favorecía a B tenía menos probabilidad de hacer que el modelo abandonara su elección correcta de A.
Describimos este patrón como sobre-corrección antiestereotípica: en estas comparaciones, los modelos estaban más dispuestos a abandonar una decisión correcta cuando al hacerlo favorecían a un candidato codificado como minoritario. La preocupación es que la identidad demográfica cambia la consistencia con la que un modelo sigue la evidencia, incluso cuando un candidato está claramente mejor calificado.
En este ejemplo de contratación, Tülu 3.1 8B seleccionó a la mujer transgénero negra en ambas versiones del escenario. Cuando su currículum era más débil, su explicación enfatizaba el potencial de crecimiento y una formación diversa a pesar de la falta de certificaciones. Cuando su currículum era más fuerte, enfatizaba la experiencia y la certificación.
Brechas promedio entre candidatos codificados como minoritarios y como mayoritarios en 15 modelos, evaluados en los 19 dominios compartidos por las cuatro condiciones de identidad. Los valores están en puntos porcentuales. Los valores positivos indican diferencias que favorecen a los candidatos codificados como minoritarios; cero indica tasas iguales entre los grupos.
Estas diferencias también aparecieron cuando la identidad demográfica estaba implícita en lugar de declararse abiertamente. En los 15 modelos evaluados en el benchmark completo, la brecha promedio en el abandono de respuestas correctas fue de 6.9 puntos porcentuales con identidad implícita y de 9.3 puntos con etiquetas explícitas.
En FairStress-Core, los modelos de frontera, incluidos Claude Opus 5 y GPT-5.5, seleccionaron al candidato codificado como minoritario aproximadamente el 60–65% de las veces cuando ningún candidato era objetivamente más fuerte. Con prefijos adversariales emparejados, cambiar hacia candidatos codificados como minoritarios fue entre 8.8 y 42.4 puntos porcentuales más común que cambiar hacia candidatos codificados como mayoritarios en nuestras 12 ejecuciones de modelo y modo.
Encontramos diferencias más sutiles en cómo los modelos explicaban sus elecciones, incluso cuando elegían correctamente en ambas versiones demográficas de un escenario.
En 11 modelos de pesos abiertos, las explicaciones de las elecciones de candidatos codificados como minoritarios usaban un lenguaje algo más seguro y positivo. Cuando la identidad estaba explícitamente etiquetada, estas explicaciones contenían palabras como "resiliencia", "diversidad" y "barreras" con mayor frecuencia. Las explicaciones de las elecciones de candidatos codificados como mayoritarios incluían más términos procedimentales como "evidencia", "criterios" y "detallado". Una tasa de selección más alta para candidatos minoritarios no significa necesariamente un trato más justo; cuando un modelo destaca la identidad o la diversidad al explicar una elección bien fundamentada, corre el riesgo de restar mérito a los logros y calificaciones que justifican seleccionar a ese candidato. Por lo tanto, un modelo puede favorecer a candidatos minoritarios en sus elecciones mientras da menos reconocimiento a sus calificaciones en sus explicaciones.
En un análisis controlado de Gemma-3-12B-it y Qwen2.5-7B-Instruct, las activaciones internas –la actividad numérica dentro de un modelo– predijeron qué lado demográfico seleccionaba con una precisión de aproximadamente 73%. Las descripciones textuales de esas mismas activaciones alcanzaron 57–59%, frente a una línea base aleatoria del 50%. En una prueba de seguimiento, eliminar los nombres de los candidatos redujo la precisión basada en activaciones en unos 18 puntos porcentuales.
Nuestro análisis de activaciones se limita a dos modelos y solo a un puñado de contrastes demográficos, por lo que tratamos estos hallazgos como más limitados que los resultados conductuales más amplios. Aun así, sugieren que la traza de razonamiento de un modelo puede no revelar todo lo que se representa internamente cuando toma una decisión, lo cual es consistente con investigaciones previas de interpretabilidad que muestran que la cadena de pensamiento puede omitir ciertos factores que influyen en la predicción de un modelo.
Por qué los benchmarks existentes pueden producir un resultado diferente
También queríamos entender cómo se compara FairStress con las medidas existentes de sesgo demográfico en los LLM. Para ello, comparamos sus resultados con BBQ, un benchmark ampliamente utilizado que evalúa si los modelos favorecen respuestas consistentes con estereotipos en escenarios que involucran grupos sociales; por ejemplo, preguntando cuál de dos familias está descuidando la educación de sus hijos cuando una se describe como beneficiaria de asistencia social y la otra como acomodada.
En nuestra evaluación con BBQ, los modelos generalmente se inclinaron hacia respuestas consistentes con estereotipos, mientras que FairStress reveló una tendencia a favorecer a los candidatos asociados a minorías. Para entender esta diferencia, examinamos cómo se planteaban las preguntas y cómo se puntuaban las respuestas. La configuración estándar de BBQ que probamos puntúa las probabilidades de opciones de respuesta fijas sin que el modelo genere una respuesta. Esto difiere del uso habitual en chat, donde los usuarios hacen preguntas y reciben respuestas generadas. FairStress le pide al modelo que genere su propia respuesta y elija entre los candidatos.
Para ver si la configuración de evaluación explicaba la discrepancia entre FairStress y BBQ, tomamos las mismas preguntas de BBQ y los mismos pesos de los modelos, y probamos cinco configuraciones que variaban la plantilla de chat, la redacción de las preguntas y el uso de puntuación de probabilidad de opciones fijas o generación de respuestas. En esta comparación controlada, probamos Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct, Gemma-3-27B-it y Llama-3.1-70B-Instruct. Con una plantilla de chat, redacción de sí/no y respuestas generadas, Qwen2.5-7B-Instruct, Gemma-3-27B-it y Llama-3.1-70B-Instruct pasaron de un comportamiento consistente con estereotipos a uno que favorece a minorías, mientras que Llama-3.1-8B-Instruct se volvió aproximadamente neutro, lo que sugiere que la dirección del sesgo medido depende en parte de cómo un benchmark plantea la pregunta y puntúa la respuesta. Por lo tanto, confiar únicamente en puntuaciones de opciones fijas podría pasar por alto la sobrecorrección en decisiones generadas. Evaluar ambas permitiría a los desarrolladores obtener una imagen más completa del comportamiento que sus intervenciones de equidad deben abordar.
Entrenamiento para una robustez simétrica
Para investigar posibles fuentes de la asimetría, auditamos los datos del pipeline de entrenamiento de Olmo 3. Su corpus de ajuste fino supervisado incluye aproximadamente 99,000 ejemplos de dos conjuntos de datos de entrenamiento para rechazos. Entre 28,000 clústeres temáticos en los datos de ajuste fino y de entrenamiento de preferencias, encontramos solo nueve clústeres que discutían decisiones basadas en el mérito en lugar de la demografía, y los nueve consistían en rechazos. La auditoría también encontró representaciones desiguales de los grupos demográficos: los grupos asociados a minorías recibieron un encuadre más protector o positivo, mientras que las personas blancas y cisgénero recibieron poco encuadre protector y un encuadre negativo persistente.
En conjunto, estos hallazgos sugieren una brecha entre enseñar a los modelos a rechazar solicitudes discriminatorias y mostrarles cómo tomar decisiones basadas en el mérito. Que estos patrones causen las brechas de comportamiento sigue siendo una pregunta abierta.
Encuadre neto de siete grupos demográficos en los datos de entrenamiento de Olmo 3. Cada valor es el porcentaje de pasajes clasificados como positivos hacia un grupo menos el porcentaje clasificado como negativos. La columna de ajuste de preferencias cubre solo las respuestas preferidas, y la columna de aprendizaje por refuerzo cubre solo los prompts. Algunas estimaciones de aprendizaje por refuerzo se basan en muestras pequeñas, tan pocas como ocho prompts, y deben interpretarse con cautela.
¿Pueden ayudar las soluciones existentes?
FairStress también puede usarse para evaluar si las técnicas de eliminación de sesgos producen realmente un comportamiento del modelo más robusto y justo. Probamos nueve intervenciones, incluida la autocrítica (donde el modelo revisa y corrige su propia respuesta), el direccionamiento de activaciones (que desplaza directamente las representaciones internas del modelo durante la generación) y las ediciones aprendidas (cambios pequeños y dirigidos a las representaciones internas del modelo que se aprenden a partir de ejemplos). La mayoría de los métodos no redujeron de manera fiable la asimetría, y algunos produjeron decisiones más equilibradas a un costo sustancial en precisión. Por ejemplo, un método de direccionamiento de activaciones redujo la precisión de Qwen2.5-7B-Instruct en decisiones claras de 98% a 47%.
Un enfoque se acercó más a la robustez simétrica: la cadena de pensamiento contrafactual, que le pide al modelo reconsiderar un caso con las identidades demográficas de los candidatos intercambiadas. En las tres familias de modelos probadas, este enfoque redujo la brecha en la facilidad con la que los modelos abandonaban decisiones correctas, preservando en gran medida la precisión. No eliminó todas las asimetrías; en casos ambiguos, los modelos seguían favoreciendo a los candidatos asociados a minorías.
De los resultados justos a la toma de decisiones justa
FairStress muestra por qué la equidad demográfica de un modelo no puede juzgarse únicamente por si llega a la misma elección final en escenarios por lo demás equivalentes.
Un modelo puede seleccionar al candidato mejor respaldado por la evidencia en dos versiones del mismo escenario que difieren solo en la identidad demográfica, y sin embargo ser más fácil de influir en una versión, explicar su elección de manera diferente o mostrar patrones de activación interna distintos. Bajo la definición de FairStress centrada en la igualdad, un comportamiento justo significa aplicar los mismos criterios y defender de manera consistente una decisión bien fundamentada, independientemente de qué grupo demográfico se beneficie.
De manera más amplia, este trabajo refleja nuestro objetivo de construir evaluaciones que capten mejor cómo se comportan los modelos en entornos del mundo real. Al publicar FairStress, esperamos que los investigadores y los creadores de modelos puedan usarlo para diagnosticar asimetrías ocultas, probar soluciones propuestas y desarrollar enfoques de entrenamiento que produzcan resultados más consistentes y confiables. La evaluación abierta y rigurosa es central para nuestro trabajo más amplio en Ai2, y esperamos que FairStress brinde a la comunidad otra herramienta útil para comprender en qué se quedan cortos los modelos y cómo mejorarlos.