Una brecha en las citas se cerró al incluir la raza

Una cola de citas puede ocultar la decisión que la determina. En un sistema de programación basado en aprendizaje automático en el ámbito sanitario, los pacientes negros esperaron aproximadamente un 30 % más que los pacientes no negros. Los investigadores eliminaron la disparidad al incluir la raza en el objetivo de optimización del sistema, manteniendo al mismo tiempo la eficiencia de la programación.

Ese hallazgo muestra por qué los sistemas de IA no son solo motores de predicción. Pueden asignar recursos, determinar oportunidades e influir en los procesos institucionales. Cuando las desigualdades históricas están incorporadas en los datos, la retroalimentación es incompleta o las instituciones interactúan de forma que se refuerzan mutuamente, las disparidades pueden aparecer de manera menos visible y agravarse con el tiempo.

El ejemplo procede de uno de los 13 estudios incluidos en un número especial de INFORMS Journal on Computing centrado en la IA responsable y la ciencia de datos para el bien social. El número abarca seis áreas: sistemas judiciales, educación, comunicación, atención sanitaria, sesgo y equidad, e interpretabilidad. Ram Ramesh, profesor de la Facultad de Gestión de la Universidad de Buffalo y editor de área de la revista, afirma que las consecuencias éticas no pueden abordarse únicamente después de construir los sistemas; los objetivos sociales deben orientar la recopilación de datos, el aprendizaje, la optimización, la interacción y la gobernanza.

Ramesh describe la equidad como un objetivo de diseño, no como una restricción externa que se añade a un sistema que, por lo demás, es óptimo. El resultado sobre las citas es una demostración limitada pero útil: cambiar aquello que optimiza un algoritmo modificó una disparidad medida sin reducir la eficiencia de programación registrada. No resuelve los problemas más amplios creados por los datos históricos sesgados o la retroalimentación incompleta.

En términos concretos, los equipos que desarrollan IA para programar citas o asignar recursos pueden tratar la equidad como parte de las especificaciones técnicas desde el principio, junto con los datos y los objetivos de rendimiento. Para las personas afectadas por esos sistemas, esa decisión puede traducirse en una diferencia medible en el tiempo de espera. El resultado comunicado ofrece una vía específica de mejora, aunque deja firmemente sobre la mesa de ingeniería la tarea más amplia: detectar y prevenir las disparidades menos evidentes.