Ridurre il divario nelle attese includendo la razza

Una coda per le prenotazioni può nascondere la decisione che la determina. In un sistema di prenotazione sanitaria basato sul machine learning, i pazienti neri attendevano circa il 30% in più rispetto ai pazienti non neri. I ricercatori hanno eliminato il divario inserendo la razza nell'obiettivo di ottimizzazione del sistema, mantenendo al contempo l'efficienza delle prenotazioni.

Il risultato mostra perché i sistemi di IA non siano soltanto motori di previsione. Possono distribuire risorse, influenzare le opportunità e condizionare i processi istituzionali. Quando le disuguaglianze storiche sono incorporate nei dati, i feedback sono incompleti o le istituzioni interagiscono in modi che si rafforzano a vicenda, i divari possono emergere in modo meno visibile e aggravarsi nel tempo.

L'esempio proviene da uno dei 13 studi pubblicati in un numero speciale dell'INFORMS Journal on Computing dedicato all'IA responsabile e alla data science per il bene sociale. Il numero copre sei aree: sistemi giudiziari, istruzione, comunicazione, sanità, distorsioni ed equità, e interpretabilità. Ram Ramesh, professore alla School of Management dell'Università di Buffalo e responsabile di area della rivista, afferma che le conseguenze etiche non possono essere affrontate soltanto dopo la realizzazione dei sistemi; gli obiettivi sociali devono orientare la raccolta dei dati, l'apprendimento, l'ottimizzazione, l'interazione e la governance.

Ramesh descrive l'equità come un obiettivo progettuale, non come un vincolo esterno aggiunto a un sistema altrimenti ottimale. Il risultato sulle prenotazioni è una dimostrazione circoscritta ma utile: modificare ciò che un algoritmo ottimizza ha cambiato un divario misurato senza ridurre l'efficienza delle prenotazioni riportata. Non risolve i problemi più ampi creati dai dati storici distorti o dai feedback incompleti.

In concreto, i team che sviluppano sistemi di IA per le prenotazioni o l'allocazione delle risorse possono considerare l'equità parte integrante delle specifiche tecniche fin dall'inizio, insieme ai dati e agli obiettivi di rendimento. Per le persone interessate da questi sistemi, quella scelta può tradursi in una differenza misurabile nei tempi di attesa. Il risultato riportato offre una strada specifica per migliorare la situazione, lasciando però il compito più ampio — individuare e prevenire i divari meno evidenti — saldamente sul tavolo degli ingegneri.