Da ricordare
- Un modello riproduce gli squilibri presenti nei dati con cui è addestrato.
- Togliere una variabile sensibile non basta: altre variabili possono sostituirla.
- Non esiste una sola definizione di equità; ogni scelta va dichiarata.
"Il computer non ha pregiudizi." È una frase che si sente spesso, e in un senso stretto è vera: un calcolo è un calcolo. Il problema è che un sistema di apprendimento automatico non inventa le sue regole dal nulla. Le ricava dai dati, e i dati raccontano il mondo com'era, con tutti i suoi squilibri. Vediamo dove entrano e perché è difficile farli uscire.
Domanda: di quale bias stiamo parlando?
Che cosa intendiamo per bias
In statistica il bias è uno scostamento sistematico: un errore che va sempre nella stessa direzione. Nel dibattito sull'IA il termine indica soprattutto gli errori che colpiscono in modo diverso gruppi diversi di persone. Un sistema di riconoscimento vocale che sbaglia più spesso con alcuni accenti regionali, per esempio, ha un bias anche se la sua precisione media è alta.
Il punto chiave è proprio questo: una buona media può nascondere differenze forti tra i gruppi. Per vederle bisogna misurare le prestazioni separatamente, gruppo per gruppo.
Domanda: in quali momenti lo squilibrio entra nel sistema?
Quattro porte d'ingresso
- Dati raccolti
- Se alcuni gruppi sono poco presenti, il modello impara poco su di loro e sbaglia di più.
- Etichette
- Le risposte "corrette" sono spesso decisioni umane del passato, con i loro pregiudizi.
- Obiettivo
- Il modello ottimizza ciò che gli si chiede. Se l'obiettivo è una misura indiretta, eredita le sue distorsioni.
- Uso del risultato
- Lo stesso punteggio può essere usato con cautela o applicato in automatico, con effetti molto diversi.
Un esempio molto citato riguarda la selezione del personale. Alla fine degli anni Dieci un grande gruppo tecnologico ha sperimentato un sistema per ordinare i curriculum, addestrato sulle assunzioni dei dieci anni precedenti. Poiché in quel periodo erano stati assunti soprattutto uomini, il modello aveva imparato a penalizzare elementi associati alle candidate donne. Il progetto è stato abbandonato. Il modello aveva fatto esattamente ciò per cui era stato addestrato: imitare le decisioni passate.
Un altro caso, documentato in uno studio pubblicato sulla rivista Science nel 2019, riguarda un algoritmo sanitario statunitense che usava la spesa medica passata come misura del bisogno di cure. Poiché alcuni gruppi avevano avuto meno accesso alle cure, e quindi spese più basse, il sistema sottostimava il loro bisogno reale. Qui il problema era nell'obiettivo.
Domanda: basta togliere i dati sensibili?
Le variabili indirette
Sembra la soluzione più semplice: se non vuoi che il modello tenga conto del genere o dell'origine, non dargli quelle informazioni. Purtroppo non funziona così. Altre variabili possono essere fortemente correlate a quelle escluse e farne le veci. Il codice postale può riflettere la composizione sociale di un quartiere. Il tipo di corso di studi può riflettere il genere. Lo storico di acquisti può riflettere l'età.
Queste sono le variabili indirette, dette anche variabili sostitutive. Il modello non "sa" di usarle in modo discriminatorio: trova semplicemente che sono utili a prevedere l'etichetta. Per scoprirle servono analisi specifiche, e a volte proprio i dati sensibili che si volevano evitare, raccolti e trattati con le tutele previste dalla legge, per misurare le differenze tra i gruppi.
Domanda: che cosa succede quando il tema è il denaro?
Un caso di studio: il credito
La valutazione del merito creditizio è uno degli usi dell'IA più discussi, al punto che il regolamento europeo sull'intelligenza artificiale la include tra i casi ad alto rischio quando riguarda persone fisiche. Il motivo è chiaro: un punteggio può decidere se una famiglia ottiene un prestito.
I dati storici sul credito riflettono chi in passato ha ricevuto prestiti e a quali condizioni. Chi non ha una storia creditizia, per esempio un giovane o una persona arrivata da poco in un paese, è poco rappresentato. Il modello rischia di trattare l'assenza di dati come un segnale negativo. Per questo i regolatori europei chiedono che questi sistemi siano documentati, controllati nel tempo e spiegabili, e che la persona interessata possa chiedere un intervento umano.
Nota bene: qui stiamo descrivendo come funzionano questi sistemi, non come ottenere un punteggio migliore né come scegliere un prodotto finanziario.
Domanda: che cosa puoi fare, da utente o da cittadino?
Che cosa si può chiedere
Eliminare del tutto il bias non è possibile, anche perché esistono più definizioni di equità e spesso non si possono soddisfare tutte insieme. Per esempio, avere lo stesso tasso di errore in ogni gruppo e avere la stessa percentuale di esiti positivi in ogni gruppo sono obiettivi che, in molti casi, si escludono a vicenda. Si può però rendere il problema visibile e gestito.
- Chiedere su quali dati è stato addestrato il sistema e se sono rappresentativi della popolazione a cui si applica.
- Chiedere se le prestazioni sono state misurate separatamente per gruppi diversi.
- Chiedere quale definizione di equità è stata scelta, e perché.
- Sapere se una persona può rivedere la decisione e come contestarla.
Sono domande che chiunque può porre. Non richiedono competenze tecniche, solo la consapevolezza che un modello impara dal passato. E il passato non è neutrale.