Joy Buolamwini stava approfondendo presso il MIT i suoi studi sul riconoscimento facciale quando ha iniziato a notare qualcosa di strano. Ogni volta che si sedeva davanti alla telecamera anteriore di un sistema, questa non riconosceva il suo volto, anche dopo aver funzionato con i suoi amici con la pelle più chiara. Ma quando ha indossato una semplice maschera bianca, l’animazione del face tracking ha improvvisamente illuminato lo schermo.

Sospettando un problema più generalizzato, ha condotto uno studio sui sistemi di riconoscimento facciale di Microsoft, IBM e Face ++, una startup cinese che ha raccolto oltre 500 milioni di dollari dagli investitori.

La ricerca

Buolamwini ha testato i sistemi con 1.000 volti diversi, chiedendo loro di differenziare ciascuno tra uomini e donne. Le tre società hanno fatto spettacolarmente bene nel discernere tra i volti bianchi e gli uomini in particolare. Ma quando si trattava di donne dalla pelle scura, i risultati sono stati negativi: improvvisamente, si verificava un aumento del 34% di errori in più nelle donne di pelle scura che negli uomini di pelle chiara.

Man mano che le tonalità della pelle delle donne diventavano più scure, le probabilità che gli algoritmi potessero capire correttamente il loro genere erano lasciate al caso. Con le donne dalla pelle scura, i sistemi di rilevamento facciale hanno confuso il sesso quasi la metà delle volte.

Il progetto di Buolamwini, che è diventato la base della sua tesi del MIT, mostra che le preoccupazioni sul pregiudizio stanno aggiungendo una nuova dimensione all’ansia generale che circonda l’intelligenza artificiale.

Mentre molto è stato scritto sui modi in cui l’apprendimento automatico sostituirà il lavoro umano, il pubblico ha prestato meno attenzione alle conseguenze di tutta una serie di dati distorti. Cosa succede, per esempio, quando gli ingegneri del software addestrano i loro algoritmi di riconoscimento facciale principalmente con immagini di uomini bianchi? La ricerca di Buolamwini ha mostrato che l’algoritmo stesso è prevenuto.

Suranga Chandratillake, un importante venture capitalist presso Balderton Capital a Londra, afferma che il pregiudizio nell’IA è preoccupante quanto la distruzione del lavoro. Il problema più grande è costruire sistemi alimentati da un’intelligenza artificiale che prende i dati storici per dare giudizi. “I dati storici potrebbero essere totalmente distorti“, dice Chandratillake dal suo ufficio a Kings Cross, dove si trova la sede di DeepMind, la principale società di intelligence artificiale di Google. “In media, le persone approvano i mutui per uomini o persone bianche o per una determinata città“. Quando il potere di emettere quel giudizio è concesso a una macchina, la macchina “codifica quel pregiudizio”.

Finora, gli esempi di pregiudizi causati dagli algoritmi sono sembrati banali, ma insieme possono avere un impatto, specialmente con così tante aziende in competizione per incorporare l’intelligenza artificiale nelle loro applicazioni e servizi. Negli ultimi mesi, diversi ricercatori hanno sottolineato come persino Google Translator abbia mostrato segni di sessismo, suggerendo automaticamente parole come “lui” per lavori dominati da uomini e viceversa, quando tradotti da un linguaggio di genere neutrale come il turco. Camelia Boban, una sviluppatrice di software in Italia, ha notato anche che Google Translate non ha riconosciuto il termine femminile per “programmatore” in italiano, ovvero “programmatrice”.

Tali esempi possono sembrare sorprendenti quando il software dovrebbe essere logico e obiettivo. “Le persone pensano che le macchine siano razionali“, afferma Chandratillake. “Si finisce senza rendersi conto che in realtà ciò che dovrebbe essere meritocratico non lo è affatto. È solo una codifica di qualcosa che non c’era fin dall’inizio“. Quando gli esseri umani prendono decisioni importanti sull’assunzione o sulla concessione di un prestito bancario, è più probabile che venga loro chiesto il ragionamento. Ci sono meno ragioni per mettere in dubbio l’intelligenza artificiale a causa di “questa vernice innovativa di nuova tecnologia“, dice, “ma è destinata a ripetere gli errori del passato“.

Oggi, gli ingegneri sono troppo concentrati su algoritmi di costruzione per risolvere problemi complessi. Invece, dovrebbero realizzare un algoritmo per monitorare e comunicare come sta funzionando il primo algoritmo. “Oggi, il modo in cui viene configurata una grande quantità di intelligenza artificiale è fondamentalmente una scatola nera“, aggiunge. “Le reti neurali non sono in grado di spiegare perché hanno preso una decisione“.

Fortunatamente, questo è un problema su cui si può lavorare.