Quando a discriminare è un algoritmo

Sempre più spesso le aziende si affidano ad algoritmi per accelerare i processi di selezione del personale. Tuttavia, la poca attenzione al tema dell’inclusione nell’uso di tali strumenti può portare a vere e proprie pratiche discriminatorie nei confronti di lavoratori e lavoratrici di diversa origine etnica, abilità/disabilità, identità di genere ecc. Un rischio di cui le aziende devono essere consapevoli.

Qualche giorno fa è stato pubblicato sul sito della rivista Internazionale un bel video intitolato «Quando l’intelligenza artificiale decide chi assumere»[1].

Il video mostra che l’assenza di eterogeneità nel profilo dei programmatori e la poca attenzione al tema dell’inclusione hanno generato algoritmi che discriminano i lavoratori e le lavoratrici di diversa origine etnica, abilità/disabilità, identità di genere ecc.

Questi algoritmi sono usati sempre più spesso dalle aziende nei processi di selezione. Si parla, infatti, di algorithmic hiring, ossia l’uso di software «addestrati» per stabilire, sulla base di alcuni assunti, se il candidato sia adatto alla posizione da ricoprire. Fin qui, nulla di male, se non fosse che, attraverso l’impostazione di una serie filtri, è possibile escludere un certo target che presenta alcune caratteristiche, per esempio rientra in una certa fascia di età o possiede un certo tipo di istruzione, compiendo delle vere e proprie pratiche discriminatorie[2]. Gli algoritmi incorporano, quindi, i pregiudizi di chi li progetta o di chi li imposta, ma diventano potenzialmente più pericolosi, perché sono ricoperti da un’aurea di neutralità, dato che sono processi automatizzati nei quali sembra che la soggettività non entri in gioco.

Come racconta Alessandro Vespignani[3], una ricercatrice del MIT si rese conto sulla sua pelle (letteralmente!) quanto potesse essere discriminatorio un algoritmo. Si accorse che quando si sedeva di fronte alla telecamera per il riconoscimento facciale, il computer non riconosceva il suo volto, e per questo doveva ricorrere all’aiuto di un collega, che invece veniva riconosciuto facilmente. L’unica differenza stava nel colore della pelle: lei afroamericana, lui bianco. Così, decise di intraprendere uno studio sui sistemi di riconoscimento facciale. Quando l’oggetto era il volto di uomini maschi gli errori erano rari; quando era il momento di identificare i volti delle donne di colore, l’algoritmo commetteva molti più errori. Questo perché «la maggior parte delle reti neurali che classificano le immagini sono addestrate grazie a ImageNet, un immenso archivio di oltre 14 milioni di foto etichettate usando più parole o intere frasi, con una grande pecca: il 45 per cento dei dati proviene dagli Stati Uniti, dove vive solo il 4 per cento della popolazione mondiale, mentre Cina e India contribuiscono solo per il 3 per cento»[4].

Affidarsi a questi sistemi nei processi di selezione comporta dunque dei rischi di cui le aziende devono essere consapevoli.