Intelligenza artificiale e razzismo: il pregiudizio che sembra neutrale
Un curriculum viene scartato in pochi secondi. Un volto non viene riconosciuto da una telecamera. Un punteggio di “rischio” decide chi resta in carcere e chi no. In nessuno di questi momenti c’è un insulto, un gesto, una rissa. C’è una decisione automatica — e spesso nessuno sa spiegare perché.
È qui che si incrociano intelligenza artificiale e razzismo. Non perché le macchine “odino”. Perché i sistemi apprendono da dati, pratiche e priorità umane. Se quei materiali riflettono disuguaglianze storiche, l’algoritmo può riprodurle a scala, con l’aura rassicurante dell’oggettività. Il risultato è ciò che viene definito bias algoritmico, una forma di discriminazione algoritmica che può produrre effetti concreti nella selezione del personale, nella giustizia, nel riconoscimento facciale e nei servizi digitali.
Questo articolo non è un catalogo di panico tecnologico. È un percorso concreto: da dove nasce il problema, dove si vede oggi, perché è una questione di diritti, e cosa si può chiedere a imprese e istituzioni — senza fingere che basti “avere più etica” in un comunicato stampa.
Cosa significa davvero “bias algoritmico”
Un bias, in questo contesto, non è un’opinione personale del software. È uno scostamento sistematico: tassi di errore diversi tra gruppi, opportunità diverse, sorveglianza diversa. Può arrivare dai dati di addestramento (chi è rappresentato, chi no), dalle etichette usate per “insegnare” al modello, dalle scelte di chi progetta il sistema, o dal modo in cui il punteggio viene usato da un essere umano pressato dal tempo.
A volte il bias è banale e brutale: un dataset di volti con troppe foto di un solo gruppo demografico. Altre volte è più sottile: variabili “proxy” che sembrano neutre — quartiere, scuola, storico dei controlli — e che in realtà riassumono disuguaglianze già esistenti. L’algoritmo non “vede” la razza; vede correlazioni. Ma se quelle correlazioni sono figlie di un passato discriminatorio, l’effetto può essere lo stesso.
Importante: dire che un algoritmo è discriminatorio non significa attribuirgli intenzioni. Significa osservare effetti. Allo stesso modo, dire che “l’IA non è razzista di per sé” non chiude la questione: se produce esiti razzializzati in modo ripetuto e prevedibile, il problema esiste — ed è politico, giuridico e tecnico insieme.
Il razzismo, del resto, non nasce nei server. Nasce nelle storie, nelle gerarchie, nelle rappresentazioni. Su Antirazzismo.com ne abbiamo tracciato le radici culturali in origine del razzismo. L’IA non inventa quel passato: lo può compressare in una formula e renderlo più difficile da contestare.
Selezione del personale: quando il passato decide il futuro
Uno dei casi più citati riguarda Amazon. Nel 2018 Reuters ha ricostruito come l’azienda avesse sperimentato uno strumento automatico di screening dei curriculum che finiva per penalizzare le candidate donne: il modello aveva imparato dai pattern di assunzioni passate, dominati da profili maschili nel settore tecnico. Amazon ha interrotto quel progetto. Non è un aneddoto “contro Amazon”: è un esempio chiaro di come un sistema possa trasformare una disuguaglianza storica in regola operativa.
Il meccanismo vale oltre il genere. Ovunque i dati di “successo” riflettano chi è già stato assunto, finanziato o promosso, il modello tenderà a preferire chi assomiglia a quel passato. Accade in screening di CV, ranking di candidati, filtri automatici sulle piattaforme di lavoro. Spesso nessuno ha programmato un’istruzione del tipo “escludi questo gruppo”: basta ottimizzare una metrica di “idoneità” costruita su un passato diseguale. È una forma di discriminazione che ricorda le discriminazioni sottili della vita quotidiana: non sempre esplicita, spesso giustificata come “efficienza”.
Volti, errori e riconoscimento facciale
Nel riconoscimento e nell’analisi dei volti il problema è stato documentato con particolare chiarezza. Il progetto Gender Shades di Joy Buolamwini e Timnit Gebru ha mostrato, su sistemi commerciali di classificazione del genere, disparità di accuratezza molto marcate: gli errori più alti riguardavano le donne con carnagione più scura, mentre i tassi di errore sui volti maschili chiari erano drasticamente inferiori. Non è un dettaglio estetico: è la prova che “funziona” non significa “funziona per tutti”.
Va distinto, per onestà, tra classificazione del genere a partire da un volto e riconoscimento dell’identità (match tra due immagini). Sono compiti diversi. Ma il punto culturale è lo stesso: se un sistema fallisce di più su certi corpi, quei corpi pagano di più quando la tecnologia viene messa in strada, in aeroporto, in una stazione di polizia.
Il National Institute of Standards and Technology (NIST), negli Stati Uniti, ha valutato a lungo gli effetti demografici nei sistemi di riconoscimento facciale. I rapporti FRVT mostrano che le prestazioni possono variare per età, sesso e origine demografica, con differenze sia nei falsi positivi sia nei falsi negativi a seconda degli algoritmi e della qualità delle immagini. Tradotto: non tutti i sistemi sbagliano allo stesso modo, ma ignorare le differenze demografiche è una scelta, non una fatalità tecnica.
Quando questi strumenti entrano in contesti di polizia, frontiere o sorveglianza urbana, un errore non è un “bug” da ticket. Può diventare un fermo, un controllo ripetuto, una vita messa sotto pressione. Per questo organizzazioni per i diritti umani chiedono limiti d’uso, audit pubblici e, in certi casi, moratorie — non slogan, ma freni. Anche la qualità delle foto conta: luce sbagliata su pelli scure, angoli sbagliati, dataset sbilanciati. La tecnica e la società, qui, non si separano.
Anche in Europa il dibattito è aperto
Il confronto non riguarda soltanto gli Stati Uniti. Negli ultimi anni il Parlamento europeo, il Comitato europeo per la protezione dei dati e numerose organizzazioni per i diritti civili hanno espresso forti preoccupazioni sull’uso del riconoscimento facciale negli spazi pubblici. Il timore è che sistemi poco trasparenti possano aumentare il rischio di controlli discriminatori, sorveglianza generalizzata ed errori che colpiscono in modo sproporzionato alcune minoranze.
Questo dibattito ha contribuito alla definizione dell’AI Act europeo, che introduce regole più severe per le applicazioni considerate ad alto rischio e limita alcuni utilizzi dei sistemi biometrici da parte delle autorità pubbliche. Le norme non eliminano il rischio di discriminazione, ma riconoscono che l’identificazione automatizzata non può essere trattata come una tecnologia neutrale quando incide sulla libertà, sulla privacy e sugli altri diritti fondamentali.
Giustizia predittiva e il caso COMPAS
Negli Stati Uniti alcuni strumenti valutano il rischio di recidiva per orientare decisioni processuali. Nel 2016 ProPublica ha analizzato COMPAS, un sistema commerciale usato in vari contesti. L’inchiesta ha trovato che, pur con accuratezze complessive simili tra gruppi, gli errori non erano simmetrici: gli imputati neri risultavano più spesso classificati a rischio più alto di quanto poi avvenisse, mentre gli imputati bianchi erano più spesso classificati a basso rischio rispetto agli esiti successivi.
Il produttore del software ha contestato l’interpretazione, e da allora ricercatori e giuristi discutono su cosa significhi “equo” in termini statistici. Non è un cavillo da laboratorio. Se un giudice legge un punteggio rosso, quel numero entra nella stanza come se fosse un fatto. Se il numero sbaglia in modo diseguale, la giustizia processuale eredita un bias mascherato da previsione.
Da allora il dibattito tecnico si è fatto più sottile: esistono diverse definizioni matematiche di “equità”, e non sempre possono essere soddisfatte insieme. Questo non assolve nessuno. Dice piuttosto che “l’algoritmo è neutrale” è una frase troppo povera per un problema così denso. Se un punteggio influenza libertà personale, chi lo adotta deve saper spiegare criteri, limiti e responsabilità — non nascondersi dietro la scatola nera.
Piattaforme, feed e visibilità
Sui social network i bias sono più difficili da misurare dall’esterno, ma gli effetti si sentono: contenuti che spariscono, account che vengono spinti ai margini, moderazione che colpisce in modo diseguale. Non ogni denuncia è automaticamente prova scientifica. Ma l’opacità dei sistemi di ranking e raccomandazione rende proprio difficile verificare se certe comunità — razzializzate, religiose, attiviste — siano trattate allo stesso modo.
Anche i modelli generativi — quelli che producono testi e immagini — ereditano stereotipi dai corpora su cui sono addestrati. Possono associare certi mestieri, tratti o minacce a gruppi specifici, oppure riprodurre cliché razziali “perché così è scritto nei dati”. Non è magia: è frequenza statistica trasformata in risposta plausibile. Se nessuno controlla gli output su casi delicati, lo stereotipo torna in circolo con la voce calma di un assistente automatico.
Qui il razzismo digitale si intreccia con il potere di chi decide cosa è “sicuro”, “rilevante”, “spam”. Quando le regole sono opache, la contestazione diventa un privilegio di chi ha avvocati, dati e microfoni. Per chi resta solo, resta il silenzio del feed.
Perché è una questione di diritti
La discriminazione algoritmica non ha sempre il linguaggio dell’odio. Ha il linguaggio del punteggio, della soglia, della “ottimizzazione”. Proprio per questo è insidiosa: non lascia una rissa da filmare, lascia una porta chiusa. Credito, lavoro, casa, scuola, controlli di polizia: ovunque l’automazione accelera decisioni, può anche accelerare esclusioni.
Manca spesso un diritto effettivo a capire e a contestare. Se una persona viene scartata da un sistema, chi risponde? Il fornitore del software, l’ente che lo compra, il funzionario che “si fida del numero”? Senza trasparenza e responsabilità, il razzismo si sposta dal volto dell’aggressore alla scheda di un modello — e diventa più difficile da nominare. Anche il sessismo e le disuguaglianze di genere, come mostrano i casi di screening e di analisi dei volti, si intrecciano spesso con le disparità razziali: l’errore peggiore cade dove le categorie si sovrappongono.
Non a caso l’antirazzismo oggi non può limitarsi alle parole dette a scuola o in famiglia — temi che restano centrali, come in come spiegare il razzismo ai bambini. Deve guardare anche a infrastrutture che sembrano tecniche e invece distribuiscono potere.
L’Europa prova a fissare dei limiti
L’Unione europea ha adottato con l’AI Act un quadro normativo specifico per l’intelligenza artificiale. Il regolamento non stabilisce che un algoritmo debba essere perfetto, ma introduce obblighi più rigorosi per i sistemi considerati ad alto rischio, come quelli utilizzati nella selezione del personale, nell’istruzione, nell’accesso ai servizi essenziali e in alcuni ambiti della pubblica amministrazione.
Tra gli elementi centrali ci sono la valutazione dei rischi, la qualità e la documentazione dei dati, la supervisione umana, la tracciabilità del funzionamento e i controlli lungo il ciclo di vita dei sistemi. Alcune applicazioni, soprattutto nel campo della biometria e della sorveglianza, sono inoltre sottoposte a limitazioni o divieti specifici.
L’AI Act non elimina automaticamente i bias e non sostituisce gli audit indipendenti. Rappresenta però un passaggio importante: riconosce che gli algoritmi non sono semplici strumenti tecnici e che, quando incidono sui diritti delle persone, devono essere sottoposti a obblighi, verifiche e responsabilità precise.
Cosa si può fare (senza magie)
Non esiste un interruttore “IA etica” da accendere una volta per tutte. Esistono pratiche concrete. Dataset più rappresentativi e meglio documentati. Test pubblici sulle prestazioni per sottogruppi demografici. Audit indipendenti. Limiti d’uso nei contesti ad alto rischio. Diritto di spiegazione e di ricorso quando una decisione automatizzata ha effetti rilevanti. Diversità reale — non solo di comunicazione — nei team che progettano i sistemi.
In Europa il regolamento sull’intelligenza artificiale (AI Act) classifica certi usi come ad alto rischio e ne vieta altri, soprattutto in ambito biometrico e di sorveglianza, con un quadro che continua a precisarsi nell’applicazione. Non risolve da solo il bias. Segnala però che la politica pubblica può entrare nella scatola nera, invece di lasciarla solo al mercato. Resta il lavoro quotidiano di chi implementa: un divieto scritto male, o un audit di facciata, non cambia nulla.
Anche i cittadini e le organizzazioni possono fare pressione: chiedere se un ente usa sistemi automatici, su quali dati, con quali controlli, con quale possibilità di errore. Diffidare delle promesse di “accuratezza al 99%” senza sapere per chi vale quel 99%. Preferire strumenti aperti a verifica rispetto a promesse di magia proprietaria. E ricordare che “innovazione” non è un sinonimo di “progresso” se il costo degli errori cade sempre sugli stessi corpi.
Non è destino, è progetto
Torniamo al curriculum scartato in pochi secondi. Quella velocità non è neutra. È il risultato di scelte: quali dati usare, quale obiettivo ottimizzare, quale errore accettare, chi pagherà il costo degli sbagli. L’intelligenza artificiale può discriminare — e lo ha già fatto, in casi documentati — non perché sia “cattiva”, ma perché eredita mondi diseguali e li rende operativi.
Il compito, allora, non è demonizzare la tecnologia né sacralizzarla. È trattarla come si tratta ogni potere: con limiti, prove, responsabilità. Finché un algoritmo decide su vite reali, la domanda non è se sia “intelligente”. È se sia giusto — e per chi.
In una società sempre più guidata dai dati, il diritto all’uguaglianza non dipenderà soltanto dalle leggi o dai comportamenti individuali, ma anche dalla capacità di rendere trasparenti, verificabili e contestabili le decisioni prese dagli algoritmi. L’antirazzismo del futuro passerà anche da qui.
Fonti
Reuters, inchiesta sul sistema di recruiting di Amazon (2018). Joy Buolamwini e Timnit Gebru, Gender Shades (FAT* / PMLR, 2018). NIST, Face Recognition Vendor Test — Demographic Effects. ProPublica, analisi di COMPAS (2016). Regolamento (UE) 2024/1689 sull’intelligenza artificiale (AI Act), testo ufficiale. Comitato europeo per la protezione dei dati (EDPB), posizioni e linee guida sull’uso della biometria e del riconoscimento facciale. Materiali di AlgorithmWatch e organizzazioni per i diritti digitali sul riconoscimento facciale e la responsabilità algoritmica.
