Razzismo algoritmico: quando il software eredita i pregiudizi
Si tratta spesso di razzismo algoritmico, fenomeni che restano nel sottofondo della vita quotidiana. Nel 2018 Joy Buolamwini del MIT misurò l'accuratezza di sistemi di riconoscimento facciale commerciali: errori fino al 34% su donne con pelle scura, meno dell'1% su uomini bianchi. Gli algoritmi ereditano i bias dei dati con cui vengono addestrati.
Il razzismo algoritmico non è fantascienza. È discriminazione prodotta da software usati ogni giorno.
I modelli di machine learning trovano pattern in dati storici. Se i dati riflettono discriminazioni passate — meno assunzioni di donne nere, più controlli di polizia in quartieri popolati da migranti, meno prestiti a residenti in certe periferie — il modello può riprodurre e amplificare quegli schemi.
Il caso COMPAS negli Stati Uniti è emblematico: un software usato dai tribunali per stimare il rischio di recidiva sovrastimava la pericolosità di imputati neri rispetto a bianchi con profilo simile. ProPublica nel 2016 documentò il bias; il dibattito giuridico è ancora aperto.
In Europa il Regolamento AI Act — entrato in vigore progressivamente dal 2024 — classifica alcuni usi dell'IA ad alto rischio (selezione personale, credito, law enforcement) e impone trasparenza, supervisione umana e valutazioni di conformità. L'Italia recepisce tramite AGID e autorità di settore; l'attuazione su scala nazionale è in corso.
Spesso l'etnia non è una variabile esplicita. Ma codice postale, nome, lingua del browser, tipo di smartphone possono fungere da proxy — correlati statisticamente con l'appartenenza a gruppi protetti. Un modello che «ottimizza» senza controlli può escludere indirettamente proprio chi le norme antidiscriminazione dovrebbero proteggere.
Le multinazionali e le grandi aziende italiane usano Applicant Tracking Systems che filtrano CV per parole chiave e scoring automatico. Senza audit, un sistema addestrato su assunzioni storiche maschili e italiane può penalizzare candidati con nomi percepiti come stranieri o percorsi scolastici all'estero. Sullo stesso tema, Fruste digitali: razzismo digitale e odio che attraversano le piattaforme social offre un quadro complementare.
Nel credito, modelli di scoring valutano affidabilità. La Banca d'Italia e l'IVASS vigilano su modelli assicurativi; le linee guida europee richiedono spiegabilità per decisioni automatizzate che impattano i consumatori. Eppure le segnalazioni all'UNAR includono casi di rifiuti prestito o assicurazione difficili da ricostruire senza accesso al modello.
La videosorveglianza con analisi comportamentale e riconoscimento facciale è usata in stazioni, centri commerciali, eventi. Il Garante per la protezione dei dati personali ha più volte sanzionato trattamenti illegittimi; il decreto legislativo 14 maggio 2024, n. 56 recepisce l'AI Act con divieti su riconoscimento biometrico remoto in tempo reale in spazi pubblici salvo eccezioni strettissime.
Gli algoritmi di raccomandazione amplificano contenuti divisivi perché massimizzano engagement. Contenuti razzisti possono circolare più velocemente se il sistema premia l'indignazione. La moderazione automatica, al contrario, a volte rimuove erroneamente contenuti di attivisti antirazzisti che citano slur per denunciarli — bias noto come «over-blocking» nelle comunità minoritarie.
Nel 2021 il tribunale di Amsterdam condannò Uber per discriminazione algoritmica: il sistema di assegnazione corse e valutazione conducenti penalizzava in modo sproporzionato autisti di origine africana e mediorientale. Non c'era variabile «razza» nel codice; c'erano pattern di valutazione e zone di servizio che riproducevano esclusione.
La sentenza impose misure correttive e risarcimenti. In Italia casi analoghi sono meno documentati pubblicamente, ma associazioni di lavoratori delle piattaforme segnalano rating opachi e disattivazioni automatiche di account senza ricorso effettivo.
Il decreto legislativo 215/2003 vieta discriminazioni in assunzione e servizi — anche se mediate da software. La difficoltà è la prova: senza obbligo di spiegare la logica decisionale, la vittima deve dimostrare il bias con dati che spesso solo l'azienda possiede.
Il GDPR (articoli 13-15 e 22) garantisce informazioni su decisioni automatizzate e diritto di intervento u Per un approfondimento collegato, vedi Scioccante scoperta: Intelligenza Artificiale e Razzismo – Quando gli Algoritmi Discriminano.mano in casi significativi. L'AI Act rafforza obblighi per sistemi ad alto rischio. In pratica, molte aziende rispondono con formule generiche — sfida per l'autorità garante e per i contenziosi civili.
Oltre allo studio Gender Shades del MIT, ricerche su Amazon (2018) mostrarono che un tool di recruiting AI penalizzava CV che contenevano la parola «women's» (es. «women's chess club»). Amazon abbandonò il progetto.
L'UNESCO nel rapporto «I'd blush if I could» (2019) documentò bias di genere e razza negli assistenti vocali. Il Council of Europe ha linee guida su IA e diritti umani invitate agli Stati membri.
In Italia la ricerca accademica su bias algoritmico è in crescita — università di Milano, Trento, Pisa lavorano su fairness in NLP e vision — ma manca un registro nazionale di sistemi ad alto rischio in uso nella PA, come previsto progressivamente dall'AI Act.
Le discriminazioni online compaiono nelle statistiche UNAR; quelle mediate da algoritmi opachi restano sottorappresentate perché difficili da attribuire. Il Contact Center (800.90.10.10) orienta verso Garante privacy e autorità di settore quando la decisione automatizzata è sospetta.
Le organizzazioni che sviluppano o acquistano IA possono: diversificare dataset di training, testare modelli su sottogruppi demografici, pubblicare schede di trasparenza, mantenere revisione umana su decisioni critiche (assunzione, credito, sanzioni), nominare responsabili etica IA.
La PA italiana attraverso Piano Trienn Sullo stesso tema, Cos’è l’antisemitismo: definizione, storia e manifestazioni in Italia oggi offre un quadro complementare.ale IA 2024-2026 punta a sistemi conformi all'AI Act. Le imprese fornitrici dovranno certificare conformità per usi ad alto rischio.
Per le vittime: richiedere motivazione scritta della decisione, segnalare al Garante privacy, all'UNAR se c'è matrice discriminatoria, consultare associazioni come Altroconsumo e ASGI per contenziosi collettivi. Class action su bias algoritmico sono emergenti in Europa.
Sviluppatori e product manager non sempre riconoscono implicazioni etniche dei proxy. Corsi su fairness, team diversi, coinvolgimento di esperti diritti umani in fase di design riducono rischi prima del deploy.
Il recepimento dell'AI Act definirà sandbox regolatorie, sanzioni fino a 35 milioni o 7% fatturato per violazioni gravi, obblighi di registrazione sistemi ad alto rischio. Il razzismo algoritmico non è categoria penale autonoma in Italia, ma rientra in discriminazione indiretta (decreto 215/2003) e in violazioni privacy/GDPR.
Il dibattito pubblico oscilla tra euforia tecnologica e paure apocalittiche. La via di mezzo è governance: sistemi che funzionano, con controlli che impediscano di automatizzare ingiustizie storiche.
In Italia il Garante per la protezione dei dati personali ha sanzionato più volte trattamenti biometrici illegittimi; il recepimento dell'AI Act impone divieti stringenti sul riconoscimento remoto in spazi pubblici. Per i cittadini, la leva più concreta resta la richiesta di spiegazione delle decisioni automatizzate e la segnalazione congiunta al Garante e all'UNAR quando sospettano discriminazione indiretta. Le class action europee su bias algoritmico sono ancora giovani, ma ogni precedente — come la sentenza di Amsterdam contro Uber — rafforza l'argomento che «il sistema ha deciso così» non è risposta sufficiente davanti a un giudice.
Per chi lavora nella PA e nelle aziende medio-piccole, il rischio non è solo l'IA esplicita: sono i fogli Excel con formule ereditate, i filtri automatici sulle candidature, i punteggi opachi nei bandi. Audit periodici su output disaggregati per gruppo — senza conservare dati sensibili oltre il necessario — costano meno di una causa per discriminazione indiretta. La neutralità del codice non esiste: ogni dataset porta con sé la società che l'ha prodotto.
Quell'errore del 34% sul riconoscimento facciale non era bug casuale. Era specchio di un dataset sbilanciato — e di un'industria che aveva considerato «default» il volto bianco maschile. Il razzismo algoritmico non urla negli spalti. Sussurra «non idoneo» in un database. Smontarlo richiede trasparenza che oggi spesso manca, e volontà politica di non accettare l'efficienza come scusa per l'ingiustizia.
Approfondimenti consultati: MIT Media Lab — Gender Shades study (Buolamwini, Gebru), Garante Privacy — Provvedimenti su biometria e IA, UNAR — Discriminazioni e diritti digitali, Commissione europea — AI Act e ProPublica — COMPAS analysis.
