Il computer non è razzista. Ma può imparare a discriminare

Discriminazione algoritmica: due curriculum e nessun volto

Due persone inviano il curriculum per lo stesso annuncio. Stessa città, stesso ruolo, stessa piattaforma. Nessuna delle due entra in una stanza. Nessuna stringe una mano. Un software legge i file, confronta esperienze, scolarità, parole, magari anche altri dati che i candidati non hanno scelto di mettere in evidenza. Poi decide chi passa al colloquio. Una delle due riceve un silenzio, o un rifiuto automatico, o un punteggio troppo basso per comparire nella lista breve.

È una scena esemplificativa, non un caso di cronaca. Succede ogni giorno, in forme più o meno sofisticate, in aziende che usano sistemi di screening, ranking, filtri sulle candidature. La domanda che lascia aperta è semplice e scomoda: come si fa a sapere se quella decisione è stata davvero neutrale?

Un computer non prova disprezzo. Non ha simpatie, non ha umori, non «pensa» che un cognome sia fuori posto. Questo, da solo, non basta a rassicurarci. La discriminazione algoritmica non nasce da un software che odia. Nasce quando un sistema automatico — addestrato su dati, progettato con certi criteri, usato in un contesto già diseguale — produce effetti sistematicamente sfavorevoli per alcune persone rispetto ad altre, in ragione di origine, genere, età, disabilità, condizione socioeconomica o di altri tratti protetti. A volte lo fa in modo diretto. Più spesso lo fa in modo indiretto: senza nominare il gruppo, eppure riproducendone lo svantaggio.

«Decide una macchina» suona rassicurante. Sembra togliere di mezzo il pregiudizio umano, l’antipatia, la battuta in corridoio. In realtà sposta il problema. Chi ha scelto i dati? Chi ha deciso che cosa conta come «buon candidato»? Chi ha fissato la soglia sotto la quale un curriculum scompare? Chi, dopo, può chiedere conto di un no che non ha volto?

Il regolamento europeo sull’intelligenza artificiale lo dice senza giri di parole. Nel considerando 57, il Regolamento (UE) 2024/1689 avverte che i sistemi usati per l’assunzione e la gestione dei lavoratori «possono perpetuare modelli storici di discriminazione», per esempio verso donne, fasce di età, persone con disabilità, persone di determinate origini razziali o etniche, o in ragione dell’orientamento sessuale. Non perché il modello sia «cattivo». Perché il passato che gli viene dato in pasto non è un terreno neutro.

Come un sistema impara a escludere

Nel 2018 Reuters ha ricostruito un esperimento interno di Amazon. Dal 2014 l’azienda stava sviluppando programmi per vagliare curriculum in automatico. Entro il 2015, secondo persone informate dei fatti citate dall’inchiesta, il sistema non valutava in modo neutrale rispetto al genere le candidature per ruoli tecnici. I modelli erano stati addestrati osservando i curriculum arrivati in circa dieci anni. La maggior parte veniva da uomini: un riflesso della composizione del settore, non una legge di natura. Il sistema aveva imparato, di fatto, che i profili maschili erano preferibili. Penalizzava curriculum che contenevano la parola «women’s», come in «women’s chess club captain», e declassava laureati di due college femminili. Amazon corresse alcune di quelle evidenze, ma — sempre secondo Reuters — non arrivò a fidarsi abbastanza da escludere altri schemi discriminatori. Il progetto fu abbandonato. Amazon ha rifiutato di commentare lo strumento: le fonti dell’inchiesta hanno detto che i recruiter ne vedevano le raccomandazioni, ma non si affidavano soltanto a quei ranking.

Non è una sentenza su Amazon. È un meccanismo visibile. Se il «successo» passato è fatto soprattutto di uomini, un modello che imita quel successo può trattare la presenza femminile come un’anomalia. Lo stesso può accadere con origini, percorsi scolastici, interruzioni di carriera, indirizzi. Il software non ha bisogno di una variabile chiamata «razza» o «genere». Gli basta una correlazione.

Qui entra il proxy: un’informazione apparentemente innocua che, in una società diseguale, si muove insieme a un tratto protetto. Il codice postale può dire poco sulla competenza e molto sul quartiere, sul reddito, sulla scuola frequentata. Un gap nel curriculum può segnalare una malattia, una disabilità, un periodo di cura. Il nome, da solo, può far scattare associazioni di origine: su queste pagine lo abbiamo raccontato a partire dagli esperimenti sul cognome che chiude la porta. Un filtro che «ottimizza» sulla base di chi è già stato assunto può trasformare quel pregiudizio umano, già misurato nel mercato del lavoro, in una regola che gira a migliaia di candidature l’ora.

La discriminazione razziale sul lavoro non aspetta l’intelligenza artificiale per esistere. Curriculum scartati per il nome, mansioni più pesanti, carriere che non partono, battute «per scherzo». L’automazione non inventa quel paesaggio. Può però renderlo più veloce, più opaco, più difficile da contestare. Chi riceve un no da un recruiter può, almeno, ricordare una frase. Chi riceve un punteggio non sa spesso nemmeno che un punteggio c’è stato.

Non tutti i sistemi «imparano» da soli. Alcuni eseguono regole scritte da qualcuno. Nel 2023 la U.S. Equal Employment Opportunity Commission ha annunciato un accordo da 365.000 dollari con iTutorGroup: secondo l’accusa, il software di candidatura era stato programmato per respingere in automatico le donne di 55 anni o più e gli uomini di 60 anni o più. Oltre duecento candidati qualificati negli Stati Uniti sarebbero stati esclusi per l’età. Non è un modello che ha «scoperto» da solo un pregiudizio nei dati. È una scelta umana tradotta in codice. Serve a ricordare che discriminazione algoritmica non è sinonimo di machine learning misterioso. Può essere anche una regola scritta da una persona, moltiplicata da un server.

C’è poi la zona grigia dei video-colloqui. Nel gennaio 2021 HireVue, fornitore di interviste registrate e valutazioni automatiche, ha reso noto di aver tolto l’analisi visiva — espressioni, volto — dai nuovi modelli. Secondo l’azienda, ricerche interne mostravano che quel segnale aggiungeva poco rispetto al linguaggio. Nel 2019 l’Electronic Privacy Information Center aveva presentato un esposto alla Federal Trade Commission. Non è una condanna. Mostra però come un sorriso o un’espressione possano diventare criteri di selezione senza che il candidato sappia che cosa, di sé, sta venendo misurato.

Fuori dal recruiting il meccanismo torna con altre prove. Nel 2016 ProPublica ha analizzato COMPAS, usato in alcune giurisdizioni americane per stimare il rischio di recidiva. Sui dati della contea di Broward, in Florida, l’inchiesta ha trovato errori asimmetrici: gli imputati neri venivano più spesso classificati a rischio più alto di quanto poi accadesse, gli imputati bianchi più spesso a rischio più basso. Il produttore, Northpointe, ha contestato l’analisi: in una lettera a ProPublica ha scritto di non ritenere corretti i risultati né le affermazioni basate su di essi, e ha difeso l’accuratezza del test. Da allora si discute su definizioni matematiche di fairness che non sempre possono valere insieme. Un numero letto in un’aula non è un oracolo: è una scelta su quale errore si accetta, e su chi lo paga.

Nel 2018 Joy Buolamwini e Timnit Gebru, in un articolo peer-reviewed alla conferenza FAT*, hanno misurato sistemi commerciali di classificazione del genere a partire dal volto. Gli errori più alti cadevano sulle donne con carnagione più scura (fino al 34,7 per cento nel campione), i più bassi sugli uomini con carnagione chiara (fino allo 0,8 per cento). Non era riconoscimento dell’identità. Il National Institute of Standards and Technology, nel rapporto FRVT Parte 3 del 2019, ha poi trovato differenze demografiche anche in algoritmi di riconoscimento facciale. «Funziona» non significa «funziona uguale per tutti».

In Europa, un caso ha mostrato cosa succede quando un indicatore di «rischio» viene messo dentro un sistema pubblico. L’Autorità olandese per la protezione dei dati ha sanzionato l’amministrazione fiscale per 2,75 milioni di euro perché, per anni, aveva trattato in modo illecito e discriminatorio i dati sulla (doppia) nazionalità di chi chiedeva gli assegni per l’infanzia. Quella nazionalità era usata, tra l’altro, come indicatore in un sistema che segnalava automaticamente alcune domande come rischiose. Nel comunicato con cui ha annunciato la sanzione, il presidente dell’autorità, Aleid Wolfsen, ha detto che un trattamento illecito tramite algoritmo aveva violato il diritto all’uguaglianza e alla non discriminazione. Il cosiddetto toeslagenaffaire non è un giallo tecnologico. È una catena di scelte: quali dati tenere, quali segnali considerare «rischio», come trattare chi veniva flaggato, quanto spazio lasciare a chi voleva capire e contestare.

L’Agenzia dell’Unione europea per i diritti fondamentali, nel rapporto Bias in algorithms del 2022, ha mostrato come i bias possano ampliarsi nel tempo. Nel poliziamento predittivo, se i dati storici sono già sbilanciati e le pattuglie tornano sempre negli stessi quartieri, l’algoritmo «impara» da ciò che la polizia ha già visto: un circolo vizioso. Nei sistemi che rilevano discorsi offensivi, frasi innocue come «I am Muslim» o «I am Jewish» possono essere segnalate come problematiche. Non è un catalogo di orrori. È la dimostrazione, con test, che l’effetto non è un’opinione.

Il credito, le assicurazioni, la scuola, le prestazioni pubbliche stanno sullo stesso crinale. Il considerando 58 spiega perché sono ad alto rischio, tra gli altri, i sistemi usati per decidere su prestazioni essenziali, per valutare il merito di credito, per tarare alcune polizze vita e sanitarie. Il considerando 56 fa lo stesso per sistemi che incidono su ammissione, assegnazione e valutazione nell’istruzione. Non perché ogni score sia illegale. Perché, se progettati male, possono «perpetuare modelli storici di discriminazione» e chiudere l’accesso a risorse da cui dipende una vita.

Su Antirazzismo.com abbiamo già raccontato, in un altro pezzo, come intelligenza artificiale e razzismo si incontrino quando un bias diventa infrastruttura. Qui il fuoco è più stretto: chi decide, con quali dati, e come si fa a non chiamare «neutro» un no che arriva da un server.

Perché l’Europa tratta la selezione come un rischio alto

L’Allegato III del regolamento, al punto 4, elenca tra i sistemi ad alto rischio quelli destinati all’assunzione o alla selezione: annunci di lavoro mirati, analisi e filtro delle candidature, valutazione dei candidati. E quelli usati per decisioni su condizioni di lavoro, promozioni, cessazione del rapporto, assegnazione di compiti in base a comportamento o tratti personali, monitoraggio e valutazione delle prestazioni. Il considerando 57 spiega il perché: impatto su carriera, sostentamento, diritti dei lavoratori; e il rischio concreto di ripetere discriminazioni già viste.

«Alto rischio» non è un insulto alla tecnologia. È una classificazione. Significa obblighi più pesanti: qualità e governance dei dati, documentazione, tracciabilità, sorveglianza umana, accuratezza. L’articolo 10 chiede set di dati pertinenti e sufficientemente rappresentativi, e un esame delle distorsioni che possano portare a discriminazioni vietate dal diritto dell’Unione. L’articolo 14 chiede che persone in carne e ossa possano capire i limiti del sistema, non fare affidamento automatico sull’output — la cosiddetta distorsione dell’automazione — e, se serve, ignorare o ribaltare il risultato. L’articolo 27 impone a certi deployer — organismi pubblici, enti privati che forniscono servizi pubblici e, in alcuni casi, chi usa sistemi di credito o di assicurazione — una valutazione d’impatto sui diritti fondamentali prima dell’uso. L’articolo 86 riconosce, a chi subisce una decisione basata su un sistema ad alto rischio dell’Allegato III, il diritto a spiegazioni chiare sul ruolo dell’IA e sui principali elementi della decisione.

Queste regole non cancellano il Regolamento generale sulla protezione dei dati. L’articolo 22 del GDPR, in linea di principio, tutela dal subire una decisione basata unicamente su un trattamento automatizzato che produca effetti giuridici o incida in modo analogo in misura significativa. Restano eccezioni e garanzie: intervento umano, possibilità di esprimere il proprio punto di vista, di contestare.

Va detto con precisione, perché le date si sono mosse. Il regolamento sull’IA è in vigore dal 1° agosto 2024. Il Regolamento (UE) 2026/1744, l’Omnibus digitale sull’IA, ha spostato l’applicazione di gran parte degli obblighi per i sistemi ad alto rischio dell’Allegato III al 2 dicembre 2027. La classificazione non è sparita. È slittato il calendario di alcuni adempimenti. Nel frattempo restano il diritto antidiscriminazione, il GDPR, i contratti, la responsabilità di chi compra e di chi configura lo strumento.

Le garanzie che riducono il rischio non sono uno slogan etico. Sono mestiere. Dati di cui si conosce l’origine, non un mucchio opaco di «storico assunzioni». Test sulle prestazioni per gruppi diversi, ripetuti nel tempo, perché un modello può spostarsi. Audit che non coincidano con il comunicato del fornitore. Trasparenza su che cosa viene misurato — e che cosa non viene misurato. Una persona che possa dire di no al punteggio, non un click che conferma tutto. Un canale per chi è stato scartato: non una mail automatica, una via per chiedere e, se serve, impugnare.

Niente di tutto questo rende l’intelligenza artificiale «innocente» o «colpevole». La rende governabile. Un algoritmo può aiutare a leggere migliaia di candidature senza che il primo di lista sia il cugino di qualcuno. Può anche, con la stessa velocità, copiare dieci anni di esclusioni e chiamarle competenza. La differenza non sta nel silicio. Sta in chi ha scelto i dati, i criteri, i controlli, e in chi ha il potere di aprire di nuovo un file che il sistema aveva già chiuso.

Due curriculum, un software, un no. Finché quella decisione resta inspiegabile, la neutralità è solo un’ipotesi. E un’ipotesi, in una selezione, non dovrebbe bastare a lasciare qualcuno fuori.

Fonti

• Regolamento (UE) 2024/1689 (AI Act), considerando 56-58, Allegato III punto 4, articoli 10, 14, 27, 86
• Regolamento (UE) 2026/1744 (Omnibus digitale sull’IA), date di applicazione
• Regolamento (UE) 2016/679 (GDPR), articolo 22
• Reuters, inchiesta sul recruiting Amazon (2018)
• EEOC, accordo iTutorGroup (2023)
• HireVue, decisione sull’analisi visiva (2021)
• EPIC, esposto alla FTC su HireVue (2019)
• Autoriteit Persoonsgegevens, provvedimento sanzionatorio Belastingdienst (PDF)
• ProPublica, Machine Bias / COMPAS (2016)
• Buolamwini e Gebru, Gender Shades (PMLR, 2018)
• NIST, FRVT Parte 3 — Demographic Effects (2019)
• FRA, Bias in algorithms (2022)