Costruire fiducia: trasparenza nelle decisioni dell’IA

La trasparenza nelle decisioni dell’IA significa che le persone sanno quando un sistema automatizzato ha avuto un ruolo in una decisione che le riguarda e possono conoscere i principali fattori dietro l’esito, e che un’autorità di vigilanza o un ricercatore può accertare che il sistema si comporti come dichiarato. Quando un sistema di IA incide su una decisione che riguarda un prestito, una diagnosi o una candidatura per un posto di lavoro, le persone interessate meritano di sapere come è stata presa e di poterla contestare.

Che cosa significa trasparenza, e che cosa no

La trasparenza ha quattro livelli:

• Informazione: la persona sa che un sistema automatizzato ha avuto un ruolo in una decisione che la riguarda.
• Trasparenza del sistema: la documentazione della finalità del sistema, dei dati di addestramento e di test, delle prestazioni per i diversi gruppi e dei casi in cui non dovrebbe essere usato.
• Spiegabilità: i principali fattori dietro un determinato esito per una determinata persona.
• Verificabilità: registrazioni e prove che permettono a un’autorità di vigilanza o a un ricercatore di accertare che il sistema si comporti come dichiarato.

Trasparenza non significa pubblicare il codice sorgente o i parametri del modello; un file con i pesi del modello non dice nulla a chi ha ricevuto un rifiuto. L’obiettivo è un’informazione che permetta ai destinatari di agire.

Perché la supervisione e la possibilità di ricorso ne dipendono

Ogni livello tutela una facoltà: chiedere se una decisione è stata automatizzata, individuare e correggere un dato di ingresso errato, come un pagamento registrato in modo sbagliato, e accertare in seguito se il sistema ha funzionato come previsto.

Il diritto europeo parte da qui. L’articolo 22 del GDPR riconosce alle persone il diritto di non essere sottoposte a una decisione basata unicamente sul trattamento automatizzato che produca effetti giuridici o incida in modo analogo significativamente sulla loro persona. Quando una simile decisione è ammessa perché necessaria per un contratto o perché si basa sul consenso esplicito, il titolare del trattamento deve prevedere garanzie, almeno il diritto di ottenere l’intervento umano, di esprimere la propria opinione e di contestare la decisione.

L’AI Act dell’UE, regolamento (UE) 2024/1689, va oltre per i sistemi ad alto rischio, che comprendono la valutazione del merito creditizio delle persone fisiche, la selezione del personale e l’accesso all’istruzione. I fornitori devono documentare questi sistemi, consentire la registrazione degli eventi (log) e renderne i risultati interpretabili per chi li utilizza (i deployer). I deployer devono informare le persone che un sistema di questo tipo viene usato nelle decisioni che le riguardano e affidare la supervisione umana a persone con la competenza, la formazione e l’autorità per intervenire. Chi è soggetto a una decisione di questo tipo, con effetti giuridici o di analoga rilevanza che ritiene sfavorevoli, può ottenere dal deployer una spiegazione chiara e significativa del ruolo del sistema nella decisione e dei suoi elementi principali (articolo 86). La maggior parte degli obblighi per i sistemi ad alto rischio doveva originariamente applicarsi dal 2 agosto 2026, e quelli per l’IA ad alto rischio nei prodotti regolamentati dal 2 agosto 2027; l’omnibus digitale sull’IA (regolamento (UE) 2026/1744), in vigore dal 27 luglio 2026, ha spostato queste date rispettivamente al 2 dicembre 2027 e al 2 agosto 2028.

Com’è fatta una spiegazione significativa

Per la persona interessata, una spiegazione che le permetta di agire comprende:

• Che è stato usato un sistema automatizzato, e per quale parte della decisione.
• I principali fattori che hanno determinato l’esito, in linguaggio semplice.
• Che cosa dovrebbe cambiare per ottenere un esito diverso, quando è realistico.
• Come contattare un operatore umano, correggere i dati e contestare il risultato.

Un rifiuto di prestito che dice «La sua richiesta non soddisfa i nostri criteri» non spiega nulla. Uno che dice «I motivi principali sono un reddito inferiore al livello richiesto per questo prestito e due pagamenti registrati come tardivi lo scorso anno; può chiedere una verifica dello storico dei pagamenti e una nuova valutazione da parte di una persona» dà al richiedente qualcosa da controllare e una via per agire. Non rivela il modello; rivela la decisione.

Un paziente dovrebbe sapere che un software ha supportato una valutazione e che un medico resta responsabile; il medico deve sapere quanto il sistema è sicuro delle proprie indicazioni e in quali casi funziona male. Un candidato a un posto di lavoro dovrebbe sapere che è stato usato uno strumento di preselezione, che cosa ha valutato e come chiedere una revisione umana, così che la rosa dei candidati resti una raccomandazione e non un verdetto.

I metodi e i loro limiti

Esistono due strade tecniche: modelli interpretabili per costruzione, come le scorecard o le regole decisionali, e metodi post hoc per i modelli complessi, tra cui l’attribuzione del peso alle singole variabili (come SHAP e LIME) e le spiegazioni controfattuali, che descrivono la più piccola modifica dei dati di ingresso capace di ribaltare l’esito.

I metodi post hoc riassumono o approssimano il comportamento di un modello invece di rivelarne il meccanismo; metodi diversi possono dare risposte discordanti sulla stessa decisione, le attribuzioni possono cambiare con piccole variazioni dei dati di ingresso e una spiegazione scorrevole può ispirare più fiducia di quanta il modello ne meriti. I controfattuali dovrebbero limitarsi a cambiamenti che una persona può davvero compiere: dire a qualcuno che la sua richiesta sarebbe stata approvata se avesse avuto dieci anni di meno non è un consiglio ma il segnale che il modello si basa su una caratteristica che la persona non può cambiare, forse una di quelle tutelate dalle norme sulla parità di trattamento.

I segreti commerciali, i dati personali di altre persone e il rischio di manipolazione del sistema possono giustificare alcuni limiti; una risposta praticabile è l’accesso a più livelli: le persone interessate ricevono ciò che serve per contestare la decisione che le riguarda, gli auditor ottengono documentazione e log, il pubblico riceve sintesi su finalità, test e garanzie.

Prove, non dichiarazioni: una conclusione pratica

La fiducia del pubblico si fonda su prove verificabili, non su dichiarazioni di principio. La supervisione umana è reale solo se chi la esercita può scavalcare il sistema; l’AI Act richiede che chi supervisiona i sistemi ad alto rischio sia in grado di restare consapevole dell’automation bias, la tendenza a fare automaticamente affidamento sull’output di un sistema, e di ignorare, annullare o ribaltare tale output. Chiunque acquisti, gestisca o sia soggetto a un simile sistema può chiedere:

• Se è coinvolto un sistema di IA, e se le persone interessate lo sanno.
• A che cosa serve il sistema, e in quali casi è noto che sbaglia.
• Su che cosa è stato testato, e con quali risultati per i diversi gruppi.
• Chi può scavalcarlo, e se ha il tempo e l’autorità per farlo.
• Come una persona può ottenere una spiegazione e contestare l’esito.
• Se le decisioni vengono registrate per poterle riesaminare in seguito.

Se un’organizzazione non sa rispondere, il problema non è un modello complicato ma un sistema impiegato senza le condizioni per rispondere delle sue decisioni. Il lavoro della Fondazione in questo campo consiste in ricerca e pubblicazione: sulla spiegabilità, sulla responsabilità per le decisioni automatizzate e su quando i risultati dei test giustificano le affermazioni di equità, tema che il suo rapporto tecnico sul rilevamento dei bias ai sensi dell’AI Act dell’UE esamina nel caso dei dati sintetici, anonimizzati e protetti da privacy differenziale.

In breve

La trasparenza dell’IA significa che le persone sanno quando un sistema automatizzato è intervenuto in una decisione che le riguarda e possono conoscere i fattori principali dell’esito, mentre autorità e ricercatori possono verificare che il sistema si comporti come dichiarato. Ha quattro livelli: informativa, trasparenza del sistema, spiegabilità e verificabilità. L’obiettivo è un’informazione su cui il destinatario possa agire, non la pubblicazione del codice sorgente.

Domande frequenti

Qual è la differenza tra trasparenza e spiegabilità nell’IA?

La trasparenza è il concetto più ampio e ha quattro livelli: informativa, trasparenza del sistema, spiegabilità e verificabilità. La spiegabilità è uno di questi livelli. Riguarda i fattori principali dietro un esito specifico per una persona specifica.

La trasparenza dell’IA significa pubblicare il codice sorgente?

No. La trasparenza dell’IA non significa pubblicare il codice sorgente o i parametri del modello, perché un file di pesi non dice nulla a un candidato respinto. L’obiettivo è un’informazione su cui il destinatario possa agire.

Che cosa dice l’articolo 22 del GDPR sulle decisioni automatizzate?

L’articolo 22 del GDPR dà alle persone il diritto di non essere sottoposte a una decisione basata unicamente su un trattamento automatizzato che produca effetti giuridici o incida in modo analogo significativamente su di esse. Dove tale decisione è ammessa perché necessaria per un contratto o fondata sul consenso esplicito, il titolare del trattamento deve prevedere garanzie, almeno il diritto di ottenere l’intervento umano, di esprimere la propria opinione e di contestare la decisione.

L’AI Act dell’UE dà il diritto a una spiegazione di una decisione dell’IA?

Per i sistemi ad alto rischio, l’AI Act dell’UE (regolamento (UE) 2024/1689) prevede che chi è soggetto a una decisione con effetti giuridici o analogamente significativi, che consideri sfavorevole, possa ottenere dal deployer una spiegazione chiara e significativa del ruolo del sistema nella decisione e dei suoi elementi principali (articolo 86). Tra i sistemi ad alto rischio rientrano l’affidabilità creditizia delle persone fisiche, la selezione del personale e l’accesso all’istruzione.

Che cosa rende significativa la spiegazione di una decisione automatizzata?

Una spiegazione significativa dice che è stato usato un sistema automatizzato e per quale parte della decisione. Indica in linguaggio semplice i fattori principali dell’esito, dice che cosa dovrebbe cambiare per ottenere un esito diverso, quando è realistico, e spiega come raggiungere una persona, correggere i dati e contestare il risultato.

Come citare Fondazione LASTHUMAN. (2026, 15 settembre). Costruire fiducia: trasparenza nelle decisioni dell’IA. https://lasthuman.today/it/insights/transparency-in-ai-decision-making.html