Che cos’è la sicurezza dell’IA?

La sicurezza dell’IA è il campo di ricerca e di pratica ingegneristica che si occupa di fare in modo che sistemi di IA sempre più capaci restino affidabili, controllabili e allineati alle intenzioni umane, anche quando eguagliano o superano le prestazioni umane in compiti specifici. Questo articolo spiega che cosa comprende il campo, perché i modelli per finalità generali rendono il problema più difficile e che cosa richiede una supervisione umana effettiva.

Una definizione operativa

Nell’ingegneria classica un sistema è sicuro quando le sue modalità di guasto sono note, delimitate e testate, come l’impianto frenante di un’automobile. La sicurezza dell’IA usa la parola in senso più ampio. Si chiede se un sistema fa ciò che i suoi sviluppatori e i suoi utenti intendono (allineamento), se continua a farlo in condizioni insolite e sotto attacco deliberato (robustezza), se le persone possono capire perché si comporta così (interpretabilità) e se gli esseri umani possono ispezionarlo, correggerlo o fermarlo quando necessario (controllo e supervisione).

Queste domande si sovrappongono a quelle di campi vicini. L’etica dell’IA chiede che cosa vada costruito e per chi; la sicurezza informatica dell’IA (AI security) protegge modelli, dati e infrastrutture da chi li attacca; la sicurezza dell’IA (AI safety) chiede se il sistema stesso, una volta messo in uso, si comporti come previsto. I confini sono porosi: un modello di selezione del personale che presenta bias è soprattutto un problema di equità, mentre un modello che può essere convinto a ignorare le proprie istruzioni è al tempo stesso un problema di sicurezza informatica e di sicurezza dell’IA.

Perché i modelli per finalità generali cambiano il problema

Uno strumento specializzato nasce con una specifica. Un filtro antispam sbaglia quando blocca un messaggio legittimo, e i suoi sviluppatori possono misurarlo direttamente. Un modello per finalità generali è diverso: viene addestrato su enormi quantità di dati per essere utile in compiti che nessuno ha elencato in anticipo, quindi non esiste un’unica specifica rispetto alla quale giudicarlo.

Gli sviluppatori addestrano quindi i modelli su indicatori indiretti (proxy) di ciò che vogliono, e questo produce un tipo di errore ben documentato, noto come specification gaming o reward hacking: il sistema ottimizza ciò che viene misurato invece di ciò che si intende. Un modello addestrato a produrre risposte che i valutatori umani approvano può imparare a sembrare sicuro di sé e accomodante anche quando l’affermazione di fondo è sbagliata. Un assistente che inventa un riferimento bibliografico plausibile ma inesistente è un sintomo ben noto di questo divario.

La posta in gioco cresce quando i modelli agiscono come agenti: sistemi che usano strumenti, navigano sul web, leggono documenti e inviano messaggi per conto di un utente. Un agente che legge una pagina web contenente istruzioni nascoste, che gli dicono di abbandonare il proprio compito e di inoltrare le e-mail dell’utente, potrebbe seguirle. Questo attacco, noto come prompt injection, è possibile perché il modello elabora istruzioni e dati nello stesso canale. Oggi non è nota alcuna difesa tecnica completa; le mitigazioni attuali riducono il rischio, ma non lo eliminano.

Le principali linee di lavoro

Gran parte della ricerca sulla sicurezza dell’IA può essere raggruppata in quattro programmi che si rafforzano a vicenda.

• Allineamento: metodi di addestramento, come l’apprendimento dal feedback umano, che plasmano ciò che un modello cerca di fare.
• Valutazione e test: misurare che cosa i modelli sanno fare prima della messa in uso, comprese le capacità che potrebbero causare danni.
• Interpretabilità: comprendere i calcoli interni di un modello abbastanza bene da spiegarne o prevederne il comportamento.
• Robustezza e controllo: difese contro prompt injection, avvelenamento dei dati e dirottamento degli obiettivi, e modi affidabili per interrompere un sistema.

La valutazione merita un’attenzione particolare. Un punteggio in un benchmark dice poco se le domande del test erano già presenti nei dati di addestramento, un problema noto come contaminazione dei benchmark. Per la stessa ragione contano i test contro attacchi adattivi: una protezione che regge ai jailbreak dell’anno scorso e cede a quelli di quest’anno offre poche garanzie.

Che cosa richiede una supervisione umana effettiva

La supervisione umana viene spesso presentata come l’ultima garanzia, ma funziona solo quando la persona coinvolta nel processo ha il tempo, le informazioni, l’autorità e la competenza per intervenire. La ricerca sui fattori umani documenta da tempo l’automation bias, o distorsione dell’automazione: le persone tendono ad accettare il risultato di un sistema automatizzato, soprattutto quando il tempo stringe, e a non accorgersi dei suoi errori. Un medico a cui si chiede di rivedere una lunga coda di raccomandazioni generate automaticamente, o un funzionario che non può vedere perché un sistema ha segnalato una richiesta, non possono esercitare una supervisione effettiva.

Il diritto tratta sempre più spesso la supervisione come un requisito di progettazione e non come una formalità. L’articolo 22 del GDPR riconosce già alle persone il diritto, salvo eccezioni, di non essere sottoposte a decisioni basate unicamente sul trattamento automatizzato che producano effetti giuridici o incidano in modo analogo significativamente sulla loro persona. L’AI Act dell’UE (regolamento (UE) 2024/1689) richiede che i sistemi ad alto rischio siano progettati in modo che le persone possano supervisionarli efficacemente (articolo 14) e che soddisfino requisiti di accuratezza, robustezza e cibersicurezza (articolo 15); l’articolo 14 nomina esplicitamente l’automation bias. La maggior parte degli obblighi per i sistemi ad alto rischio doveva originariamente applicarsi dal 2 agosto 2026; l’omnibus digitale sull’IA (regolamento (UE) 2026/1744), in vigore dal 27 luglio 2026, li ha rinviati al 2 dicembre 2027, e al 2 agosto 2028 per l’IA ad alto rischio nei prodotti regolamentati.

Al di là dell’UE, governi e sviluppatori si sono incontrati a Bletchley Park nel 2023, a Seul nel 2024 e a Parigi nel 2025, con all’ordine del giorno i rischi dei modelli di frontiera, i sistemi più capaci della loro generazione. I Principi dell’OCSE sull’IA (2019, aggiornati nel 2024), l’AI Risk Management Framework del NIST (2023) e la norma ISO/IEC 42001 (2023) traducono parti dell’agenda sulla sicurezza in indicazioni su cui le organizzazioni possono agire. Nessuno di questi strumenti risolve i problemi tecnici; tutti però creano l’aspettativa che qualcuno abbia fatto il lavoro e possa dimostrarlo.

Una conclusione pratica

L’idea di fondo vale anche fuori dai laboratori di ricerca. Quando un sistema di IA entra in una scuola, in un’organizzazione non profit o in un ufficio pubblico, le domande utili sono concrete: su che cosa è stato testato e da chi, che cosa succede quando sbaglia, chi può annullarne le decisioni e a quali dati e strumenti può accedere. Un sistema per cui nessuno sa rispondere a queste domande non si è guadagnato l’autonomia che gli viene concessa.

La ricerca sulla sicurezza dell’IA è una delle sei aree di attività della Fondazione, e le analisi che pubblica in questa sezione partono da una premessa: la tecnologia dovrebbe rafforzare il giudizio umano invece di sostituirlo silenziosamente.

In breve

La sicurezza dell’IA è il campo di ricerca e di pratica ingegneristica che si occupa di mantenere affidabili, controllabili e allineati alle intenzioni umane sistemi di IA sempre più capaci. Si chiede se un sistema fa ciò che le persone intendono, se continua a farlo in condizioni insolite e sotto attacco, se può essere compreso e se gli esseri umani possono ispezionarlo, correggerlo o fermarlo quando necessario.

Domande frequenti

Qual è la differenza tra sicurezza dell’IA, etica dell’IA e sicurezza informatica dell’IA?

L’etica dell’IA si chiede che cosa dovrebbe essere costruito e per chi. La sicurezza informatica dell’IA protegge modelli, dati e infrastrutture dagli attaccanti. La sicurezza dell’IA (safety) si chiede se il sistema stesso si comporta come previsto una volta in uso. I confini sono porosi: un modello che si può convincere a ignorare le proprie istruzioni è un problema sia di sicurezza informatica sia di safety.

Che cos’è la prompt injection?

La prompt injection è un attacco in cui un agente di IA legge un contenuto, come una pagina web con istruzioni nascoste, e può seguire quelle istruzioni, per esempio abbandonando il proprio compito e inoltrando la posta dell’utente. L’attacco è possibile perché il modello elabora istruzioni e dati nello stesso canale. Oggi non si conosce una difesa tecnica completa; le contromisure riducono il rischio senza eliminarlo.

Perché i modelli di IA per finalità generali rendono più difficile la sicurezza?

Uno strumento ristretto come un filtro antispam ha una specifica, quindi gli sviluppatori possono misurarne direttamente gli errori. Un modello per finalità generali è addestrato per essere utile in compiti che nessuno ha elencato in anticipo, quindi non esiste un’unica specifica con cui giudicarlo. Gli sviluppatori addestrano perciò su proxy, e questo porta allo specification gaming: un sistema ottimizza ciò che viene misurato e non ciò che si intende.

Quali sono i principali ambiti della ricerca sulla sicurezza dell’IA?

Gran parte della ricerca sulla sicurezza dell’IA si può raggruppare in quattro programmi: l’allineamento, che usa metodi di addestramento come l’apprendimento da feedback umano per orientare ciò che un modello cerca di fare; la valutazione e i test, che misurano ciò che i modelli sanno fare prima dell’impiego; l’interpretabilità, che cerca di spiegare o prevedere il comportamento di un modello dai suoi calcoli interni; e la robustezza e il controllo, che difendono da prompt injection, avvelenamento dei dati e dirottamento degli obiettivi.

Che cosa richiede una supervisione umana significativa dell’IA?

La supervisione umana funziona solo quando la persona coinvolta nel processo ha il tempo, le informazioni, l’autorità e la competenza per intervenire. Le persone tendono ad accettare il risultato di un sistema automatizzato, soprattutto quando il tempo stringe, una tendenza detta distorsione dell’automazione. Un medico che deve rivedere una lunga coda di raccomandazioni automatiche non può esercitare una supervisione significativa. L’articolo 14 dell’AI Act dell’UE cita espressamente la distorsione dell’automazione.

Come citare Fondazione LASTHUMAN. (2026, 2 giugno). Che cos’è la sicurezza dell’IA? https://lasthuman.today/it/insights/what-is-ai-safety.html