Le nostre priorità

Allineamento degli obiettivi e sicurezza degli agenti

Come mantenere gli obiettivi e i comportamenti dei sistemi di IA allineati alle intenzioni delle persone, anche quando agiscono come agenti che usano strumenti e dati esterni.

Valutazione e test

Misurazioni oneste di ciò che i modelli sanno fare: confronti equi, benchmark non contaminati e test di robustezza contro attacchi adattivi.

Robustezza e controllo

Difese contro prompt injection, avvelenamento dei dati e dirottamento degli obiettivi degli agenti, e permessi ridotti al minimo necessario per gli strumenti che gli agenti utilizzano.

Supervisione e gestione del rischio

Prove tecniche invece di dichiarazioni: come dimostrare la robustezza e la sicurezza di un sistema ai sensi dell’articolo 15 dell’AI Act dell’UE e del Cyber Resilience Act.

Piano d’azione

2026

In programma per il 2027

Temi dei rapporti tecnici e degli studi che prevediamo di pubblicare entro la fine del 2027. Saranno pubblicati in inglese.

  • Agent hijacking
  • Fair comparisons
  • Benchmark contamination
  • Multi-agent risks
  • Prompt injection
  • Tool sandboxing
  • Robustness evidence
  • e molti altri

Articoli di quest’area

Trovi articoli su questo tema nella sezione Research & Insights.