Nuestras prioridades
Alineación de objetivos y seguridad de los agentes
Cómo mantener los objetivos y el comportamiento de los sistemas de IA alineados con las intenciones humanas, también cuando actúan como agentes que utilizan herramientas y datos externos.
Evaluación y pruebas
Mediciones rigurosas de lo que los modelos pueden hacer: comparaciones justas, conjuntos de prueba no contaminados y pruebas de robustez frente a ataques adaptativos.
Robustez y control
Defensas frente a la inyección de prompts, el envenenamiento de datos y el secuestro de los objetivos de los agentes, y permisos de mínimo privilegio para las herramientas que utilizan.
Supervisión y gestión de riesgos
Evidencias técnicas en lugar de declaraciones: cómo demostrar la robustez y la seguridad de un sistema conforme al artículo 15 de la Ley de IA de la UE y a la Ley de Ciberresiliencia.
Plan de acción
2026
- Bias Detection Under Article 4a of the EU AI Act: When Synthetic, Anonymised or Differentially Private Data Is Enough. Technical evidence options, a simulation study and a real-data replication
- Using Generative AI to Create Synthetic Medical Data for Patient Privacy Protection: A Review and an Empirical Evaluation of the Fidelity-Utility-Privacy Trade-offData package: Synthetic medical data and patient privacy benchmark (WHAS500, WDBC, FLCHAIN)
Previsto para 2027
Temas de los informes técnicos y estudios que prevemos publicar antes de finales de 2027. Se publicarán en inglés.
- Agent hijacking
- Fair comparisons
- Benchmark contamination
- Multi-agent risks
- Prompt injection
- Tool sandboxing
- Robustness evidence
- y muchos más
Artículos de esta área
Encontrará artículos sobre este tema en la sección Research & Insights.