¿Qué es la seguridad de la IA?

La seguridad de la IA es el campo de investigación y de práctica de la ingeniería que se ocupa de que los sistemas de IA, cada vez más capaces, sigan siendo fiables, controlables y alineados con las intenciones humanas, incluso cuando igualan o superan el rendimiento humano en tareas concretas. Este artículo explica qué abarca el campo, por qué los modelos de uso general complican el problema y qué exige una supervisión humana real.

Una definición de partida

En la ingeniería clásica, un sistema seguro es aquel cuyos modos de fallo se conocen, están acotados y han sido probados, como el sistema de frenos de un automóvil. La seguridad de la IA utiliza la palabra en un sentido más amplio. Se pregunta si un sistema hace lo que sus desarrolladores y usuarios pretenden (alineación), si sigue haciéndolo en condiciones desconocidas y bajo ataques deliberados (robustez), si las personas pueden entender por qué se comporta como lo hace (interpretabilidad) y si los seres humanos pueden inspeccionarlo, corregirlo o detenerlo cuando sea necesario (control y supervisión).

Estas preguntas se solapan con campos vecinos. La ética de la IA se pregunta qué debería construirse y para quién; la ciberseguridad de la IA protege los modelos, los datos y la infraestructura frente a los atacantes; la seguridad de la IA se pregunta si el propio sistema se comporta como se pretende una vez desplegado. Los límites son porosos: un modelo de contratación sesgado es ante todo un problema de equidad, mientras que un modelo al que se puede convencer de que ignore sus instrucciones es a la vez un problema de ciberseguridad y de seguridad de la IA.

Por qué los modelos de uso general cambian el problema

Una herramienta especializada viene con una especificación. Un filtro de spam se equivoca cuando bloquea un mensaje legítimo, y sus desarrolladores pueden medirlo directamente. Un modelo de uso general es distinto: se entrena con enormes cantidades de datos para ser útil en tareas que nadie enumeró de antemano, de modo que no existe una especificación única con la que juzgarlo.

Por eso los desarrolladores entrenan los modelos con indicadores aproximados de lo que realmente quieren, lo que produce un patrón de fallo bien documentado, conocido en inglés como specification gaming o reward hacking: el sistema optimiza lo que se mide, no lo que se pretende. Un modelo entrenado para producir respuestas que los evaluadores humanos aprueben puede aprender a sonar seguro y complaciente incluso cuando la afirmación de fondo es errónea. Un asistente que inventa una referencia verosímil pero inexistente es un síntoma conocido de esa brecha.

Hay más en juego cuando los modelos actúan como agentes: sistemas que utilizan herramientas, navegan por la web, leen documentos y envían mensajes en nombre de un usuario. Un agente que lee una página web con instrucciones ocultas, que le ordenan abandonar su tarea y reenviar el correo del usuario, puede obedecerlas. Este ataque, conocido como inyección de prompts, es posible porque el modelo procesa las instrucciones y los datos por el mismo canal. Hoy no se conoce ninguna defensa técnica completa; las mitigaciones actuales reducen el riesgo, pero no lo eliminan.

Las principales líneas de trabajo

Buena parte de la investigación en seguridad de la IA puede agruparse en cuatro programas que se refuerzan mutuamente.

• Alineación: métodos de entrenamiento, como el aprendizaje a partir de la retroalimentación humana, que moldean lo que un modelo intenta hacer.
• Evaluación y pruebas: medir lo que los modelos pueden hacer antes de su despliegue, incluidas las capacidades que podrían causar daño.
• Interpretabilidad: comprender los cálculos internos de un modelo lo suficiente como para explicar o predecir su comportamiento.
• Robustez y control: defensas frente a la inyección de prompts, el envenenamiento de datos y el secuestro de objetivos, y formas fiables de interrumpir un sistema.

La evaluación merece una atención especial. Una puntuación en un benchmark dice poco si las preguntas de la prueba ya estaban presentes en los datos de entrenamiento, un problema conocido como contaminación de los benchmarks. Las pruebas frente a ataques adaptativos importan por la misma razón: una salvaguardia que resiste los jailbreaks del año pasado y falla ante los de este año ofrece pocas garantías.

Qué exige una supervisión humana real

La supervisión humana suele presentarse como la última salvaguardia, pero solo funciona cuando la persona que participa en el proceso dispone del tiempo, la información, la autoridad y la competencia necesarios para intervenir. La investigación sobre factores humanos lleva mucho tiempo documentando el sesgo de automatización: las personas tienden a aceptar el resultado de un sistema automatizado, sobre todo bajo presión de tiempo, y a pasar por alto sus errores. Un profesional sanitario al que se pide revisar una larga cola de recomendaciones generadas por una máquina, o un funcionario que no puede ver por qué un sistema marcó una solicitud, no pueden ejercer una supervisión real.

La legislación trata cada vez más la supervisión como un requisito de diseño, no como una formalidad. El artículo 22 del RGPD ya reconoce a las personas el derecho, sujeto a excepciones, a no ser objeto de decisiones basadas únicamente en el tratamiento automatizado que produzcan efectos jurídicos o les afecten significativamente de modo similar. La Ley de IA de la UE (Reglamento (UE) 2024/1689) exige que los sistemas de alto riesgo se diseñen de modo que las personas puedan supervisarlos de forma efectiva (artículo 14) y que cumplan requisitos de precisión, robustez y ciberseguridad (artículo 15); el artículo 14 menciona expresamente el sesgo de automatización. La mayoría de las obligaciones para los sistemas de alto riesgo debían aplicarse originalmente a partir del 2 de agosto de 2026; el ómnibus digital sobre IA (Reglamento (UE) 2026/1744), en vigor desde el 27 de julio de 2026, las aplazó al 2 de diciembre de 2027, y al 2 de agosto de 2028 para la IA de alto riesgo integrada en productos regulados.

Más allá de la UE, gobiernos y desarrolladores se reunieron en Bletchley Park en 2023, en Seúl en 2024 y en París en 2025, y en la agenda figuraban los riesgos de los modelos de frontera, los sistemas más capaces de su generación. Los Principios de la OCDE sobre la IA (2019, actualizados en 2024), el Marco de Gestión de Riesgos de la IA del NIST (2023) y la norma ISO/IEC 42001 (2023) traducen partes de la agenda de seguridad a un lenguaje que las organizaciones pueden llevar a la práctica. Ninguno de estos instrumentos resuelve los problemas técnicos; crean la expectativa de que alguien ha hecho el trabajo y puede demostrarlo.

Una conclusión práctica

La idea central se aplica más allá de los laboratorios de investigación. Cuando un sistema de IA entra en una escuela, una organización sin ánimo de lucro o una administración pública, las preguntas útiles son concretas: con qué se probó y quién lo probó, qué ocurre cuando se equivoca, quién puede anular sus decisiones y a qué datos y herramientas puede acceder. Un sistema para el que nadie puede responder a esas preguntas no se ha ganado la autonomía que se le está dando.

La investigación en seguridad de la IA es una de las seis áreas de actividad de la Fundación, y los análisis que publica en esta sección parten de una premisa: la tecnología debe fortalecer el juicio humano, no sustituirlo en silencio.

En resumen

La seguridad de la IA es el campo de investigación y práctica de la ingeniería que busca que los sistemas de IA, cada vez más capaces, sigan siendo fiables, controlables y alineados con las intenciones humanas. Se pregunta si un sistema hace lo que se pretende, si lo sigue haciendo en condiciones desconocidas y bajo ataques, si puede entenderse y si los humanos pueden inspeccionarlo, corregirlo o detenerlo.

Preguntas frecuentes

¿Qué diferencia hay entre seguridad de la IA, ética de la IA y ciberseguridad de la IA?

La ética de la IA se pregunta qué debería construirse y para quién. La ciberseguridad de la IA protege modelos, datos e infraestructura frente a atacantes. La seguridad de la IA se pregunta si el propio sistema se comporta como se pretende una vez desplegado. Los límites son porosos: un modelo al que se puede convencer de que ignore sus instrucciones es un problema de ambas.

¿Qué es la inyección de prompts?

Es un ataque en el que un agente de IA lee contenido, como una página web con instrucciones ocultas, y puede obedecerlas, por ejemplo abandonando su tarea y reenviando el correo del usuario. Es posible porque el modelo procesa las instrucciones y los datos por el mismo canal. Hoy no se conoce ninguna defensa técnica completa; las mitigaciones reducen el riesgo, pero no lo eliminan.

¿Por qué los modelos de IA de uso general dificultan la seguridad?

Una herramienta especializada, como un filtro de spam, tiene una especificación y sus errores pueden medirse directamente. Un modelo de uso general se entrena para ser útil en tareas que nadie enumeró de antemano, así que no hay una especificación única con la que juzgarlo. Se entrena con indicadores indirectos, lo que lleva a la manipulación de la especificación: el sistema optimiza lo que se mide, no lo que se pretende.

¿Cuáles son las principales áreas de investigación en seguridad de la IA?

Gran parte puede agruparse en cuatro programas: alineación, que usa métodos como el aprendizaje a partir de retroalimentación humana para moldear lo que un modelo intenta hacer; evaluación y pruebas, que miden lo que los modelos pueden hacer antes del despliegue; interpretabilidad, que busca explicar o predecir su comportamiento desde sus cálculos internos; y robustez y control, que defienden frente a la inyección de prompts, el envenenamiento de datos y el secuestro de objetivos.

¿Qué exige una supervisión humana significativa de la IA?

La supervisión humana solo funciona cuando la persona dispone del tiempo, la información, la autoridad y la competencia para intervenir. Las personas tienden a aceptar el resultado de un sistema automatizado, sobre todo con prisa, lo que se llama sesgo de automatización. Un profesional sanitario ante una larga cola de recomendaciones automáticas no puede supervisar de verdad. El artículo 14 de la Ley de IA de la UE menciona expresamente el sesgo de automatización.

Cómo citar Fundación LASTHUMAN. (2026, 2 de junio). ¿Qué es la seguridad de la IA? https://lasthuman.today/es/insights/what-is-ai-safety.html