Generar confianza: transparencia en la toma de decisiones con IA

La transparencia en la toma de decisiones con IA significa que las personas saben cuándo un sistema automatizado ha intervenido en una decisión que les afecta y pueden conocer los principales factores que hay detrás del resultado, y que un regulador o un investigador puede comprobar que el sistema se comporta como se afirma. Cuando un sistema de IA influye en una decisión sobre un préstamo, un diagnóstico o una candidatura a un empleo, las personas afectadas merecen saber cómo se ha tomado y poder impugnarla.

Qué significa la transparencia, y qué no

La transparencia tiene cuatro capas:

• Información: la persona sabe que un sistema automatizado ha intervenido en una decisión que le afecta.
• Transparencia del sistema: documentación sobre la finalidad del sistema, los datos de entrenamiento y de prueba, su rendimiento para distintos grupos y los casos en que no debe utilizarse.
• Explicabilidad: los principales factores que hay detrás de un resultado concreto para una persona concreta.
• Auditabilidad: registros y evidencias que permiten a un regulador o a un investigador comprobar que el sistema se comporta como se afirma.

La transparencia no significa publicar el código fuente ni los parámetros del modelo; un archivo con los pesos del modelo no le dice nada a un solicitante rechazado. El objetivo es información que permita actuar a sus destinatarios.

Por qué la supervisión y la posibilidad de reclamar dependen de ella

Cada capa protege una capacidad: preguntar si una decisión fue automatizada, detectar y corregir un dato de entrada erróneo, como un pago mal registrado, y determinar después si el sistema funcionó como estaba previsto.

El derecho europeo parte de esta base. El artículo 22 del RGPD otorga a las personas el derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado que produzca efectos jurídicos o les afecte significativamente de modo similar. Cuando una decisión de este tipo está permitida porque es necesaria para un contrato o se basa en el consentimiento explícito, el responsable del tratamiento debe ofrecer garantías, como mínimo el derecho a obtener intervención humana, a expresar el propio punto de vista y a impugnar la decisión.

La Ley de IA de la UE, el Reglamento (UE) 2024/1689, va más lejos en el caso de los sistemas de alto riesgo, entre los que figuran la calificación crediticia de personas físicas, la selección de personal y el acceso a la educación. Los proveedores deben documentar estos sistemas, habilitar el registro de eventos y hacer que sus resultados sean interpretables para los responsables del despliegue. Los responsables del despliegue deben informar a las personas de que un sistema de este tipo se utiliza en decisiones que les afectan y encomendar la supervisión humana a personas con la competencia, la formación y la autoridad necesarias para intervenir. Quien sea objeto de una decisión de este tipo que produzca efectos jurídicos o le afecte considerablemente de modo similar, y la considere perjudicial, puede obtener del responsable del despliegue una explicación clara y significativa del papel del sistema en la decisión y de sus principales elementos (artículo 86). La mayoría de las obligaciones para los sistemas de alto riesgo debían aplicarse originalmente a partir del 2 de agosto de 2026, y las relativas a la IA de alto riesgo integrada en productos regulados, a partir del 2 de agosto de 2027; el ómnibus digital sobre IA (Reglamento (UE) 2026/1744), en vigor desde el 27 de julio de 2026, desplazó esas fechas al 2 de diciembre de 2027 y al 2 de agosto de 2028, respectivamente.

Cómo es una explicación significativa

Para la persona afectada, una explicación que le permita actuar incluye:

• Que se utilizó un sistema automatizado, y en qué parte de la decisión.
• Los principales factores que determinaron el resultado, en lenguaje claro.
• Qué tendría que cambiar para obtener un resultado distinto, cuando sea realista.
• Cómo contactar con una persona, corregir los datos e impugnar el resultado.

Una denegación de préstamo que dice «Su solicitud no cumplía nuestros criterios» no explica nada. Una que dice «Los motivos principales fueron unos ingresos por debajo del nivel exigido para este préstamo y dos pagos registrados como atrasados el año pasado; puede solicitar una revisión de su historial de pagos y una nueva evaluación por parte de una persona» le da al solicitante algo que comprobar y una vía para actuar. No revela el modelo; revela la decisión.

Un paciente debería saber que un programa informático ha servido de apoyo en una evaluación y que un profesional sanitario sigue siendo el responsable; ese profesional necesita conocer el nivel de confianza del sistema y en qué casos funciona mal. Un candidato a un empleo debería saber que se utilizó una herramienta de preselección, qué evaluó y cómo solicitar una revisión humana, para que una lista de preseleccionados siga siendo una recomendación y no un veredicto.

Los métodos y sus límites

Existen dos vías técnicas: los modelos interpretables por diseño, como las tarjetas de puntuación o las reglas de decisión, y los métodos post hoc para modelos complejos, entre ellos la atribución de características (como SHAP y LIME) y las explicaciones contrafactuales, que describen el cambio más pequeño en los datos de entrada que invierte el resultado.

Los métodos post hoc resumen o aproximan el comportamiento de un modelo en lugar de revelar su mecanismo; distintos métodos pueden discrepar sobre la misma decisión, las atribuciones pueden variar con pequeños cambios en los datos de entrada y una explicación elocuente puede inspirar más confianza de la que el modelo merece. Los contrafactuales deberían limitarse a cambios que la persona pueda realizar: decirle a alguien que le habrían aprobado la solicitud si tuviera diez años menos no es un consejo, sino una señal de que el modelo se apoya en una característica que no puede cambiar, posiblemente protegida por la legislación sobre igualdad.

Los secretos comerciales, los datos personales de terceros y el riesgo de manipulación pueden justificar algunos límites; una respuesta viable es el acceso por niveles: las personas afectadas reciben lo que necesitan para impugnar la decisión en su caso, los auditores reciben documentación y registros, y el público recibe resúmenes de la finalidad, las pruebas y las salvaguardias.

Evidencias en lugar de declaraciones: una conclusión práctica

La confianza pública se basa en evidencias que pueden comprobarse, no en declaraciones de principios. La supervisión humana solo es real si las personas que la ejercen pueden anular lo que el sistema decide; la Ley de IA exige que quienes supervisan sistemas de alto riesgo puedan mantenerse alerta frente al sesgo de automatización, la tendencia a confiar automáticamente en los resultados de un sistema, e invalidar esos resultados. Cualquiera que contrate, opere o sea objeto de un sistema de este tipo puede preguntar:

• Si interviene un sistema de IA y si las personas afectadas lo saben.
• Qué se supone que hace el sistema y en qué casos se sabe que falla.
• Con qué datos se probó y qué resultados obtuvo para distintos grupos.
• Quién puede anular sus resultados y si tiene el tiempo y la autoridad para hacerlo.
• Cómo puede una persona obtener una explicación e impugnar el resultado.
• Si las decisiones quedan registradas para una revisión posterior.

Si una organización no puede responder, el problema no es un modelo complicado, sino un sistema desplegado sin las condiciones necesarias para la rendición de cuentas. El trabajo de la Fundación en este ámbito es de investigación y publicación: sobre la explicabilidad, la rendición de cuentas por las decisiones automatizadas y cuándo los resultados de las pruebas respaldan las afirmaciones de equidad, cuestión que su informe técnico sobre la detección de sesgos conforme a la Ley de IA de la UE examina para datos sintéticos, anonimizados y con privacidad diferencial.

En resumen

La transparencia de la IA significa que las personas saben cuándo un sistema automatizado ha intervenido en una decisión que les afecta y pueden conocer sus principales factores, y que reguladores e investigadores pueden comprobar que el sistema se comporta como se afirma. Tiene cuatro capas: información, transparencia del sistema, explicabilidad y auditabilidad. El objetivo es información útil para sus destinatarios, no publicar el código fuente.

Preguntas frecuentes

¿Qué diferencia hay entre transparencia y explicabilidad en la IA?

La transparencia es la idea más amplia y tiene cuatro capas: información, transparencia del sistema, explicabilidad y auditabilidad. La explicabilidad es una de esas capas y abarca los principales factores detrás de un resultado concreto para una persona concreta.

¿Transparencia de la IA significa publicar el código fuente?

No. La transparencia de la IA no significa publicar el código fuente ni los parámetros del modelo, porque un archivo con los pesos del modelo no le dice nada a un solicitante rechazado. El objetivo es ofrecer información que sus destinatarios puedan utilizar.

¿Qué dice el artículo 22 del RGPD sobre las decisiones automatizadas?

El artículo 22 del RGPD otorga el derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado que produzca efectos jurídicos o afecte significativamente de modo similar. Si está permitida porque es necesaria para un contrato o se basa en el consentimiento explícito, el responsable debe ofrecer garantías: como mínimo, el derecho a obtener intervención humana, a expresar su punto de vista y a impugnar la decisión.

¿Da la Ley de IA de la UE derecho a una explicación de una decisión de IA?

Para los sistemas de alto riesgo, la Ley de IA de la UE (Reglamento (UE) 2024/1689) establece que quien sea objeto de una decisión con efectos jurídicos o que le afecte considerablemente de modo similar, y la considere perjudicial, puede obtener del responsable del despliegue una explicación clara y significativa del papel del sistema y de sus principales elementos (artículo 86). Incluyen la calificación crediticia, la selección de personal y el acceso a la educación.

¿Qué hace que una explicación de una decisión automatizada sea significativa?

Una explicación significativa indica que se utilizó un sistema automatizado y en qué parte de la decisión. Expone en lenguaje sencillo los principales factores detrás del resultado, señala qué tendría que cambiar para obtener otro resultado cuando sea realista, y explica cómo llegar a una persona, corregir los datos e impugnar el resultado.

Cómo citar Fundación LASTHUMAN. (2026, 15 de septiembre). Generar confianza: transparencia en la toma de decisiones con IA. https://lasthuman.today/es/insights/transparency-in-ai-decision-making.html