Construire la confiance : la transparence des décisions prises par l’IA

La transparence des décisions prises par l’IA signifie que les personnes savent quand un système automatisé est intervenu dans une décision qui les concerne et peuvent connaître les principaux facteurs à l’origine du résultat, et qu’un régulateur ou un chercheur peut vérifier que le système se comporte comme annoncé. Lorsqu’un système d’IA pèse sur une décision concernant un prêt, un diagnostic ou une candidature à un emploi, les personnes concernées méritent de savoir comment elle a été prise et de pouvoir la contester.

Ce que la transparence signifie, et ce qu’elle ne signifie pas

La transparence comporte quatre niveaux :

• L’information : la personne sait qu’un système automatisé est intervenu dans une décision qui la concerne.
• La transparence du système : une documentation de sa finalité, de ses données d’entraînement et de test, de ses performances selon les groupes et des cas où il ne doit pas être utilisé.
• L’explicabilité : les principaux facteurs à l’origine d’un résultat donné pour une personne donnée.
• L’auditabilité : des enregistrements et des preuves qui permettent à un régulateur ou à un chercheur de vérifier que le système se comporte comme annoncé.

La transparence ne consiste pas à publier le code source ou les paramètres du modèle ; un fichier de poids du modèle n’apprend rien à une personne dont la demande a été refusée. L’objectif est une information que son destinataire peut utiliser pour agir.

Pourquoi le contrôle et le recours en dépendent

Chaque niveau protège une capacité : demander si une décision a été automatisée, repérer et corriger une donnée d’entrée erronée, par exemple un paiement mal enregistré, et établir après coup si le système a fonctionné comme prévu.

Le droit européen s’appuie sur ces capacités. L’article 22 du RGPD donne à toute personne le droit de ne pas faire l’objet d’une décision fondée exclusivement sur un traitement automatisé produisant des effets juridiques ou l’affectant de manière significative de façon similaire. Lorsqu’une telle décision est autorisée parce qu’elle est nécessaire à la conclusion ou à l’exécution d’un contrat ou repose sur un consentement explicite, le responsable du traitement doit prévoir des garanties, au minimum le droit d’obtenir une intervention humaine, d’exprimer son point de vue et de contester la décision.

Le règlement européen sur l’IA (AI Act), soit le règlement (UE) 2024/1689, va plus loin pour les systèmes à haut risque, parmi lesquels l’évaluation de la solvabilité des personnes physiques, le recrutement et l’accès à l’éducation. Les fournisseurs doivent documenter ces systèmes, permettre la journalisation des événements et rendre leurs sorties interprétables pour les déployeurs. Les déployeurs doivent informer les personnes qu’un tel système est utilisé dans des décisions les concernant et confier le contrôle humain à des personnes qui ont les compétences, la formation et l’autorité nécessaires pour intervenir. Une personne faisant l’objet d’une telle décision, qui produit des effets juridiques ou l’affecte de manière significative de façon similaire et qu’elle considère comme défavorable, peut obtenir du déployeur des explications claires et pertinentes sur le rôle du système dans la décision et sur les principaux éléments de celle-ci (article 86). La plupart des obligations relatives aux systèmes à haut risque devaient initialement s’appliquer à partir du 2 août 2026, et celles relatives à l’IA à haut risque intégrée dans des produits réglementés à partir du 2 août 2027 ; l’omnibus numérique sur l’IA (règlement (UE) 2026/1744), en vigueur depuis le 27 juillet 2026, a reporté ces dates respectivement au 2 décembre 2027 et au 2 août 2028.

À quoi ressemble une explication réellement utile

Pour la personne concernée, une explication dont elle peut se servir couvre :

• Le fait qu’un système automatisé a été utilisé, et pour quelle partie de la décision.
• Les principaux facteurs qui ont déterminé le résultat, en langage clair.
• Ce qui devrait changer pour obtenir un résultat différent, lorsque c’est réaliste.
• Comment joindre un interlocuteur humain, corriger les données et contester le résultat.

Un refus de prêt qui indique « Votre demande ne répond pas à nos critères » n’explique rien. Un refus qui indique « Les principales raisons sont un revenu inférieur au niveau requis pour ce prêt et deux retards de paiement enregistrés l’an dernier ; vous pouvez demander une vérification de votre historique de paiement et un réexamen par une personne » donne au demandeur quelque chose à vérifier et un moyen d’agir. Il ne révèle pas le modèle ; il révèle la décision.

Un patient devrait savoir qu’une évaluation s’est appuyée sur un logiciel et qu’un clinicien reste responsable ; le clinicien, lui, doit connaître le degré de confiance du système et les cas où il fonctionne mal. Un candidat à un emploi devrait apprendre qu’un outil de présélection a été utilisé, ce qu’il a évalué et comment demander un examen par une personne, afin qu’une liste de présélection reste une recommandation, et non un verdict.

Les méthodes et leurs limites

Il existe deux voies techniques : les modèles interprétables par construction, comme les grilles de score ou les règles de décision, et les méthodes a posteriori pour les modèles complexes, dont l’attribution d’importance aux variables (par exemple SHAP et LIME) et les explications contrefactuelles, qui décrivent la plus petite modification des données d’entrée qui inverse le résultat.

Les méthodes a posteriori résument ou approchent le comportement d’un modèle plutôt qu’elles n’en révèlent le mécanisme ; différentes méthodes peuvent diverger sur une même décision, les attributions peuvent varier avec de petites modifications des données d’entrée, et une explication bien formulée peut inspirer plus de confiance que le modèle n’en mérite. Les contrefactuels devraient se limiter à des changements qu’une personne peut effectuer : dire à une personne qu’elle aurait été acceptée si elle avait eu dix ans de moins n’est pas un conseil, mais le signe que le modèle s’appuie sur une caractéristique qu’elle ne peut pas changer et qui est peut-être protégée par le droit de la non-discrimination.

Les secrets d’affaires, les données personnelles de tiers et le risque de manipulation du système peuvent justifier certaines limites ; une solution praticable est un accès par niveaux : les personnes concernées obtiennent ce dont elles ont besoin pour contester leur dossier, les auditeurs obtiennent la documentation et les journaux, le public obtient des synthèses sur la finalité, les tests et les garanties.

Des preuves plutôt que des déclarations : ce qu’il faut retenir en pratique

La confiance du public repose sur des preuves vérifiables, et non sur des déclarations de principe. Le contrôle humain n’est réel que si les personnes qui l’exercent peuvent passer outre aux résultats du système ; le règlement européen sur l’IA exige que les personnes chargées du contrôle humain des systèmes à haut risque soient en mesure de rester conscientes du biais d’automatisation (la tendance à se fier automatiquement aux sorties d’un système) et de passer outre à ces sorties. Toute personne qui achète, exploite ou est soumise à un tel système peut demander :

• Si un système d’IA intervient, et si les personnes concernées le savent.
• Ce que le système est censé faire, et dans quels cas on sait qu’il échoue.
• Sur quelles données il a été testé, et quels résultats il obtient pour différents groupes.
• Qui peut passer outre à ses résultats, et si ces personnes en ont le temps et l’autorité.
• Comment une personne obtient une explication et conteste le résultat.
• Si les décisions sont consignées en vue d’un examen ultérieur.

Si une organisation ne peut pas répondre, le problème n’est pas un modèle compliqué, mais un système déployé sans les conditions qui permettent de rendre des comptes. Le travail de la Fondation dans ce domaine relève de la recherche et de la publication : sur l’explicabilité, sur la responsabilité des décisions automatisées et sur les cas où les résultats des tests permettent d’affirmer qu’un système est équitable, question que son rapport technique sur la détection des biais au titre du règlement européen sur l’IA examine pour les données synthétiques, anonymisées et à confidentialité différentielle.

En bref

La transparence de l’IA signifie que les personnes savent quand un système automatisé est intervenu dans une décision les concernant et peuvent connaître les principaux facteurs du résultat, et que régulateurs et chercheurs peuvent vérifier que le système se comporte comme annoncé. Elle comporte quatre niveaux : l’information, la transparence du système, l’explicabilité et l’auditabilité. Le but est une information exploitable, non la publication du code source.

Questions fréquentes

Quelle est la différence entre transparence et explicabilité en IA ?

La transparence est la notion la plus large et comporte quatre niveaux : l’information, la transparence du système, l’explicabilité et l’auditabilité. L’explicabilité en est un. Elle porte sur les principaux facteurs d’un résultat donné pour une personne donnée.

La transparence de l’IA signifie-t-elle publier le code source ?

Non. La transparence de l’IA ne signifie pas publier le code source ni les paramètres du modèle, car un fichier de poids ne dit rien à un candidat refusé. Le but est une information que son destinataire peut exploiter.

Que dit l’article 22 du RGPD sur les décisions automatisées ?

L’article 22 du RGPD donne le droit de ne pas faire l’objet d’une décision fondée exclusivement sur un traitement automatisé produisant des effets juridiques ou affectant de manière significative. Lorsqu’une telle décision est permise parce qu’elle est nécessaire à un contrat ou repose sur un consentement explicite, le responsable du traitement doit prévoir des garanties, au minimum l’intervention humaine, l’expression de son point de vue et la contestation de la décision.

Le règlement européen sur l’IA donne-t-il droit à une explication d’une décision d’IA ?

Pour les systèmes à haut risque, le règlement européen sur l’IA (règlement (UE) 2024/1689) prévoit qu’une personne visée par une décision à effets juridiques ou l’affectant de manière significative, qu’elle juge défavorable, peut obtenir du déployeur une explication claire et pertinente du rôle du système dans la décision et de ses principaux éléments (article 86). Les systèmes à haut risque comprennent l’évaluation de la solvabilité des personnes physiques, le recrutement et l’accès à l’éducation.

Qu’est-ce qui rend utile l’explication d’une décision automatisée ?

Une explication utile indique qu’un système automatisé a été utilisé et pour quelle partie de la décision. Elle donne les principaux facteurs du résultat en langage clair, précise ce qui devrait changer pour obtenir un autre résultat lorsque c’est réaliste, et explique comment joindre une personne, corriger les données et contester le résultat.

Comment citer Fondation LASTHUMAN. (2026, 15 septembre). Construire la confiance : la transparence des décisions prises par l’IA. https://lasthuman.today/fr/insights/transparency-in-ai-decision-making.html