La Gestion des Risques dans le Règlement Intelligence Artificielle

Par Guillaume Promé
le
7 Juin. 2023 Logiciel, Risques et B/R

La proposition de règlement 2021/0106(COD) établit les règles concernant les intelligences artificielles en Europe, un récent draft doit l’amender.

Tout comme avec le dispositif médical, l’approche se veut selon les risques.

Les éléments du règlement relatifs à l’analyse et à la gestion des risques sont repris ci-dessous.

Artificial Intelligence act

Définitions utiles

Les définitions sont données dans l’article 3, voici celles en relation avec la gestion des risques :

  • Système d’Intelligence Artificielle : un système basé sur une machine qui est conçu pour fonctionner avec différents niveaux d’autonomie et qui peut, pour des objectifs explicites ou implicites, générer des résultats tels que des prédictions, des recommandations ou des décisions qui influencent des environnements physiques ou virtuels. [👉 avec la proposition d’amendement, on ne prend plus en compte la technologie (anciennement listées en annexe I) : l’IA peut être un simple logiciel non apprenant, voire une simple machine].
  • Risque : la combinaison de la probabilité d’un dommage et de la gravité de ce dommage.
  • Risque significatif : un risque qui est significatif [👍] en raison de la combinaison de sa gravité, de son intensité, de sa probabilité d’occurrence et de la durée de ses effets, ainsi que de sa capacité à affecter une personne, une pluralité de personnes ou un groupe particulier de personnes.
  • Incident Grave : tout incident entraînant directement ou indirectement, susceptible d’avoir entraîné ou susceptible d’entraîner :
    • le décès d’une personne ou
    • une atteinte grave à la santé d’une personne, ou
    • une perturbation grave de la gestion et du fonctionnement d’infrastructures critiques.
  • Personne concernée : toute personne physique ou tout groupe de personnes qui est soumis à un système d’IA ou qui en subit les effets d’une autre manière.
  • Mauvaise utilisation raisonnablement prévisible : utilisation d’un système d’IA d’une manière qui n’est pas conforme à l’usage auquel il est destiné, comme indiqué dans les instructions d’utilisation établies par le fournisseur, mais qui peut résulter d’un comportement humain raisonnablement prévisible ou d’une interaction avec d’autres systèmes, y compris d’autres systèmes d’IA.
Il y a une dissonance entre la définition de risque, impactant une ou des personne(s) et celle d’incident grave, pouvant impacter une (des) personne(s) mais également une infrastructure.

La réglementation définit 3 niveaux de risques pour les IA

La règlementation définit les exigences en fonction de trois niveaux de risques (§ 5.2.2) :

  1. Risque faible : non ciblées par les exigences règlementaires
  2. Risque élevé : les “IA à haut risque”, le règlement se concentre sur cette catégorie
  3. Risque [Pratique] inacceptable : les “IA interdites”

Les IA interdites / inacceptables

Pour supprimer tout risque, les applications suivantes sont interdites (article 5) :

  • Recours à des techniques subliminales pour altérer substantiellement son comportement d’une manière qui cause ou est susceptible de causer un préjudice physique ou psychologique.
  • Exploiter les vulnérabilités d’une personne ou d’un groupe de personnes avec pour objectif ou pour effet d’altérer de manière significative le comportement de cette personne d’une manière qui cause ou est susceptible de causer un préjudice important
  • Évaluer ou à établir un classement de la fiabilité de personnes en fonction de leur comportement social [le “score social“].
  • Utilisation de systèmes d’identification biométrique à distance « en temps réel » dans des espaces accessibles au public à des fins répressives, sauf si…
  • Évaluer le risque de délinquance ou de récidive d’une personne physique ou d’un groupe de personnes physiques
  • Créer ou développer des bases de données de reconnaissance faciale
  • Déduire les émotions d’une personne physique dans les domaines de l’application de la loi, de la gestion des frontières, sur le lieu de travail et dans les établissements d’enseignement.

Cette liste sera mise à jour en fonction des risques émergents.

Les IA à haut risque

Les règles définissant les IA à haut risque sont à retrouver dans l’article 6.

Critères

Une IA est considérée comme à haut risque si :

  1. Elle est destinée à être utilisé comme composant de sécurité d’un produit couvert par les actes législatifs d’harmonisation de l’Union énumérés à l’annexe II, ou constitue lui-même un tel produit, et
  2. Le produit dont le composant de sécurité est le système d’IA, ou le système d’IA, est soumis à une évaluation de la conformité par un tiers

Les produits couverts par des actes législatifs sont les suivants (Annexe II) :

  • Machines
  • Jouets
  • Bateaux de plaisance et aux véhicules nautiques à moteur
  • Ascenseurs
  • Appareils et les systèmes de protection destinés à être utilisés en atmosphères explosibles
  • Équipements radioélectriques
  • Équipements sous pression
  • Installations à câbles
  • Équipements de protection individuelle
  • Appareils brûlant des combustibles gazeux
  • Dispositifs médicaux
  • Dispositifs médicaux de diagnostic in vitro
  • Aviation civile
  • Véhicules à deux ou trois roues et quadricycles
  • Véhicules agricoles et forestiers
  • Équipements marins
  • Système ferroviaire
  • Véhicules à moteur et leurs remorques

Autres IA à haut risque

Le règlement considère les finalités suivantes comme étant également à haut risque (Annexe III) :

  • Identification biométrique et catégorisation des personnes physiques.
  • Gestion et exploitation des infrastructures critiques (trafic routier, eau, gaz, chauffage, électricité).
  • Éducation et formation professionnelle
  • Emploi, gestion de la main-d’œuvre et accès à l’emploi indépendant
  • Accès et droit aux services privés essentiels, aux services publics et aux prestations sociales
  • Autorités répressives (ex : IA visant à déterminer la probabilité qu’une personne physique commette une infraction ou récidive).
  • Gestion de la migration, de l’asile et des contrôles aux frontières
  • Administration de la justice et processus démocratiques (ex : IA destinée à aider à interpréter les faits)

Le système de gestion des risques exigé pour les IA à haut risque

Généralités

Le système de gestion des risques à mettre en œuvre est défini dans l’article 9, il concerne uniquement les IA à haut risque. Le système de management des risques peut être inclus à un autre système demandé par une autre réglementation (ex : le système de gestion des risques exigé pour les dispositifs médicaux).

Les dommages associés aux risques peuvent concerner :

  • La santé des personnes
  • La sécurité des personnes
  • Les droits fondamentaux des personnes

La gestion des risques se déroule sur l’ensemble du cycle de vie, c’est un processus itératif et continu qui implique des personnes compétentes au regard du produit, de sa techno, de son utilisation.

Gestion des risques

Les étapes sont classiques :

  1. Identification des risques selon l’utilisation prévue et une mauvaise utilisation raisonnablement prévisible
  2. Estimation des risques
  3. Évaluation des “risques significatifs”
  4. Mesure de gestion des risques [maitrise], par ordre de préférence :
    1. Élimination ou réduction par conception
    2. Atténuation et contrôle des risques [protection]
    3. Information de l’utilisateur, dont formations
  5. Surveillance après commercialisation / Mise à jour de l’analyse

Les preuves de maitrise des risques sont établies par tests, dont on aura préalablement défini les seuils de réussite.

Les risques résiduels significatifs et le risque résiduel global doivent être jugés acceptables.

Finalement, une attention particulière est portée aux utilisateurs “fragiles”, dont les enfants.