Règlementation et recommandations pour les IA médicales

Alors que le manque de normes et de réglementations dédiées se fait cruellement ressentir par les porteurs de projets, le COCIR publie un point sur la législation européenne applicable aux Intelligences artificielles dispositifs médicaux et au-delà : sous formes d’orientations matinées d’éthique. Ce document imposant est résumé ci-dessous.

Les IA visées

Le terme reste vague, et non défini, le document s’intéresse à toutes les formes d’IA, de l’algo de traitement du langage aux réseaux de neurones avec apprentissage, continu ou non. Autant parler des logiciels en général.

Notez une position intéressante sur les IA fortes, à contre courant de la hype médiatique :

Nous ne prévoyons pas que des IA pouvant  apprendre de manière progressive, raisonner de manière abstraite et agir efficacement dans un large éventail de domaines, apparaissent sur le marché dans un avenir proche ou moyen.

Pas de R. Daneel Olivaw en vue, donc.

Contexte règlementaire

En matière de DM les exigences sont du côté des règlements (UE) 2017/745 et 2017/746.

Le règlement (UE) 2016/679 fixe les exigences en matière de protection des données.

L’Europe a affirmé son intérêt avec son livre blanc sur l’IA.

Contexte normatif

Les normes pour les DM restent applicables, le comité ISO/IEC JTC 1/SC 42 est en charge des normes sur l’IA, les normes publiées et en cours de rédaction sont listées sur cette page.

Orientations pour les fabricants

Informations fournies aux utilisateurs

Le COCIR invite à détailler les modalités de surveillance de l’IA par l’humain, en particulier après un apprentissage.

Il vous est conseillé de définir :

• Comment le dispositif basé sur l’IA peut être surveillé ou contrôlé par un humain
• Pour quels aspects et comment le dispositif basé sur l’IA évolue :
  • Définir si l’IA est verrouillée ou si elle change grâce à l’apprentissage pendant l’exécution;
  • Fournir une description de la dynamique du changement et des limites associées;
• En cas de modification de l’IA en cours d’exécution, indiquer :
  • Comment l’IA apprend au fil du temps;
  • Les limites de changement autorisées;
  • Ce qui a provoqué un changement significatif du comportement de l’IA;
  • Comment la performance et la sécurité sont assurées au fur et à mesure de l’adaptation;
  • Comment est assuré le contrôle de la qualité des nouvelles données relatives à la modification;
  • Ce qui déclenche le changement d’algorithme;
  • Les niveaux de performance et de confiance;
  • Le cas échéant : comment un utilisateur peut rejeter un changement d’algorithme ou revenir à un état antérieur.

Notez que l’apprentissage peut (va) induire des changements critiques vis-à-vis de la sécurité et des performances, ils doivent être vérifiés et validés, cliniquement si besoin.

Documentation technique

Le CORI invite à :

• Décrire le “Protocole de changement algorithmique” (comme votre IA évolue en apprenant) dans le cadre du cycle de vie du logiciel, en plus des exigences de l’IEC 62304;
• Décrire les limites des évolutions possibles du logiciel, de manière quantitative et/ou qualitative;
• Fournir des informations  sur la répétabilité : pour discerner dans quelle mesure le logiciel, en conditions d’utilisation prévues, produit des résultats identiques, par exemple en communiquant sa précision, sa sensibilité, sa spécificité, sa confiance, ses paramètres de fonctionnement…

Exigences techniques

• Informer l’utilisateur qu’il a affaire à une IA et non à un humain, si ce n’est pas évident;
• Embarquer un mode pré-chargeable, dédiés aux tests de conformité, dans un esprit très das Qualität;
• Embarquer des paramètres pré-chargeables sûrs et performants, pour pouvoir y revenir en cas de dérive de l’IA suite à apprentissage;
• Implémenter un contrôle humain du logiciel si la gestion des risques vous y invite.

Une automatisation excessive est d’ailleurs décriée :

L’automatisation n’est bien sûr pas une panacée. Les fabricants et les établissements de santé doivent être conscients que, dans certaines circonstances, l’automatisation entraîne une déqualification ou peut nécessiter une formation plus poussée des utilisateurs et des personnes plus qualifiées que s’il n’y avait pas d’automatisation

À l’opposé, le recours au logiciel est un excellent moyen de maitriser les risques d’erreur d’utilisation (ingénierie de l’aptitude à l’utilisation selon la norme IEC 62366-1).

À vous de trouver le meilleur compromis automatisation / action humaine.

• Distinguer les changements de l’algo selon :
  • la portée des changements :
    • dans une plage prédéterminée / verrouillée (ex : pour s’adapter au patient), dans ce cas les configurations ont pu être vérifiées et validées, elles sont sûres et les performances maitrisées
    • dans des plages non encadrées : les paramètres ne sont pas “en dur” mais calculés par l’IA selon son apprentissage. Ces changements sont évidemment plus difficiles à maitriser.
  • Les modalités de changement :
    • Automatique
    • Manuel
    • Semi-automatique

Il est vraisemblable que les changements dans une plage définie dans la documentation technique soit qualifiable de changements mineurs, selon les résultats de votre analyse des risques. Les changements “hors plage” risquent de nécessiter l’intervention de votre organisme notifié pour les approuver.

• Définir des principes d’éthiques appliqués à l’IA, autant de nouvelles exigences techniques (voir § suivant). Bon courage
• Expliquer, “si possible” selon le COCIR, le fonctionnement des algos. Notez une position curieuse :

Les soins de santé sont depuis longtemps connus pour accepter des dispositifs “inexplicables” à certaines fins, pour autant que le dossier technique comprenne une description de la technologie et des preuves adéquates de la sécurité et des performances.

(…)

L’explicabilité est un moyen de faire confiance et non un but. Une exigence générale selon laquelle les systèmes d’apprentissage automatique en médecine doivent être explicables ou interprétables est donc infondée et potentiellement nuisible

Gestion des risques

Processus

IA ou pas, les grands principes de gestion des risques restent applicables :

1. Identifier les performances essentielles et s’assurer qu’elles correspondent à l’état de l’art.
2. Préciser les limites de performance en conditions normales et en conditions de premier défaut (un bug à la fois).
3. Évaluer les risques associés aux dégradations des performances essentielles
4. Mettre en œuvre des mesures de maitrise des risques
5. Préciser les méthodes de vérification (et validation) de l’efficacité des mesures de contrôle des risques ;
6. Effectuer des tests fonctionnels.

Cas des mauvais résultats fournis par l’IA

À noter : vous pouvez tenir compte des mauvais résultats (ex : faux positif, faux négatif) dans la description des performances de votre IA, ces cas ne seront pas à considérer comme des conditions de premier défaut, mais comme le comportement normal du logiciel, acceptable compte tenu des bénéfices associés.

Cas des risques émotionnels et mentaux

Les troubles mentaux sont une nouveauté de la norme ISO 14971:2019 (mais ils étaient sous-entendus dans les précédentes révisions), les risques de troubles mentaux sont applicables aux IA, en particulier compte tenu de leur “aura d’intelligence”. Ex : stress en cas de faux positif.

Et l’éthique ?

Selon le COCIR : une IA doit avoir un rapport Éthique / Performance optimal.

Explication : pour rendre une IA précise il lui faut beaucoup de paramètres sur le patient, chaque paramètre peut être une source de biais, vous pouvez ne pas les utiliser pour ne pas vous poser de questions éthiques.

Exemple : prendre en compte l’origine ethnique, constater que les noirs américains ont de moins bons pronostics, faire une IA de tri qui favorise les blancs (ce cas est réellement arrivé).

Notez que cette vision est quelque peu défaitiste, performances et éthique pouvant très bien se marier, avec beaucoup de travail.

La notion de biais est ainsi primordiale, comme pour les risques il faudra les réduire autant que possible, en gardant en tête que le biais zéro n’existe pas.

Une réglementation inadaptée

Le point dur est donc la validation des changements par apprentissage continu, impossible avec le règlement DM :

Les algorithmes qui se modifient en cours d’utilisation ne peuvent le faire que dans des limites prédéfinies prises en compte lors de l’évaluation de la conformité. Pour permettre le déploiement d’une IA qui se modifie au-delà de ces limites, une modification de la réglementation est nécessaire.

La règlementation doit donc s’intéresser aux données utilisées pour enrichir les IA et aux algos d’apprentissage, qui seront également à surveiller par un organisme compétent (notifié).

Le RGPD bloque également les IA médicales autonomes en Europe, dans son article 22 “Décision individuelle automatisée” :

L’utilisateur a le droit de ne pas faire l’objet d’une décision fondée exclusivement sur un traitement automatisé des données à caractère personnel.

Source : COCIR