Projet de notice pour l’évaluation de dispositifs médicaux avec intelligence artificielle
La HAS vient de publier un projet de notice pour l’évaluation des dispositifs médicaux ayant recours à une IA, par le CNEDIMTs, dans le cadre d’une demande de remboursement.
Le document est en enquête publique, vous pouvez remonter vos avis.
Grille d’évaluation
La grille d’évaluation proposée est reportée ci-dessous. Notes que c’est avant tout une fiche de renseignement, les différents items sont attendus dans votre documentation technique.
| I. FINALTÉ | |
|---|---|
| 1 | Préciser l’intérêt des informations qui seront fournies par le système en s’appuyant sur des procédés d’apprentissage automatique Par exemple, s’agit-il : • d’aider le patient à adapter la posologie de son traitement ? • d’aider le médecin à établir un diagnostic ou à sélectionner les examens à réaliser ? • de prédire la survenue d’un événement ? |
| 2 | Décrire les caractéristiques de la population visée pour l’indication du DM Celles-ci peuvent être : • démographiques • médicales… |
| II. APPRENTISSAGE | |
| 3 | Préciser le type d’apprentissage Est- il : • continu (algorithme autoapprenant) ? • initial (algorithme conçu par apprentissage puis non évolutif) ? • ou incrémental (algorithme dont la structure et/ou les paramètres sont mis à jour par apprentissage) ? |
| 4 | Décrire le ype de modèle utilisé S’agit-il d’un apprentissage automatique : • supervisé ? • semi-supervisé ? • non supervisé ? • par renforcement ? |
| 5 | Décrire le type d’algorithme utilisé • classification • régression • clustering |
| 6 | Décrire la méthode de sélection du modèle Par exemple, à partir de modèles testés ou du fait de la priorité donnée à l’interprétabilité de la méthode |
| 7 | Décrire les différentes phases d’apprentissage et de contrôle Indiquer spécifiquement celles s’appuyant sur un apprentissage à partir de données individuelles ou collectives. |
| 8 | Décrire les stratégies de réentrainement Par exemple, la fréquence de réentrainement, les variables impliquées et la période de prise en compte des données |
| 9 | Indiquer, le cas échéant, dans quels cas un humain intervient dans le processus de réapprentissage Par exemple, en cas d’apprentissage actif, préciser la fréquence et la qualification de l’intervenant |
| III. DONNEES DE (RE) APPRENTISSAGE | |
| III.1 DESCRIPTION DES ECHANTILLONS DE LA POPULATION UTILISES POUR DEVELOPPER LE MODELE | |
| 10 | Préciser les caractéristiques de chaque échantillon. Sont attendues : leur fonction, leur taille et leur composition. Les variables incluses doivent être citées. La manière dont sont pris en compte les événements rares doit être décrite. |
| 11 | Préciser leurs modalités de constitution ou, le cas échéant, la méthodologie de séparation ou de segmentation Par exemple, préciser les modalités de séparation des jeux de données d’entrainement, de test et de validation |
| 12 | Justifier de la représentativité des échantillons utilisés pour l’apprentissage de l’algorithme par rapport aux échantillons auxquels cet algorithme sera exposé une fois déployé Une justification des critères de représentativité est attendue |
| III.2 DESCRIPTION DES VARIABLES | |
| 13 | Préciser les caractéristiques des variables • type • distribution |
| 14 | Indiquer le mode d’acquisition des variables et leur origine lors du processus d’apprentissage Par exemple, une variable a-t-elle été saisie par un patient ? Provient-elle d’un capteur ? A-t-elle été générée à partir de modèles de patients virtuels ? |
| III.3 DESCRIPTION DES TRAITEMENTS REALISES SUR CES DONNEES EN AMONT DE LEUR UTILISATION DURANT L’APPRENTISSAGE |
|
| 15 | Décrire les tests pratiqués sur les données |
| 16 | Décrire les transformations appliquées aux données Par exemple, les méthodes d’augmentation de données |
| 17 | Décrire la gestion des données manquantes |
| 18 | Expliquer les règles de détection des données aberrantes et décrire la gestion de celles-ci En particulier, comment sont discriminées les données aberrantes des valeurs les moins probables |
| III.4 DONNEES DE DECISION | |
| 19 | Indiquer le mode d’acquisition des variables et leur origine Par exemple, une variable a-t-elle été saisie par un patient ? Provient-elle d’un capteur ? |
| 20 | Préciser les caractéristiques des variables • type • distribution |
| IV. PERFORMANCE | |
| 21 | Décrire et justifier le choix de la métrique c’est-à-dire la méthode de mesure de la performance Par exemple : RMSE, AUC, F1-score… |
| 22 | Décrire les impacts potentiels des traitements opérés Par exemple, en cas de rééquilibrage de classes |
| 23 | Caractériser le sur et le sous apprentissage |
| 24 | Décrire les méthodes de gestion du sur et du sous apprentissage |
| V. VALIDATION | |
| 25 | Décrire les méthodes de validation |
| 26 | Rapporter les performances sur les différents jeux de données Par exemple, les résultats des bases de tests et validations, selon la répartition réalisée |
| VI. RESILIANCE | |
| 27 | Décrire les mécanismes mis en place pour mesurer la dérive du modèle |
| 28 | Préciser les seuils choisis (valeurs limites, taux d’erreur maximal…) |
| 29 | Préciser s’il y a un système de détection d’anomalie des données d’entrée impliquées dans la décision |
| 30 | Décrire les impacts potentiels dus à ces données d’entrée Par exemple : • En cas de non correction des valeurs aberrantes • En cas de d’utilisation de valeur déclaratives • Du fait du niveau d’incertitude associé aux données d’entrée (données physiologiques, environnementales…) |
| 31 | Préciser les mesures mises en place en cas de dérive du modèle ou des données d’entrée Par exemple : mode dégradé, substitution de l’algorithme apprenant par un système expert… |
| 32 | Décrire les situations identifiées comme étant susceptibles d’altérer fonctionnement du système |
| VII. EXPLICABILITÉ / INTERPRÉTABILITÉ | |
| 33 | Indiquer si l’algorithme peut bénéficier d’une technique d’explicabilité / interprétabilité En particulier, pour les algorithmes autoapprenants, une technique d’explicabilité est-elle applicable pour permettre au clinicien ou au patient de comprendre les principaux facteurs ayant conduit à la décision prise ou proposée ? |
| 34 | Indiquer les éléments d’explicabilité mis à disposition Par exemple, indiquer si l’explicabilité de la prise de décision est enregistrée pour analyse a posteriori par des experts en cas de dérive du modèle |
| 35 | Identifier les paramètres influents Pour les algorithmes ayant eu un apprentissage initial ou incrémental, ces paramètres sont-ils identifiés et sont-ils en cohérence avec les connaissances scientifiques ? |
| 36 | Préciser si le mode d’action du système est cohérent Par exemple, le processus décisionnel est-il en accord avec les recommandations professionnelles, lorsqu’elles existent ? |
source : HAS