Projet de notice pour l’évaluation de dispositifs médicaux avec intelligence artificielle

Par Guillaume Promé
le
25 Nov. 2019 Logiciel, Remboursement

La HAS vient de publier un projet de notice pour l’évaluation des dispositifs médicaux ayant recours à une IA, par le CNEDIMTs, dans le cadre d’une demande de remboursement.
Le document est en enquête publique, vous pouvez remonter vos avis.

Grille d’évaluation

La grille d’évaluation proposée est reportée ci-dessous. Notes que c’est avant tout une fiche de renseignement, les différents items sont attendus dans votre documentation technique.

I. FINALTÉ
1 Préciser l’intérêt des informations qui seront fournies par le système en s’appuyant sur des procédés d’apprentissage automatique
Par exemple, s’agit-il :
d’aider le patient à adapter la posologie de son traitement ?
d’aider le médecin à établir un diagnostic ou à sélectionner les examens à réaliser ?
de prédire la survenue d’un événement ?
2 Décrire les caractéristiques de la population visée pour l’indication du DM
Celles-ci peuvent être :
démographiques
médicales…
II. APPRENTISSAGE
3 Préciser le type d’apprentissage
Est- il :
continu (algorithme autoapprenant) ?
initial (algorithme conçu par apprentissage puis non évolutif) ?
ou incrémental (algorithme dont la structure et/ou les paramètres sont mis à jour par apprentissage) ?
4 Décrire le ype de modèle utilisé
S’agit-il d’un apprentissage automatique :
supervisé ?
semi-supervisé ?
non supervisé ?
par renforcement ?
5 Décrire le type d’algorithme utilisé
classification
régression
clustering
6 Décrire la méthode de sélection du modèle
Par exemple, à partir de modèles testés ou du fait de la priorité donnée à l’interprétabilité de la méthode
7 Décrire les différentes phases d’apprentissage et de contrôle
Indiquer spécifiquement celles s’appuyant sur un apprentissage à partir de données individuelles ou collectives.
8 Décrire les stratégies de réentrainement
Par exemple, la fréquence de réentrainement, les variables impliquées et la période de prise en compte des données
9 Indiquer, le cas échéant, dans quels cas un humain intervient dans le processus de réapprentissage
Par exemple, en cas d’apprentissage actif, préciser la fréquence et la qualification de l’intervenant
III. DONNEES DE (RE) APPRENTISSAGE
III.1 DESCRIPTION DES ECHANTILLONS DE LA POPULATION UTILISES POUR DEVELOPPER LE MODELE
10 Préciser les caractéristiques de chaque échantillon.
Sont attendues : leur fonction, leur taille et leur composition. Les variables incluses doivent être citées. La manière dont sont pris en compte les événements rares doit être décrite.
11 Préciser leurs modalités de constitution ou, le cas échéant, la méthodologie de séparation ou de segmentation
Par exemple, préciser les modalités de séparation des jeux de données d’entrainement, de test et de validation
12 Justifier de la représentativité des échantillons utilisés pour l’apprentissage de l’algorithme par
rapport aux échantillons auxquels cet algorithme sera exposé une fois déployé
Une justification des critères de représentativité est attendue
III.2 DESCRIPTION DES VARIABLES
13 Préciser les caractéristiques des variables
type
distribution
14 Indiquer le mode d’acquisition des variables et leur origine lors du processus d’apprentissage
Par exemple, une variable a-t-elle été saisie par un patient ?
Provient-elle d’un capteur ?
A-t-elle été générée à partir de modèles de patients virtuels ?
III.3 DESCRIPTION DES TRAITEMENTS REALISES SUR CES DONNEES EN AMONT DE LEUR UTILISATION DURANT
L’APPRENTISSAGE
15 Décrire les tests pratiqués sur les données
16 Décrire les transformations appliquées aux données
Par exemple, les méthodes d’augmentation de données
17 Décrire la gestion des données manquantes
18 Expliquer les règles de détection des données aberrantes et décrire la gestion de celles-ci
En particulier, comment sont discriminées les données aberrantes des valeurs les moins probables
III.4 DONNEES DE DECISION
19 Indiquer le mode d’acquisition des variables et leur origine
Par exemple, une variable a-t-elle été saisie par un patient ? Provient-elle d’un capteur ?
20 Préciser les caractéristiques des variables
type
distribution
IV. PERFORMANCE
21 Décrire et justifier le choix de la métrique c’est-à-dire la méthode de mesure de la performance
Par exemple : RMSE, AUC, F1-score…
22 Décrire les impacts potentiels des traitements opérés
Par exemple, en cas de rééquilibrage de classes
23 Caractériser le sur et le sous apprentissage
24 Décrire les méthodes de gestion du sur et du sous apprentissage
V. VALIDATION
25 Décrire les méthodes de validation
26 Rapporter les performances sur les différents jeux de données
Par exemple, les résultats des bases de tests et validations, selon la répartition réalisée
VI. RESILIANCE
27 Décrire les mécanismes mis en place pour mesurer la dérive du modèle
28 Préciser les seuils choisis (valeurs limites, taux d’erreur maximal…)
29 Préciser s’il y a un système de détection d’anomalie des données d’entrée impliquées dans la décision
30 Décrire les impacts potentiels dus à ces données d’entrée
Par exemple :
En cas de non correction des valeurs aberrantes
En cas de d’utilisation de valeur déclaratives
Du fait du niveau d’incertitude associé aux données d’entrée (données physiologiques, environnementales…)
31 Préciser les mesures mises en place en cas de dérive du modèle ou des données d’entrée
Par exemple : mode dégradé, substitution de l’algorithme apprenant par un système expert…
32 Décrire les situations identifiées comme étant susceptibles d’altérer fonctionnement du système
VII. EXPLICABILITÉ / INTERPRÉTABILITÉ
33 Indiquer si l’algorithme peut bénéficier d’une technique d’explicabilité / interprétabilité
En particulier, pour les algorithmes autoapprenants, une technique d’explicabilité est-elle applicable pour permettre au clinicien ou au patient de comprendre les principaux facteurs ayant conduit à la décision prise ou proposée ?
34 Indiquer les éléments d’explicabilité mis à disposition
Par exemple, indiquer si l’explicabilité de la prise de décision est enregistrée pour analyse a posteriori par des experts en cas de dérive du modèle
35 Identifier les paramètres influents
Pour les algorithmes ayant eu un apprentissage initial ou incrémental, ces paramètres sont-ils identifiés et sont-ils en cohérence avec les connaissances scientifiques ?
36 Préciser si le mode d’action du système est cohérent
Par exemple, le processus décisionnel est-il en accord avec les recommandations professionnelles, lorsqu’elles existent ?

source : HAS