Le Forum des Dispositifs Médicaux

Veuillez pour créer des messages et des sujets de discussion.

Evaluation clinique 3 algorithmes développés par Intelligence Artificielle

Bonjour,

Je souhaiterais avoir votre aide concernant une étude de validation clinique d’un produit DIV (kit avec réactifs + logiciel DIV). L’indication du produit est une aide au diagnostic. Le principe : échantillon de sang, utilisation de réactifs, obtention de résultats (séquences d’ARN) puis passage dans un algorithme pour obtenir un score d’aide au diagnostic. Test qualitatif. Classe C. L’algorithme présent dans le logiciel est développé par une IA (Machine Learning) sur la base d’un pool de patients.

Aujourd’hui, nous avons développé 3 algorithmes sensiblement équivalents en termes de performances mais pas identiques (différences dans les biomarqueurs utilisés, quelques différences dans les données cliniques à sélectionner initialement, différences dans le choix des gènes impliqués dans le séquençage d’ARN…). Nous souhaitons faire une validation clinique du produit en faisant passer les résultats de patients (différents de ceux ayant servi au développement des algorithmes) sur chaque algorithme. Les résultats seront comparés à un diagnostic de référence et avec chaque algorithme afin de déterminer le plus performant des 3 et obtenir le marquage CE pour le produit avec 1 seul algorithme (le meilleur).

Pensez-vous que notre stratégie est solide et serait acceptable lors de l’évaluation par l’ON ? Merci.

Bonjour @manon34

La démarche proposée semble bien pensée et structurée.

Sur sa solidité, j'observe des partis pris pour la construction des données d'entrée, ainsi que pour le positionnement du critère de validation.

-->Données d'entrée: "différences dans les biomarqueurs utilisés, quelques différences dans les données cliniques à sélectionner initialement, différences dans le choix des gènes impliqués dans le séquençage d’ARN…"

--> Données de sortie et critère de validation "Les résultats seront comparés à un diagnostic de référence"

Sans connaître plus en détail le projet, je ne peux pas me positionner sur la qualité de ces différentes approches vis à vis de l'état de l'art normatif et scientifique (bonne utilisation des base de données de référence de génétique etc ...)

Je vous recommande de construire un comité d'au moins 2 experts avec le bagage en sequencage ARN  pour faire des relectures des livrables de validation au fur et à mesure.

Cela permettra aussi de rassurer l'ON car le  dossier de validation aura déjà fait l'objet d'un consensus par les relectures d'experts indépendants.

 

Cordialement,

Mathilde

 

Merci beaucoup pour votre réponse. Je prends note de vos conseils.

 

Bonjour,

le fait de garder le meilleurs des trois algos ne va pas suffire à prouver les performances.

Vous devez faire un gros travail pour justifier la qualité et l'exhaustivité des données de formation, d'entrainement et de test. Utiliser des critères de validation qui font consensus. Démontrer la maitrise des biais, prouver la stabilité de l'algo.