MDCG 2020-1: Évaluation clinique des logiciels, principes clés
Le MDCG a publié un nouveau guide, relatif à l’évaluation clinique des logiciels (de) DM, il est résumé ci-dessous.
Les éléments très généraux du guide, non spécifiques au logiciel ou directement issus du règlement, ne sont pas repris.
Objet, champ d’application
Des rappels sur le statut des logiciels (de) DM, sur les exigences du règlement en matière de preuves cliniques, sur les définitions des règlements et de l’IMDRF.
Processus d’évaluation clinique
Les 3 principes clés
Trois éléments clés doivent être pris en compte lors de la compilation des preuves cliniques :
- Validité scientifique : mesure dans laquelle les résultats du logiciel sont associés à l’état physiologique ou à la condition clinique visée. Cette association doit être bien fondée ou cliniquement acceptée. Il doit y avoir correspondance entre le logiciel et la situation clinique, l’état, l’indication, … Exemple : Un logiciel qui détecte l’arythmie cardiaque en analysant le son d’auscultation obtenu par un stéthoscope numérique nécessite de démontrer une association clinique valide de l’association entre les sons cardiaques anormaux et l’arythmie cardiaque. Les preuves peuvent être générées par exemple par des recherches bibliographiques, des guidances reconnues, des études de preuve de concept ou des évaluations cliniques propres au fabricant.
- Validité technique et analytique : démonstration de la capacité du logiciel (de ses performances) à générer de manière précise, fiable et exacte la sortie prévue, à partir des données d’entrée. Les preuves peuvent être générées par des activités de vérification et de validation, par exemple au niveau de l’unité, de l’intégration et des tests de système, ou en générant de nouvelles preuves par l’utilisation de bases de données, de registres, de bases de données de référence ou de données de patients collectées précédemment.
- Performances cliniques : démonstration de la capacité d’un logiciel à produire des résultats cliniquement pertinents conformément à l’objectif visé (obtenir les bénéfices cliniques revendiqués). Les preuves peuvent être obtenues en testant le logiciel, ou un dispositif équivalent, dans la population cible et pour l’utilisation prévue. La méthodologie appliquée doit être appropriée à la lumière des caractéristiques du dispositif et de l’usage prévu et peut comprendre des essais précliniques, une enquête clinique ou une étude des performances cliniques.
Justifier une quantité suffisante de données
Le guide propose une liste (non-exhaustive) de questions (générales) pour prouver une quantité suffisante de preuves cliniques :
- Les données soutiennent-elles l’utilisation prévue, les indications, les groupes cibles, les allégations cliniques et les contre-indications ?
- Les risques cliniques et les performances analytiques/cliniques ont-ils été étudiés ?
- Les caractéristiques pertinentes du logiciel, telles que l’entrée et la sortie des données, les algorithmes appliqués ou le type d’interconnexion, ont-elles été prises en compte lors de la génération des données pour soutenir les performances de l’appareil ?
- Quel est le degré d’innovation ?
- Quel est l’historique sur le marché ?
- Quelle est l’importance du corpus de preuves scientifiques) ?
- Le type et la conception de l’étude/du test étaient-ils appropriés pour répondre aux objectifs de la recherche ?
- L’ensemble de données était-il approprié et réel (se référer à l’état de l’art) ?
- L’approche statistique était-elle appropriée pour parvenir à une conclusion valable ?
- Toutes les considérations et exigences éthiques, juridiques et réglementaires ont-elles été prises en compte ?
- Y a-t-il conflit d’intérêts ?
Mieux vaut ne pas attendre l’évaluation clinique pour se poser ce genre de questions :)
Justifier la validité scientifique
Des précisions sont apportées sur les sources permettant de démontrer la validité scientifique :
- Normes techniques
- Directives d’une société médicale professionnelle
- Revue systématique de la littérature scientifique
- Enquêtes cliniques/Études de performance clinique
- Données cliniques publiées
- Nouvelles preuves :
- Analyse des données du monde réel
- Évaluation clinique
Justifier la validité technique et analytique
La vérification et la validation des performances dans les environnements de calcul et d’utilisation prévus peuvent être caractérisées en démontrant (ou caractérisant) :
- La disponibilité,
- La confidentialité,
- L’intégrité,
- La fiabilité,
- L’exactitude (résultant de la justesse et de la précision),
- La sensibilité analytique,
- Les limites de détection,
- Les limites de quantification,
- Les autres valeurs limites,
- La spécificité analytique,
- La linéarité,
- L’intervalle de mesure (la gamme de mesure),
- La généralisation (capacité d’un logiciel à étendre la performance testée sur un ensemble de données spécifiées à la population visée),
- Le débit / la qualité des données attendues,
- L’absence de vulnérabilités inacceptables en matière de cybersécurité,
- La prise en compte de l’IAU
Voir l’article expliquant les notions de sensibilité, spécificité, probabilités… appliquées aux logiciels.
Justifier les performances cliniques
La validation des performances cliniques se fait bien entendu pour l’utilisation prévue, et uniquement pour les performances pouvant impacter le résultat clinique.
La validation peut être caractérisée par la démonstration de données cliniques telles que (non exhaustif) :
- La sensibilité clinique / diagnostique,
- La spécificité clinique / diagnostique,
- La valeur prédictive positive,
- La valeur prédictive négative,
- Le nombre de patients à traiter (nombre moyen de patients qui doivent être diagnostiqués/traités pour avoir un impact sur une personne),
- Le nombre nécessaire pour nuire (nombre de patients qui doivent être diagnostiqués/traités afin d’avoir un effet néfaste sur un patient),
- Le rapport de vraisemblance positif,
- Le rapport de vraisemblance négatif,
- Le rapport de cotes,
- L’utilisabilité de l’interface utilisateur,
- Les intervalles de confiance.
Source : europa.eu