Le Forum des Dispositifs Médicaux
Validation - Logiciel intégrant une IA
Citation de Romain Vincent le 6 février 2023, 14 h 15 minBonjour à tous,
J'ouvre un sujet portant sur les méthodes de validation d'un logiciel de détection d'une maladie par un algorithme décisionnel, avec en parallèle une IA qui induit une séquence d'apprentissage après chaque utilisation clinique. Nous garantissons la sécurité de l'apprentissage par notre ACP (Algorithm Change Protocol), qui se base sur deux points:
-Nous figeons les paramètres pour récupérer un échantillon. Ces paramètres doivent être respectés a chaque utilisation (Un exemple de paramètre pour un test PCR par exemple pourrait être que la tige doit rester au moins 15 secondes dans le canal naso-lacrymal)
-Systématiquement après un apprentissage, un test automatique est effectué pour mesurer la sensibilité et la spécificité, et ainsi vérifier que ces mesures ne se retrouvent pas en dessous d'un certain pourcentage.Nous pensions transposer la méthode du cycle en V pour vérifier et valider notre IA. Est-ce qu'il est possible de faire cela? Sinon, quelle méthode recommandez vous?
Je vous remercie par avance!
VINCENT Romain.
Bonjour à tous,
J'ouvre un sujet portant sur les méthodes de validation d'un logiciel de détection d'une maladie par un algorithme décisionnel, avec en parallèle une IA qui induit une séquence d'apprentissage après chaque utilisation clinique. Nous garantissons la sécurité de l'apprentissage par notre ACP (Algorithm Change Protocol), qui se base sur deux points:
-Nous figeons les paramètres pour récupérer un échantillon. Ces paramètres doivent être respectés a chaque utilisation (Un exemple de paramètre pour un test PCR par exemple pourrait être que la tige doit rester au moins 15 secondes dans le canal naso-lacrymal)
-Systématiquement après un apprentissage, un test automatique est effectué pour mesurer la sensibilité et la spécificité, et ainsi vérifier que ces mesures ne se retrouvent pas en dessous d'un certain pourcentage.
Nous pensions transposer la méthode du cycle en V pour vérifier et valider notre IA. Est-ce qu'il est possible de faire cela? Sinon, quelle méthode recommandez vous?
Je vous remercie par avance!
VINCENT Romain.
Citation de Mathilde Béal le 6 février 2023, 18 h 02 minBonjour @romain34.
Dans votre raisonnement il y'a une bonne idée (rejouer le même protocole d'acceptance ( mesure non-regression / regression controlé) pour chaque lot de qualification. C'est conforme avec la rigueur méthodologique d'un cycle en V avec Verification et Validation Analytique (V&V).
Cependant, vous ne présentez pas ici comment vous exécutez votre méthodologie V&V de bout en bout. Je ne suis pas en mesure de vous conseiller ici, avec trop peu d'élements, si votre méthode est suffisamment qualitative et conforme. J'ai besoin de comprendre un peu plus en profondeur l'effort et la rigueur pour chaque étage du cycle en V (qualification unitaire, vérification & validation analytique) pour pouvoir positionner un avis ;-). Cela nécessiterai un NDA pour la revue des quelques documents maitres de votre démarche.
Mon conseil est de miser sur la rigueur à chaque étape, et éventuellement de constituer un comité consultatif d'experts méthodologique pour la mise en place des process V&V de votre entreprise, si vous partez de 0.
Cordialement,
Mathilde
Bonjour @romain34.
Dans votre raisonnement il y'a une bonne idée (rejouer le même protocole d'acceptance ( mesure non-regression / regression controlé) pour chaque lot de qualification. C'est conforme avec la rigueur méthodologique d'un cycle en V avec Verification et Validation Analytique (V&V).
Cependant, vous ne présentez pas ici comment vous exécutez votre méthodologie V&V de bout en bout. Je ne suis pas en mesure de vous conseiller ici, avec trop peu d'élements, si votre méthode est suffisamment qualitative et conforme. J'ai besoin de comprendre un peu plus en profondeur l'effort et la rigueur pour chaque étage du cycle en V (qualification unitaire, vérification & validation analytique) pour pouvoir positionner un avis ;-). Cela nécessiterai un NDA pour la revue des quelques documents maitres de votre démarche.
Mon conseil est de miser sur la rigueur à chaque étape, et éventuellement de constituer un comité consultatif d'experts méthodologique pour la mise en place des process V&V de votre entreprise, si vous partez de 0.
Cordialement,
Mathilde
Citation de Romain Vincent le 8 février 2023, 16 h 43 minBonjour @opaledm,
Je vous remercie pour votre réponse, il est rassurant de savoir que notre idée de départ correspond à la méthode du cycle en V!
Je prend en note votre conseil, nous partons effectivement de 0 et le comité que vous proposez est une option envisageable.Très bonne journée à vous,
Romain
Bonjour @opaledm,
Je vous remercie pour votre réponse, il est rassurant de savoir que notre idée de départ correspond à la méthode du cycle en V!
Je prend en note votre conseil, nous partons effectivement de 0 et le comité que vous proposez est une option envisageable.
Très bonne journée à vous,
Romain