La Charte des droits de l’IA vise des algorithmes fiables dans le domaine de la santé
Le projet de loi sur les droits de l’IA appelle à des algorithmes de surveillance pour résoudre les problèmes éthiques et juridiques de l’IA dans les soins de santé. L’industrie de la santé examine comment auditer et tester des algorithmes complexes.
« Ce sont des modèles assez compliqués, donc je pense qu’avoir un cadre en place pour évaluer et surveiller rigoureusement les performances des algorithmes peut être largement bénéfique », déclare Zou.
Les développeurs de logiciels doivent parfois revenir en arrière et recycler les modèles sur des données supplémentaires pour améliorer les performances du modèle, explique Zou.
Il recommande aux médecins d’évaluer les modèles pour s’assurer qu’ils fonctionnent bien pour divers groupes démographiques.
« L’expertise d’un clinicien est utile pour aider à générer des étiquettes et des annotations pour les données, qui sont ensuite utilisées pour former ou évaluer les algorithmes », explique Zou.
Après avoir testé les modèles sur différents sous-ensembles de patients, les scientifiques des données peuvent ensuite atténuer et améliorer les algorithmes, explique Zou.
« Le seuil peut être défini pour déterminer le compromis entre, par exemple, le nombre de faux positifs ou de faux négatifs que le modèle peut signaler », explique Zou. « Cela dépend de l’application médicale. Parfois, les faux positifs ou les faux négatifs peuvent avoir des coûts différents. »
Chris Mermigas, responsable juridique chez RSA Security, convient qu’il est essentiel qu’un médecin vérifie le travail des outils d’IA.
« La médecine n’est pas une science exacte », dit Mermigas. « C’est pourquoi vous devriez toujours avoir un médecin ou un professionnel de la santé qui examine les conclusions tirées par l’IA. »
Mermigas compare la façon dont un processus d’examen se présenterait dans le domaine de la santé avec la façon dont un utilisateur revérifie les résultats des caméras aux feux rouges pour voir si une contravention doit être émise.
« Il existe en fait un programme informatique qui enregistre toutes les voitures qui ont brûlé les feux rouges, mais il y a ensuite quelqu’un qui examine tous ces résultats pour décider si une contravention est émise ou non », explique Mermigas.
Le cadre prévient que les systèmes automatisés doivent être conçus pour protéger les personnes contre « les utilisations ou les impacts non intentionnels mais prévisibles des systèmes automatisés ».
Un algorithme pourrait conduire à un diagnostic incorrect ou à un mauvais traitement, explique Zou.
« Je pense que la principale préoccupation est que les algorithmes font beaucoup d’erreurs, et cela peut nuire aux résultats des soins de santé du patient », ajoute-t-il. « Si le patient a une maladie et que l’algorithme manque le diagnostic, cela peut certainement être un mauvais résultat pour le patient, de la même manière qu’un médecin humain peut faire une erreur. »
Maintenir l’équité en santé à l’aide d’outils d’IA
L’IA est connue pour apporter des biais qui rendent l’équité en santé plus difficile à maintenir.
« Vous ne devriez pas être victime de discrimination par des algorithmes et les systèmes doivent être utilisés et conçus de manière équitable », déclare le plan directeur de l’IA.
Cependant, Mermigas note que les biais peuvent résider davantage dans les personnes qui programment les algorithmes que dans les algorithmes eux-mêmes.
« Un algorithme n’est pas intrinsèquement discriminatoire », déclare Mermigas. « C’est la personne qui le programme qui peut pratiquer une discrimination active ou passive ou avoir des tendances discriminatoires. Ils programment cela dans l’algorithme, sciemment ou inconsciemment.
La déclaration des droits numériques appelle les concepteurs et les développeurs de logiciels à protéger les communautés de la discrimination algorithmique en intégrant l’accessibilité pour les personnes handicapées, en effectuant des tests de disparité et en rendant publics les résultats de ces tests.
