Le Deep-Learning et ses algorithmes d'intelligence artificielle supervisés apprennent à réaliser une tâche à partir de données annotées servant d'exemples et considérées comme la vérité terrain. Cependant, pour que l'apprentissage soit optimal, l'annotation de ces données doit être de qualité, c'est à dire la plus précise possible et donc peu bruitée.
En imagerie médicale, la tâche est encore plus complexe. En effet, bien comprendre et annoter une image médicale n'est pas chose simple. Seul des experts tels que des médecins ou biologistes peuvent par exemple segmenter le contour d'une pathologie. De plus, le travail d'annotation reste une tâche extrêmement chronophage et qui peut s'avérer coûteuse.
Ainsi, il est nécessaire de développer des algorithmes intelligents facilitant et accélérant le travail de l'annotateur. Dans cet article, nous nous proposons d'en illustrer un exemple concret, celui de la segmentation de tumeurs cérébrales à partir d'images IRM.
Mot-clés: Computer Vision, imagerie médicale, extraction de chemin minimaux, Fast Marching, Deep Learning
Retrouvez notre tutoriel sur Github illustrant tous les concepts abordés dans cet article de blog :
https://github.com/imcohen/segment-brain-mri
La Computer Vision pour le médical
Rappelons avant toute chose quelques idées simples sur les concepts de Computer Vision et ses applications en imagerie médicale.
Chez l'Homme, la vision est un sens qui lui permet de manière quasi-innée de reconnaître et localiser des objets et toutes sortes de formes de la vie quotidienne . D'autres tâches découlant de la vision peuvent s'avérer plus complexes nécessitant un travail plus long pour pouvoir les réaliser. Citons quelques exemples: diagnostiquer une image médicale, réaliser une peinture artistique ou bien même conduire un véhicule.
La machine quant à elle n'a pas la vision naturelle. Par le biais d'une caméra et de sa capacité de calcul, elle peut toutefois l'acquérir. Ainsi, la Vision par Ordinateur est la science qui confère à la machine la faculté de voir. Il s'agit de lui donner la possibilité de mimer les facultés innées et acquises chez l'homme par le biais d'algorithmes d'analyse d'images.
L'imagerie médicale est un domaine d'application de la Computer Vision parmi les plus attrayants mais en même temps l'un des plus complexes. En effet, les grilles de lectures et de compréhension des images médicales sont complexes. La variabilité des structures biologiques entre patients et des différentes pathologies augmentent d'autant plus cette difficulté. Il faut donc développer des outils précis et redoubler de vigilance dans l'implémentation des algorithmes.
Les techniques de traitement d'images appliquées au médical sont nombreuses. En voici quelques exemples :
segmentation de structures biologiques (organes, cellules, tissus, vaisseaux, fibres, ...)
quantification des structures segmentées par le calcul de métriques spécifiques
recalage d'images (correction de mouvement, chirurgie guidée, ...)
aide au diagnostic
Dans cet article, nous nous intéressons principalement au problème de segmentation d'images. Il s'agira de déterminer automatiquement les contours d'une zone tumorale imagée par IRM.
Annotations médicales & apprentissage supervisé
Le Deep Learning a connu ces dix dernières années un véritable essor dû notamment à ses nombreux succès pour résoudre des problèmes de classification, de détection ou encore de segmentation d'images. Avant de pouvoir prédire sur des données non-connues, les réseaux de neurones convolutionnels (CNN) utilisés en Computer Vision sont entraînés au préalable sur des données annotées pour lesquels la vérité terrain est connue.
La phase d'annotation ou labellisation est donc une étape majeure. Les annotations doivent être essentiellement précises, élaborées, et variées :
précises pour que l'apprentissage par la machine soit de qualité et les performances de l'algorithme élevées
élaborées, c'est à dire donnant le plus d'informations possibles concernant la tâche à réaliser (le contour d'une tumeur est toujours plus élaboré qu'une localisation ponctuelle)
variées pour éviter tout biais dans l'apprentissage et améliorer la capacité de l'algorithme à généraliser sur des données non-connues
En imagerie médicale, l'annotation d'images présentent certaines contraintes. En voici quelques-unes :
1. Nécessité d'un expert :
Seul un médecin, un biologiste ou une personne formée possède la connaissance et la capacité de décrypter une image médicale et donc d'y ajouter une annotation manuelle. L'externalisation d'une telle tâche est donc difficilement réalisable et risquée.
2. L'annotation est parfois longue et chronophage :
Les réseaux de neurones profonds doivent ingérer plusieurs milliers voire dizaines de milliers d'images avant de pouvoir prédire efficacement. Il faut donc non seulement détenir un grand nombre de données, ce qui est parfois difficile d'obtenir dans le médical surtout en imagerie pathologique, mais également avoir le temps et la patience de réaliser l'annotation de ces immenses ensembles d'images.
3. Complexité et variabilité des images médicales :
Annoter le contour de certaines structures biologiques peut parfois s'avérer extrêmement laborieux. Suivant la résolution des images ou le nombre d'entités à segmenter (cellules par exemple), la tâche peut être fastidieuse.
Annotations intelligentes
D'où la nécessité d'avoir recours à des outils intelligents capables d'aider l'annotateur. Des algorithmes traditionnelles de Computer Vision non-supervisés ou s'appuyant sur des modèles mathématiques (équations différentielles, opérateurs morphologiques, filtres ...) peuvent être d'un grand secours. Ils ne nécessitent pas de données annotées pour être implémentés. Ils sont souvent semi-automatiques, l'utilisateur pouvant interagir avec l'interface afin d'initialiser le travail de l'algorithme, par exemple en cliquant sur certains points de l'image.
L'automatisation de l'annotation permet ainsi d'accélérer sa réalisation. C'est également l'opportunité de concevoir avec les médecins des métriques adaptées et répondant à leur critères de lecture des images et qui pourront également aider la machine à apprendre plus facilement sur les données.
Les algorithmes d'extraction de chemins minimaux tels que l'algorithme du Fast-Marching [1] sont un très bon exemple illustrant le principe d'annotation semi-automatique. Pour dessiner automatiquement les contours d'une tumeur sur une image acquise par IRM [2] (voir figure 1), il suffit à l'utilisateur de cliquer sur quelques points autour de la tumeur en question pour que l'algorithme puisse ensuite extraire les chemins minimaux entre chaque paire de points. La notion de chemin minimal est défini par la métrique ou l'énergie de l'image. Dans notre cas, puisqu'il s'agit d'extraire des contours, l'énergie doit être proportionnelle aux gradients de l'image pour favoriser les zones à forts gradients.
Figure 1 : Annotation semi-automatique d'une tumeur cérébrale. A gauche: l'énergie de propagation du front géodésique, proportionnelle aux gradients de l'image. Au milieu: les points cliqués par l'utilisateur sont en jaune et la courbe extraite par l'algorithme en rouge. A droite: superposition de la courbe extraire (en rouge) et de la vérité terrain (en bleu) sur l'image IRM originale [2] .
U-Net pour la segmentation d'images médicales
La méthode d'annotation intelligente présentée ci-dessus est une manière efficace de préparer un jeu d'images labellisé. Un réseau de neurones convolutionnel de type U-Net [3] peut alors être entraîné à segmenter une image tumorale à partir de ces exemples annotés.
L'architecture U-Net est bien connu pour la segmentation d'images biologiques. Elle est constituée d'une partie "encodeur" réalisant l'extraction de caractéristiques locales de l'image, puis d'une partie "décodeur" pour revenir à la résolution initiale de l'image et produire une carte de probabilité pour l'ensemble des pixels de l'image. Les probabilités les plus élevées correspondent à des zones de l'image prédites comme possédant localement une tumeur. La prédiction est ensuite comparée à l'annotation via le calcul d'une fonction de coût (loss). Cette information de comparaison à la réalité terrain est enfin re-propagée au sein du réseau (on parle de "back-propagation" et de descente de gradient stochastique sur l'ensemble des poids du réseau; voir figure 2).
Figure 2: Illustration du processus d'entraînement du réseau de neurones convolutionnel U-Net [3] pour la segmentation d'images bio-médicales.
Tutoriel
Retrouvez notre tutoriel sur Github illustrant tous les concepts abordés dans cet article de blog :
https://github.com/imcohen/segment-brain-mri
Références
[1] Peyré, G., Péchaud, M., Keriven, R., & Cohen, L. D. (2010). Geodesic methods in computer vision and graphics. Now publishers Inc.
[2] Buda, M., Saha, A., & Mazurowski, M. A. (2019). Association of genomic subtypes of lower-grade gliomas with shape features automatically extracted by a deep learning algorithm. Computers in biology and medicine, 109, 218-225.
https://www.kaggle.com/mateuszbuda/lgg-mri-segmentation
[3] Ronneberger, O., Fischer, P., & Brox, T. (2015, October). U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention (pp. 234-241). Springer, Cham.