Retour à la bibliothèque
arXiv 2015MICCAI 2015Fusion de caractéristiquesNotes de lecture

U-Net

Le prélude à la fusion

Article original

U-Net: Convolutional Networks for Biomedical Image Segmentation

Auteurs de l’article

Olaf Ronneberger · Philipp Fischer · Thomas Brox

Publication
MICCAI 2015Conférence
Premier dépôt sur arXiv
arXiv:1505.04597
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{featurefusionunet2015,
  title = {{U-Net: Convolutional Networks for Biomedical Image Segmentation}},
  author = {Olaf Ronneberger and Philipp Fischer and Thomas Brox},
  year = {2015},
  eprint = {1505.04597},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1505.04597}
}
Sur cette page

Peu après l'apparition de VGG, bien des besoins restent encore sans réponse.

Les chercheurs constatent que les architectures CNN classiques ne fournissent pas une granularité suffisante pour relever les défis de la segmentation d'images biomédicales.

C'est ainsi que paraît ce travail, devenu un classique de la segmentation d'images.

Définir le problème

Dans le domaine voisin de la classification d'images, tout le monde n'a qu'ImageNet à la bouche et s'en donne à cœur joie.

Les chercheurs en segmentation biomédicale ont moins de chance. Les données d'entraînement y sont rares, trop rares pour répondre aux besoins de l'apprentissage profond.

La voie à suivre n'est pas non plus très claire. Une méthode antérieure consiste à découper les images d'entraînement en plusieurs petits morceaux pour obtenir davantage d'échantillons. Mais cela crée un autre problème : on perd de l'information contextuelle, et la précision de la segmentation en souffre.

Justement, un autre travail vient de proposer une architecture de réseau entièrement convolutif, qui donne une idée aux auteurs.

Peut-être pouvons-nous appliquer cette architecture à la segmentation biomédicale pour remédier à la perte de contexte.

Résoudre le problème

Utiliser une plus grande région d'entrée aide à conserver le contexte, mais le manque de données demeure.

Les auteurs proposent donc U-Net, illustré ci-dessous :

La combinaison des cartes à haute résolution du trajet de contraction et du contexte du trajet d'expansion améliore la précision de localisation. Avec peu de données annotées, les auteurs entraînent aussi le modèle en employant largement des augmentations de données, notamment des déformations élastiques.

Pour l'instant, vous pouvez ignorer les chiffres du schéma. Les auteurs n'utilisent pas de padding dans les couches convolutives ; les cartes rétrécissent donc après chaque convolution. Quand on découvre cette architecture, ces chiffres peuvent détourner l'attention et empêcher d'en apprécier la forme générale.

Découpons la figure en deux et regardons d'abord la gauche :

C'est la partie que nous appelons souvent le Backbone. Des variantes ultérieures de U-Net peuvent y substituer une autre architecture, par exemple MobileNet ou ResNet ; l'article d'origine utilise toutefois le trajet de contraction convolutif représenté ici.

Le schéma d'origine comporte cinq niveaux de résolution, mais seulement quatre sous-échantillonnages par max pooling 2×22 \times 2.

Regardons maintenant la droite :

C'est la partie que nous appelons souvent le Neck. Elle remonte progressivement depuis le niveau le plus bas. On pourrait utiliser une simple interpolation ou une déconvolution plus élaborée ; dans cet article, les auteurs emploient la déconvolution.

Après le suréchantillonnage, on obtient une carte de plus haute résolution. On découpe alors la carte correspondante du trajet de contraction pour l'amener aux mêmes dimensions, puis on les fusionne. Ici, les auteurs les concatènent.

Enfin, une convolution 1×11 \times 1 projette les caractéristiques vers le nombre de classes ; le schéma d'origine montre une sortie à deux canaux pour une segmentation à deux classes. Comme les convolutions ne comportent pas de padding, une entrée de 572×572572 \times 572 ne produit qu'une segmentation de 388×388388 \times 388. Pour traiter des images entières, les auteurs utilisent des tuiles chevauchantes et prolongent les bords par miroir.

Discussion

ISBI Cell Tracking Challenge 2015

Les auteurs appliquent U-Net aux défis de suivi cellulaire ISBI 2014 et 2015 :

  • Sur le jeu de données PhC-U373, ils atteignent 92 % d'IoU, bien au-dessus des 83 % du deuxième.
  • Sur le jeu de données DIC-HeLa, nous obtenons 77,5 % d'IoU, contre 46 % pour le deuxième.

Ces résultats montrent que U-Net obtient d'excellentes performances sur différents types d'images de microscopie et dépasse nettement les autres méthodes existantes.

Conclusion

U-Net conserve les cartes de caractéristiques à haute résolution. En y fusionnant l'information contextuelle, il améliore la précision de la segmentation tout en réduisant le besoin en données. Cette architecture simple et facile à étendre convient à diverses tâches de segmentation d'images, notamment la segmentation de cellules et d'organes, ainsi que la détection de lésions.

Par rapport à FPN, la concaténation entraîne davantage de paramètres et de calculs, ce qui peut poser problème quand le nombre de paramètres est limité. Chaque architecture a ses points forts ; apprenons plusieurs façons de faire et choisissons celle qui convient le mieux à la tâche.