Retour à la bibliothèque
arXiv 2019IEEE TMI 2020Fusion de caractéristiquesNotes de lecture

UNet++

Un tissage subtil

Article original

UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation

Auteurs de l’article

Zongwei Zhou · Md Mahfuzur Rahman Siddiquee · Nima Tajbakhsh · Jianming Liang

Premier dépôt sur arXiv
arXiv:1912.05074
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{featurefusionunetpp2019,
  title = {{UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation}},
  author = {Zongwei Zhou and Md Mahfuzur Rahman Siddiquee and Nima Tajbakhsh and Jianming Liang},
  year = {2019},
  eprint = {1912.05074},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1912.05074}
}
Sur cette page

Les auteurs partent de U-Net et examinent les problèmes posés par la conception de son architecture d'origine.

Pour reprendre une phrase de l'un des auteurs :

« Cette topologie, inchangée depuis trois ans, n'a-t-elle vraiment aucun défaut ? »

Extrait de 研习 U-Net

Les auteurs estiment que U-Net a des problèmes, et même beaucoup.

Définition du problème

Un U-Net courant comporte cinq niveaux de sous-échantillonnage, comme le montre (d) ci-dessus.

Pourquoi pas trois ? Pourquoi pas sept ? Quelle profondeur donner au réseau ?

Dans de nombreuses applications du deep learning, la profondeur du réseau est un paramètre essentiel : elle influe directement sur ses performances et sa capacité d'apprentissage.

Examinons les différents aspects de cette question :

  1. Capacité de représentation des caractéristiques

    La profondeur détermine la capacité de représentation du réseau. En termes simples, un réseau plus profond peut généralement apprendre des caractéristiques plus complexes et plus abstraites. Cette capacité compte beaucoup pour la segmentation d'images, la détection d'objets ou la classification. Un réseau moins profond pourrait ne saisir que des caractéristiques plus simples et plus locales.

  2. Complexité de calcul

    Lorsque la profondeur augmente, la complexité de calcul et le nombre de paramètres augmentent souvent fortement. Le temps d'entraînement et d'inférence augmente aussi, de même que les ressources nécessaires. Avec des ressources limitées, trouver la bonne profondeur devient difficile.

  3. Surapprentissage et généralisation

    Un réseau plus profond est généralement plus complexe et peut davantage surapprendre, surtout lorsque les données sont rares. Un réseau moins profond peut mieux généraliser, mais au prix d'une partie de sa capacité de représentation.

  4. Difficulté d'optimisation

    On pourrait bien sûr sous-échantillonner cent fois, si l'image était assez grande ! Mais à mesure que le réseau s'approfondit, il devient plus difficile d'optimiser ses paramètres. Des gradients évanescents ou explosifs peuvent apparaître, par exemple, et nécessiter des méthodes particulières d'initialisation ou d'optimisation.

  5. Théorie et pratique

    En théorie, un réseau profond peut représenter une même fonction avec moins de nœuds et moins de calcul. En pratique, il n'est pas facile de trouver une profondeur adaptée. Un réseau trop profond ou trop peu profond peut mal remplir une tâche donnée.

  6. Nature des données et de la tâche

    Des jeux de données et des tâches différents peuvent demander des profondeurs différentes. Certaines tâches exigent un réseau profond pour saisir des motifs complexes ; d'autres n'ont pas besoin d'autant de niveaux d'abstraction.

  7. Interprétabilité et débogage

    Quand le réseau s'approfondit, son comportement peut devenir plus difficile à interpréter, à comprendre et à déboguer.

En étudiant de près la question « Quelle profondeur ? », nous comprenons mieux son effet sur un modèle de deep learning et pouvons faire des choix de conception plus raisonnables en pratique.

Résolution du problème

Conception du modèle UNet++

Pour la segmentation d'images, l'idéal serait que le réseau apprenne pleinement des caractéristiques à différents niveaux de profondeur, afin de mieux comprendre et traiter les images.

Dans cette réflexion, les auteurs proposent plusieurs structures originales qui visent à mieux intégrer ces caractéristiques et à améliorer les performances du réseau.

Voici les principales étapes de leur conception :

  1. Architecture unifiée (U-Nete)

    • Objectif : établir une architecture unifiée pour des U-Net imbriqués.
    • Cette conception réunit des U-Net de profondeurs différentes. Ils partagent au moins une partie de l'encodeur, mais possèdent chacun leur décodeur. Les décodeurs de différentes profondeurs peuvent ainsi fonctionner dans une même architecture, ce qui offre un point de vue particulier pour observer et comparer l'effet de la profondeur sur les performances.
  2. Version améliorée de U-Net (UNet+)

    • Objectif : vérifier l'effet des connexions entre nœuds voisins.
    • À partir de U-Nete, cette version abandonne les longues connexions de saut d'origine et relie les nœuds voisins par des connexions courtes. Les décodeurs plus profonds peuvent ainsi transmettre un signal de supervision aux moins profonds, favorisant la circulation de l'information et l'intégration des caractéristiques. Cette conception explore l'effet de la collaboration entre décodeurs de profondeurs différentes.
  3. Version avancée de U-Net (UNet++)

    • Objectif : vérifier l'effet des connexions de saut denses.
    • UNet++ s'appuie sur UNet+ et relie les décodeurs au moyen de connexions de saut denses. Les caractéristiques peuvent se propager densément le long de ces connexions, ce qui rend leur fusion plus souple. UNet++ vise une extraction et une fusion plus efficaces dans une architecture unifiée pour répondre aux difficultés liées à la profondeur.

Avec ces architectures, les auteurs espèrent conserver les atouts de U-Net tout en réduisant autant que possible le problème du choix de la profondeur. L'intégration de caractéristiques issues de profondeurs différentes pourrait améliorer la segmentation et d'autres tâches.

Bien sûr, cette architecture n'est pas apparue d'un coup : elle est née des réflexions et des changements successifs des auteurs. Leur propre article raconte ce cheminement.

Discussion

Discutons de quelques questions soulevées par ce qui précède.

Juste plus de paramètres ?

Pour répondre à cette question, les auteurs élargissent le U-Net d'origine jusqu'à approcher le nombre de paramètres d'UNet++, puis comparent les résultats. La méthode est un peu sommaire, selon les auteurs eux-mêmes, mais le tableau montre qu'augmenter simplement les paramètres :

  • Apporte un gain faible, inférieur aux améliorations obtenues par UNet++ dans ces tâches.

En deep learning, davantage de paramètres donne souvent au modèle une plus grande capacité d'expression, mais n'améliore pas toujours les résultats. Trop de paramètres peuvent favoriser le surapprentissage, surtout avec peu de données. Ils augmentent aussi les besoins en calcul et en stockage, ce qui n'est pas nécessairement souhaitable. En améliorant la structure plutôt qu'en ajoutant simplement des paramètres, UNet++ montre l'intérêt de mieux les utiliser.

Supervision profonde et élagage du modèle

Dans l'étude des architectures profondes, en particulier de U-Net pour la segmentation d'images, la supervision profonde (Deep Supervision) et l'élagage du modèle (Model Pruning) sont deux notions importantes. Elles peuvent faciliter l'apprentissage et réduire fortement la taille du modèle tout en conservant une certaine précision, puis accélérer l'inférence, notamment lorsque les ressources sont limitées, comme sur un appareil mobile.

  1. Supervision profonde (Deep Supervision)

    Le principe consiste à ajouter des fonctions de perte auxiliaires à différentes étapes du réseau, afin que ses parties peu profondes reçoivent des mises à jour de gradient utiles. En ajoutant ces pertes aux sorties supérieures X⁰,¹ à X⁰,⁴, les U-Net de profondeurs différentes reçoivent tous un signal de supervision clair. Cela aide le réseau à apprendre. Dans UNet++, chaque sortie supervisée d'un sous-réseau peut être considérée comme une segmentation de l'image, ce qui facilite aussi la propagation du gradient.

  2. Élagage du modèle (Pruning)

    L'élagage est un autre moyen de réduire la taille du modèle. En évaluant chaque sous-réseau sur un ensemble de validation, on peut déterminer quelles branches supprimer pour rester dans une perte de précision acceptable. À l'inférence, on choisit ainsi une profondeur adaptée à l'équilibre entre performance et coût de calcul.

    Après la structure d'UNet++ et le principe de l'élagage, examinons sa faisabilité et son intérêt.

    • Faisabilité

      • Supervision profonde et sorties multiples : grâce à sa supervision profonde, UNet++ possède plusieurs sorties, et chaque sous-réseau peut produire une segmentation. On peut donc évaluer séparément leurs performances avant de choisir les branches à retirer.
      • Élagage : pendant les tests, seule la propagation avant est nécessaire. Si certains sous-réseaux donnent déjà un résultat satisfaisant, supprimer les autres ne modifie pas les sorties précédentes. À l'entraînement, les parties qui seront supprimées contribuent encore à la mise à jour des poids par rétropropagation. Elles restent donc utiles à l'apprentissage. Cette conception permet d'élaguer le réseau tout en préservant ses performances.
    • Importance

      • Efficacité et ressources : l'élagage réduit sensiblement la taille du modèle. Si la sortie L2 est suffisante, on peut supprimer de nombreux paramètres et diminuer les besoins en calcul et en stockage. C'est utile dans un environnement limité, comme un appareil mobile.
      • Accélération : un réseau élagué peut inférer plus vite. Dans l'article, l'élagage jusqu'à L3 réduit le temps moyen d'inférence de 32,2 %, avec une baisse moyenne de l'IoU de 0,6 point ; un élagage plus fort entraîne une perte de précision plus grande. Cet équilibre compte pour les applications qui demandent une réponse immédiate ou presque.
      • Souplesse de l'architecture : en choisissant l'élagage selon la tâche et la difficulté du jeu de données, UNet++ permet d'ajuster la profondeur et d'équilibrer performances et efficacité.
    • Équilibre entre précision et taille du modèle

      • Le lien entre difficulté des données et profondeur du réseau suggère qu'on peut utiliser un modèle plus petit pour un jeu de données plus simple tout en gardant des performances proches. UNet++ peut ainsi maintenir une précision élevée tout en réduisant la taille et le calcul nécessaires.

    Dans UNet++, supervision profonde et élagage permettent de réduire la partie du modèle utilisée à l'inférence dans une limite acceptable de perte de précision. Cela ouvre une autre façon de penser la souplesse du réseau ; l'article mesure toutefois le temps d'inférence sur GPU et ne teste pas directement les appareils mobiles.

Conclusion

La supervision profonde et l'élagage appliqués à UNet++ montrent le potentiel de cette méthode pour améliorer la segmentation d'images.

La supervision profonde permet au modèle de mieux représenter les caractéristiques à différents niveaux, tandis que l'élagage réduit les besoins en calcul et en stockage tout en préservant les performances. Cela compte particulièrement lorsque le matériel est limité.

Du point de vue de l'ingénierie, ces méthodes posent néanmoins quelques difficultés.

La plus évidente : le degré d'élagage dépend des résultats sur l'ensemble de validation. Sur un autre jeu de données ou dans une application réelle, les performances peuvent devenir instables. Si l'on n'y prend pas garde, le modèle pourrait même « mourir ».

Une piste serait d'adapter dynamiquement l'élagage à différentes étapes et d'explorer une optimisation à plusieurs objectifs pour équilibrer précision et efficacité. On pourrait aussi valider le modèle sur plusieurs jeux de données et explorer le transfert d'apprentissage afin d'améliorer sa généralisation et sa stabilité.

En pratique, la supervision profonde et l'élagage compliquent la conception et l'entraînement. Les ingénieurs devront peut-être consacrer davantage de temps et de ressources au réglage et à la validation de l'élagage pour préserver la généralisation ; le développement pourrait prendre plus de temps.

Cet article propose une autre façon d'améliorer la fusion des caractéristiques, mais la mise en œuvre reste difficile et demande encore des recherches et de la pratique. J'espère que cette lecture sera utile aux travaux des chercheurs.