論文ノートライブラリに戻る
arXiv 2019IEEE TMI 2020特徴融合論文ノート

UNet++

微妙なウェブスピナー

原論文

UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation

論文の著者

Zongwei Zhou · Md Mahfuzur Rahman Siddiquee · Nima Tajbakhsh · Jianming Liang

arXiv への初回投稿
arXiv:1912.05074
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{featurefusionunetpp2019,
  title = {{UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation}},
  author = {Zongwei Zhou and Md Mahfuzur Rahman Siddiquee and Nima Tajbakhsh and Jianming Liang},
  year = {2019},
  eprint = {1912.05074},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1912.05074}
}
このページの内容

この論文の著者は、U-Net を出発点として、元の U-Net アーキテクチャの設計問題を探求しています。

既存の筆記は「研习 U-Net」から、問題を端的に示す問いを引用しています:

「この三年間動かなかったトポロジー構造に本当に問題がないのでしょうか?」

Excerpted from 研習 U-Net

著者は、U-Net には問題が一つどころか、いくつもあると考えています。論文が具体的に挙げるのは、適切な深さが事前に分からないことと、元のスキップ接続が同じ解像度のエンコーダ/デコーダ特徴だけを融合することです。

問題の定義

Zhou ほか、UNet++、Figure 1(a–d) 部分、arXiv:1912.05074v2

UNet++ 論文の図 1(a–d)から抜粋。四つの出力は X0,1X^{0,1} から X0,4X^{0,4} までです。(d) は最も深い L4L^4です。

一般的な U-Net は図 (d) のように五つの解像度レベルを持ち、ダウンサンプリングは四回です。畳み込み層の深さ、解像度レベル数、縮小回数は区別しましょう。

なぜ 3 層ではなく、7 層でもないのでしょうか?ネットワークの設計はどれほど深くすべきなのでしょうか?

ネットワークの深さは、表現力だけでなく学習や実行にも関わります。少し分けて考えてみましょう。

  1. 特徴の表現力:深いネットワークは複雑で抽象的な特徴を学べます。一方、浅いネットワークは局所的な特徴に向いている場合があります。畳み込み層の数とダウンサンプリングの回数は別です。
  2. 計算の複雑さ:深くすれば演算量、パラメータ、メモリが増えやすく、訓練と推論に時間がかかります。同じ深さでもチャネル数や接続によって費用は変わります。
  3. 過学習と汎化:データが少ないと複雑なモデルは過学習し得ますが、浅ければ必ず汎化しやすいわけでもありません。正則化などの条件も関係します。
  4. 最適化の難しさ:画像が十分大きければ「100 段も縮小する」と言うことはできますが、勾配や計算資源の問題に直面します。初期化や最適化方法も考える必要があります。
  5. 理論と実践:深い構成が効率よく表現できる関数があっても、実際のタスクに適した深さを選ぶのは簡単ではありません。
  6. データセットとタスク:求められる抽象度や境界の細かさによって、適切な深さは変わります。
  7. 解釈とデバッグ:層が増えると勾配や中間特徴を追う手間も増えます。検証も難しくなります。

これは単なる抽象論ではありません。論文の深さの実験では、Cell と Brain Tumor で浅い U-Net L3L^3 が最深版を上回り、EM では深い版が優れるものの差はわずかでした。そこで UNet++ は、深さの異なる U-Net が計算を一部共有して共同学習し、運用時に出力を選べるか、と問います。さらに、同じ解像度のエンコーダとデコーダの特徴を直接つなぐだけでは、意味情報の隔たりが融合を制限しないか、とも問います。

解決策

UNet++ モデル設計

Zhou ほか、UNet++、Figure 1(e–g) 部分、arXiv:1912.05074v2

論文図 1(e–g)から抜粋。左から、エンコーダの共有、長いスキップ接続から短い接続への変更、同じ解像度のデコーダ間の密な接続です。点線はスキップ接続であり、三つの独立学習済みネットワークを並べた図ではありません。

(e) と (f) を追うと、密なスキップ接続で何が増えたのか見えてきます。

  1. 統一構造(U-Netᵉ)

    • 目的:ネスト型 U-Net の統一構造を定義すること
    • 深さの異なる U-Net がエンコーダの少なくとも一部を共有し、それぞれ独自のデコーダと出力を持ちます。一度の学習で深さを比較できます。各モデルを最初から別々に学習して予測をアンサンブルする場合、エンコーダの計算も学習も共有できません。
  2. U-Net アップグレード版(UNet+)

    • 目的:元の長いスキップ接続を隣接ノード間の短い接続に替え、デコーダ同士をつなぐこと自体の効果を見ること。
    • 深いデコーダから浅いデコーダへ学習信号を送れます。次の UNet++ と比較すれば、密な接続でさらに何が変わるかが分かります。
  3. U-Net 進化版(UNet++)

    • 目的:密なスキップ接続により、エンコーダとデコーダの二枚だけでなく、異なる意味レベルの特徴をデコーダへ届けられるか確かめること。
    • (g) の X0,4X^{0,4} には、下からアップサンプリングされた特徴と、同じ行の先行ノードの特徴が集まります。横方向に蓄積し、縦方向にアップサンプリングして、段階的に融合します。

つまり深さの選択とスキップ接続の設計は別の問いです。前者には共有された複数深度の部分ネットワークと出力選択、後者には密な接続で取り組みます。(e) から (g) への道筋は、冒頭で引いた U-Net の解説も参照できます。

討論

上記の内容について、いくつかの問題について議論します:

単なるパラメータの増加に過ぎないのか?

Zhou ほか、UNet++、Table IV 二次元分割部分、arXiv:1912.05074v2。赤字は筆記の追記

論文表 IVの二次元分割欄から抜粋。赤字は読み方の注記です。値は IoU の平均 ± 標準偏差(%)、DS は深層監督です。この切り抜きには三次元の Lung Nodule 欄と有意差表示の一部が含まれません。

著者は元の U-Net の幅を広げ、UNet++ に近いパラメータ数で比べました。少し荒っぽく見える手段ですが、「単にパラメータが多いだけ?」という疑問には答えられます。表では U-Net が 7.8M、wide U-Net が 9.1M、UNet++ が 9.0M です。

  • 幅を広げる効果はゼロではありませんが、パラメータ数だけでは UNet++ の結果を説明できません。

Cell では wide U-Net が元の 88.73 から 88.91 へ 0.18 IoU ポイント上昇しますが、UNet++ は DS なしで 91.03、DS ありで 91.21 です。EM では 88.30 → 88.37 → 88.92/89.33。差の大きさはデータセットで異なります。UNet++ の Nuclei は 92.44 から 92.37 になります。「パラメータ増は無意味」の一言より、接続方式と学習条件を併せて見るほうが正確です。差のすべてを一要因に帰すこともできません。

深度監督とモデル剪枝

UNet++ では深層監督と枝刈りを組み合わせます。複数の出力に分割を学習させ、推論時には使う分岐を選びます。

  1. 深層監督(Deep Supervision)

    Zhou ほか、UNet++、Figure 1(g) 部分、arXiv:1912.05074v2

    論文図 1(g)の一部で、別の構造ではありません。最上段から損失記号へ向かう四本の線が、監督される四つの出力です。

    補助損失は、最上段にある同じ全解像度の出力 X0,1X^{0,1} から X0,4X^{0,4} に加えます。各解像度レベルに一つずつ出力を設ける方式ではありません。論文では各出力に画素ごとの交差エントロピーと soft Dice を組み合わせ、四つの損失を等しい重みで足します。異なる深さの部分ネットワークが分割の教師信号を受け、エンコーダを共有します。後段の勾配は共有された前段も更新します。

  2. モデルの枝刈り(Pruning)

    Zhou ほか、UNet++、Figure 2、arXiv:1912.05074v2

    論文図 2から抜粋。左から L4L^4、L3L^3、L2L^2、L1L^1 です。灰色のノードは選んだ出力に不要な部分です。

    推論では複数の分岐の予測を平均するか、一つの出力だけを使います。例えば L2L^2 を選ぶ場合、その出力が依存しない深い分岐を削除します。任意の重みを削る方式ではありません。

    使わない分岐を削除しても、選択した分岐自体の出力は変わりません。ただし、完全なモデルや複数出力の平均とは精度が異なる可能性があります。学習時には後段の分岐から共有された前段へ勾配が流れ、推論時に初めて不要な分岐を外します。論文は、共同学習してから剪定する場合と同じ浅い構造を単独で学習する場合も比較しています。検証データの精度と対象ハードウェアでの遅延を併せて評価しましょう。

    手前の出力は一般に少ない計算で得られます。論文図 5 の実験では、L3L^3 は未剪定の L4L^4 より平均推論時間が 32.2% 短く、メモリ使用量は 75.6% 少なく、IoU は平均 0.6 ポイント低下しました。さらに強い剪定では IoU の低下も大きくなります。加速率やリアルタイム動作の可否は実行条件に依存します。対象機器で実測します。

    精度を重視する場合にはネットワークを多く残し、資源が限られる場合には短い分岐を評価する、という選択肢が得られます。学習時の特徴共有と推論時の分岐選択は、別の役割を持っています。

結論

UNet++ に深層監督と枝刈りを組み合わせると、画像分割の精度と実行費用を調整できる可能性があります。異なる深さの出力に教師信号を与え、推論では必要な分岐を選ぶという設計です。

工学的には課題もあります。どこまで枝刈りするかは検証セットの結果に頼るため、別のデータセットや実運用では性能が不安定になり、うっかりするとモデルが「お亡くなりになる」かもしれません。病院間での転移を含め、運用前に確認すべきリスクです。

考えられる方向には、段階に応じた枝刈り、精度と効率の多目的な最適化、データセットをまたぐ検証や転移学習があります。いずれも、この論文で確立された解決策ではありません。

深層監督と枝刈りは設計・訓練・検証の手間も増やします。実際に使うなら、対象の装置で速度やメモリを測り、開発にかかる時間も見積もる必要があります。特徴融合を考え直す手がかりとして、この論文が研究や実装の参考になればと思います。