論文ノートライブラリに戻る
arXiv 2020ICASSP 2020特徴融合論文ノート

UNet 3+

設計変更 UNet++

原論文

UNet 3+: A Full-Scale Connected UNet for Medical Image Segmentation

論文の著者

Huimin Huang · Lanfen Lin · Ruofeng Tong …

著者全 9 名を表示

Huimin Huang · Lanfen Lin · Ruofeng Tong · Hongjie Hu · Qiaowei Zhang · Yutaro Iwamoto · Xianhua Han · Yen-Wei Chen · Jian Wu

発表先
ICASSP 2020国際会議
arXiv への初回投稿
arXiv:2004.08790
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{featurefusionunetppp2020,
  title = {{UNet 3+: A Full-Scale Connected UNet for Medical Image Segmentation}},
  author = {Huimin Huang and Lanfen Lin and Ruofeng Tong and Hongjie Hu and Qiaowei Zhang and Yutaro Iwamoto and Xianhua Han and Yen-Wei Chen and Jian Wu},
  year = {2020},
  eprint = {2004.08790},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2004.08790}
}
このページの内容

これは医療分野における論文で、目的は医療画像のセグメンテーションです。

著者は UNet++ の構造を改良するアイデアを思いつきましたが、「UNet+++」という名前では研究者の美的感覚が表現できないと感じました。

そこで「UNet 3+」と呼ぶことにしましょう!

問題の定義

U-Net と言えば、誰もがよく知っている構造で、次のようになっています:

この古典的な構造は、スキップ接続を使って高次の意味情報と低次の詳細情報を結びつけ、医用画像のセグメンテーションなどで顕著な成果を上げてきました。

しかし、いくつかの問題があります。まず、多尺度特徴は段階的なダウンサンプリングとアップサンプリングの過程で希薄化し、モデルが異なる尺度の情報を十分に活用できず、セグメンテーション精度を向上させることができません。次に、従来の UNet のスキップ接続は、意味的に不一致な高層と低層の特徴を直接融合し、融合の効果を制限する可能性があります。これが設計の動機です。

そこで、UNet++はネストされた密なスキップ接続を通じてこの意味的なギャップを減らし、全体の構造を次のように変更しました:

しかし、この論文の著者は、この構造には冗長な接続が多すぎて効率が不足していると考えました!

接続方法を変更するべきだと考えています。

解決方法

モデル構造

エンコーダは解像度を段階的に下げながら特徴を抽出し、デコーダは解像度を上げながら特徴を融合します。どちらも単なるサンプリング操作だけではありません。UNet 3+では、著者はエンコーダとデコーダの間のスキップ接続を再設計し、多尺度特徴をより完全に統合できるようにしています。

各デコーダ段は、浅い層の高解像度エンコーダ特徴、同解像度のエンコーダ特徴、深い層の低解像度デコーダ特徴を融合します。高解像度の入力は最大プーリングで縮小し、低解像度の入力は双線形補間で拡大して、空間サイズをそろえます。

各デコーダ段では、空間解像度をそろえた 5 系統の特徴をそれぞれ 3×3 畳み込みで 64 チャネルに変換します。連結後は 320 チャネルとなり、320 フィルタの 3×3 畳み込み、BN、ReLU で集約します。各段は別の 3×3 畳み込みで分割出力を作り、双線形補間で元の解像度に戻して sigmoid を適用し、正解マスクから監督を受けます。著者はこれを「全尺度の深層監督」と呼びます。

損失関数

器官の境界を強調するために、著者は多尺度構造的類似度(Multi-scale Structural Similarity、MS-SSIM)を損失関数の 1 つとして導入しました。

直感的に、MS-SSIM は局所的なブロック(patch)の類似度を比較するもので、境界部分での分割結果が真値と大きく異なる場合、構造の類似度は低下し、MS-SSIM の損失は大きくなります。類似度と損失の大小関係は逆です。

数学式は以下の通りです:

ℓms-ssim(p,g)=1−∏s=1S(2μpsμgs+c1(μps)2+(μgs)2+c1)βs(2σpgs+c2(σps)2+(σgs)2+c2)γs\ell_{\text{ms-ssim}}(p,g) = 1 - \prod_{s=1}^S \Biggl( \frac{2\mu_p^s \mu_g^s + c_1}{(\mu_p^s)^2 + (\mu_g^s)^2 + c_1} \Biggr)^{\beta_s} \Biggl( \frac{2\sigma_{pg}^s + c_2}{(\sigma_p^s)^2 + (\sigma_g^s)^2 + c_2} \Biggr)^{\gamma_s}
  • pp と gg はそれぞれ分割結果と真値を示し、pp と gg の局所ブロックサイズは N×NN \times N です。
  • μps,μgs\mu_p^s, \mu_g^s は第 ss 層尺度での pp と gg の平均、σps,σgs\sigma_p^s, \sigma_g^s は標準偏差、σpgs\sigma_{pg}^s は両者の共分散です。
  • βs,γs\beta_s, \gamma_s は原論文でそれぞれ輝度項とコントラスト項に使う尺度ごとの重みです。c1=0.012,c2=0.032c_1=0.01^2, c_2=0.03^2 は分母のゼロ除算を防ぐ定数です。
  • 実験では 5 層尺度 (S=5) が使用されました。

MS-SSIM の値が大きいほど、類似度が高いことを意味し、対応する損失関数は小さくなります。

著者は MS-SSIM 損失、Focal 損失、および IoU 損失を組み合わせ、ピクセルレベル、パッチレベル、マップレベルの三層損失を得ました:

ℓseg=ℓfocal+ℓms-ssim+ℓiou\ell_{\text{seg}} = \ell_{\text{focal}} + \ell_{\text{ms-ssim}} + \ell_{\text{iou}}

この組み合わせにより、「ピクセル単位の誤差」、「局所領域の構造的類似度」および「全体画像の領域重なり率」を同時に考慮し、より良いセグメンテーション性能を達成しています。

Classification-guided Module (CGM)

一般的な医用画像セグメンテーションでは、入力画像に対象器官が含まれていないにもかかわらず、「偽陽性」の誤ったセグメンテーションが発生する可能性があります。

このような状況を避けるために、著者は「追加の分類タスク」を通じてセグメンテーションモデルを指導する方法を提案しています。まず、画像にその器官が含まれているかを判断し、もし「含まれていない」と判定された場合、最終的な出力は空白のセグメンテーション結果とすることが求められます。もし「含まれている」と判定された場合のみ、セグメンテーション結果を保持します。

図 3 のように、最深部のエンコーダ特徴 E5iE^i_5 を、dropout、1×1 畳み込み、適応的最大プーリング、sigmoid からなる分類器に入力します。器官の有無に対応する 2 つのスコアを出し、分類分岐は二値交差エントロピーでも訓練します。

最終的に、推論段階で argmax を用いて 2 クラス分類結果を取得し、単一の 0 または 1 を得ます。この 0/1 の結果は、デコーダ各層のセグメンテーション画像と掛け合わせて使用されます。もし分類結果が 0(器官なし)であれば、セグメンテーション結果はクリアされ、1(器官あり)の場合は元のセグメンテーション画像が保持されます。

ただし、器官を含むスライスを分類器が誤って「なし」と判定すると、正しい分割結果も消えてしまいます。偽陽性の低減と併せて、器官の見落としも評価する必要があります。

実験設定

著者は 2 つの器官を対象に検証を行いました:肝臓(liver)と脾臓(spleen)。

研究では LiTS の肝臓分割データセットと、病院の倫理審査を経た内部の脾臓データセットを使用しました。報告値の範囲は、この 2 データセットと著者の訓練・テスト分割に限られます。

  • 肝臓データセット (LiTS 2017 Challenge)
    • 合計 131 組の造影剤を使用した 3D 腹部 CT スキャン。
    • 103 組は訓練用、28 組はテスト用。
  • 脾臓データセット(病院取得、倫理審査通過)
    • 合計 49 組の CT スキャン(40 組訓練、9 組テスト)。

入力には隣接する 3 枚の CT スライスを 3 チャネルとして使用します:

  • 現在の CT スライス
  • 前のスライス
  • 次のスライス

これにより、ネットワークは上下隣接するスライスの文脈情報を同時に受け取ることができ、器官の境界をセグメンテーションするのに役立ちます。また、著者は画像を320×320320 \times 320のサイズにトリミングしています。

評価指標としてDice 係数を使用してセグメンテーションの品質を測定し、各 3D 体積(volume)に対して計算を行っています。

討論

UNet と UNet++との比較

著者はUNet 3+を古典的なモデルであるUNetおよび改良されたモデルUNet++と実験的に比較しました。これらの比較では、すべてfocal lossを損失関数として使用し、VGG-16 および ResNet-101 の 2 つのバックボーンネットワークでテストを行いました。

上表は著者が肝臓と脾臟データセットで得た実験結果を示しており、次のことがわかります:

  • 深層監督なしの UNet 3+ は平均 Dice が 0.9511 で、UNet(0.9237)より約 2.74 パーセントポイント、UNet++(0.9352)より約 1.59 パーセントポイント高くなっています。二つのバックボーンと二つの器官の四条件を平均した値であり、VGG-16 と ResNet-101 にそれぞれ対応する改善幅ではありません。
  • さらに、もし多尺度深層監督(この表では focal loss を用い、混合損失や CGM はまだ含めません)を追加すると、平均 Dice は 0.9511 から 0.9552 へ、約 0.41 パーセントポイント改善します。

表 1 の設定では、UNet 3+ は表中の U-Net と UNet++ より平均 Dice が高く、パラメータ数も少なくなっています。ただし、各設計要素の独立した効果までは、この表だけでは分かりません。

SOTA との比較

著者は ResNet-101 をバックボーンとする UNet 3+ を複数の手法と比較しました。表中の各手法はテスト時に単一モデルを使い、後処理は行いません。ただし訓練損失は手法ごとに異なるため、手法間の差をすべて構造の効果とは見なせません。

UNet 3+ の消融結果では、肝臓/脾臓の Dice は focal loss のみで 0.9601/0.9560、混合損失で 0.9643/0.9588、混合損失と CGM で 0.9675/0.9620 です。混合損失はピクセル、パッチ、マップの 3 階層を扱います。パッチレベルの MS-SSIM 損失は境界を重視する設計ですが、表 2 はその単独効果を分離していません。

CGM は分類器が「器官なし」と正しく判断したとき、スライス全体の偽陽性を消します。一方、誤判定によって実際の器官を消す可能性もあります。

最終的に、UNet 3+は肝臓分割(Dice = 0.9675)および脾臟分割(Dice = 0.9620)で最良の成績を達成し、表中で最も高い外部ベースラインの Attention UNet より、それぞれ 0.0334 と 0.0296 高い値です。この比較では UNet 3+ 自身のアブレーション版を他手法として数えていません。

可視化結果

ピンク色の領域はTP、黄色の領域はFN、緑の領域はFP


上図は、ResNet-101 をバックボーンにした UNet、UNet++、および UNet 3+(多尺度深層監督)による肝臓データセットでのセグメンテーション結果を示しています。

図 4 の 2 枚のスライスでは、UNet 3+ の緑色の偽陽性領域と黄色の見落とし領域が比較的小さく、境界も連続しています。これは定性的な例であり、データセット全体の差は表 1 と表 2 の Dice で判断します。

結論

この論文は非常に読みやすく、著者が行ったことは次の通りです:

  1. スキップ接続の再設計:多尺度特徴を完全に統合し、デコーダ層で深層監督を行う。
  2. MS-SSIM 損失の導入:局所領域の構造的類似度を強調し、境界認識を促進する。
  3. CGM モジュール:追加の分類タスクを通じてセグメンテーションモデルを指導し、器官を含まないスライスでの偽陽性を減らす。

論文のデータ分割と比較条件では、UNet 3+ は肝臓と脾臓の分割で高い Dice を示し、表中の UNet と UNet++ よりパラメータも少なくなっています。図の例では境界もより連続して見えます。新しいデータや実行環境では再検証が必要です。