{"notes":[{"id":"feature-fusion/unet","category":"feature-fusion","legacyPath":"feature-fusion/1505-unet","legacySlug":"1505-unet","legacyPaths":[],"title":"U-Net","subtitle":"融合の序章","author":"Z. Yuan","paperDate":"2015-05-18","publishedOn":"2024-08-15","paperTitle":"U-Net: Convolutional Networks for Biomedical Image Segmentation","paperUrl":"https://arxiv.org/abs/1505.04597","bibliography":{"title":"U-Net: Convolutional Networks for Biomedical Image Segmentation","authors":["Olaf Ronneberger","Philipp Fischer","Thomas Brox"],"url":"https://arxiv.org/abs/1505.04597","pdfUrl":"https://arxiv.org/pdf/1505.04597","codeUrl":null,"preprint":{"id":"1505.04597","submittedOn":"2015-05-18","url":"https://arxiv.org/abs/1505.04597"},"publication":{"venue":"MICCAI","year":2015,"kind":"conference","url":"https://doi.org/10.1007/978-3-319-24574-4_28"},"citation":"@misc{featurefusionunet2015,\n  title = {{U-Net: Convolutional Networks for Biomedical Image Segmentation}},\n  author = {Olaf Ronneberger and Philipp Fischer and Thomas Brox},\n  year = {2015},\n  eprint = {1505.04597},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1505.04597}\n}\n","citationPath":"/content/papers/citations/feature-fusion/unet.b015405a1c46.bib"},"thumbnail":{"src":"/content/papers/assets/0b302bf8ed079d85b3a07562463380875eb3d9dfc631684549000c38d16a5f38.jpg","width":1224,"height":824},"locale":"ja","path":"/content/papers/ja/feature-fusion/unet.1edb542cd9d4.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"討論","text":"討論","depth":2},{"id":"isbi-cell-tracking-challenge-2015","text":"ISBI Cell Tracking Challenge 2015","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"segmentation/fcn","relation":"background","topic":"密な予測とエンコーダ・デコーダ間のスキップ接続"},{"id":"feature-fusion/unetpp","relation":"next","topic":"密な予測とエンコーダ・デコーダ間のスキップ接続"},{"id":"feature-fusion/trans-unet","relation":"comparison","topic":"エンコーダ・デコーダのスケール間特徴伝達"}]},{"id":"segmentation/fcn","category":"segmentation","legacyPath":"segmentation/1411-fcn","legacySlug":"1411-fcn","legacyPaths":[],"title":"FCN","subtitle":"全畳み込みネットワーク","author":"Z. Yuan","paperDate":"2014-11-14","publishedOn":"2024-09-11","paperTitle":"Fully Convolutional Networks for Semantic Segmentation","paperUrl":"https://arxiv.org/abs/1411.4038","bibliography":{"title":"Fully Convolutional Networks for Semantic Segmentation","authors":["Jonathan Long","Evan Shelhamer","Trevor Darrell"],"url":"https://arxiv.org/abs/1411.4038","pdfUrl":"https://arxiv.org/pdf/1411.4038","codeUrl":null,"preprint":{"id":"1411.4038","submittedOn":"2014-11-14","url":"https://arxiv.org/abs/1411.4038"},"publication":{"venue":"CVPR","year":2015,"kind":"conference","url":"https://arxiv.org/abs/1411.4038"},"citation":"@misc{segmentationfcn2014,\n  title = {{Fully Convolutional Networks for Semantic Segmentation}},\n  author = {Jonathan Long and Evan Shelhamer and Trevor Darrell},\n  year = {2014},\n  eprint = {1411.4038},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1411.4038}\n}\n","citationPath":"/content/papers/citations/segmentation/fcn.1c65fe1c14c6.bib"},"thumbnail":{"src":"/content/papers/assets/1a8a4d2936086814cc5bd26819653959fe4cc29c64c5cba2009f8b8e43c87842.jpg","width":1224,"height":684},"locale":"ja","path":"/content/papers/ja/segmentation/fcn.85001ec1c936.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"アップサンプリング","text":"アップサンプリング","depth":3},{"id":"マルチスケール融合","text":"マルチスケール融合","depth":3},{"id":"訓練データセットと戦略","text":"訓練データセットと戦略","depth":3},{"id":"評価指標","text":"評価指標","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"pascal-voc-結果","text":"PASCAL VOC 結果","depth":3},{"id":"nyudv2-結果","text":"NYUDv2 結果","depth":3},{"id":"sift-flow-結果","text":"SIFT Flow 結果","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"討論":"考察"},"guide":null,"relatedReading":[{"id":"feature-fusion/unet","relation":"next","topic":"密な予測とエンコーダ・デコーダ間のスキップ接続"}]},{"id":"feature-fusion/unetpp","category":"feature-fusion","legacyPath":"feature-fusion/1912-unetpp","legacySlug":"1912-unetpp","legacyPaths":[],"title":"UNet++","subtitle":"微妙なウェブスピナー","author":"Z. Yuan","paperDate":"2019-12-11","publishedOn":"2024-06-04","paperTitle":"UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation","paperUrl":"https://arxiv.org/abs/1912.05074","bibliography":{"title":"UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation","authors":["Zongwei Zhou","Md Mahfuzur Rahman Siddiquee","Nima Tajbakhsh","Jianming Liang"],"url":"https://arxiv.org/abs/1912.05074","pdfUrl":"https://arxiv.org/pdf/1912.05074","codeUrl":null,"preprint":{"id":"1912.05074","submittedOn":"2019-12-11","url":"https://arxiv.org/abs/1912.05074"},"publication":{"venue":"IEEE Transactions on Medical Imaging","shortVenue":"IEEE TMI","year":2020,"kind":"journal","url":"https://doi.org/10.1109/tmi.2019.2959609"},"citation":"@misc{featurefusionunetpp2019,\n  title = {{UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation}},\n  author = {Zongwei Zhou and Md Mahfuzur Rahman Siddiquee and Nima Tajbakhsh and Jianming Liang},\n  year = {2019},\n  eprint = {1912.05074},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1912.05074}\n}\n","citationPath":"/content/papers/citations/feature-fusion/unetpp.705f49eb8c87.bib"},"thumbnail":{"src":"/content/papers/assets/18c574b0b0071aa4793fac92518b497a37830e9fd54c1abbc05ffb77b3365eae.jpg","width":1024,"height":244},"locale":"ja","path":"/content/papers/ja/feature-fusion/unetpp.370c30ccc992.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"解決策","text":"解決策","depth":2},{"id":"unet-モデル設計","text":"UNet++ モデル設計","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"単なるパラメータの増加に過ぎないのか","text":"単なるパラメータの増加に過ぎないのか？","depth":3},{"id":"深度監督とモデル剪枝","text":"深度監督とモデル剪枝","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"feature-fusion/unet","relation":"background","topic":"密な予測とエンコーダ・デコーダ間のスキップ接続"},{"id":"feature-fusion/unetppp","relation":"next","topic":"密な予測とエンコーダ・デコーダ間のスキップ接続"}]},{"id":"feature-fusion/trans-unet","category":"feature-fusion","legacyPath":"feature-fusion/2102-trans-unet","legacySlug":"2102-trans-unet","legacyPaths":[],"title":"TransUNet","subtitle":"単に畳み込みだけでは足りない","author":"Z. Yuan","paperDate":"2021-02-08","publishedOn":"2025-02-06","paperTitle":"TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation","paperUrl":"https://arxiv.org/abs/2102.04306","bibliography":{"title":"TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation","authors":["Jieneng Chen","Yongyi Lu","Qihang Yu","Xiangde Luo","Ehsan Adeli","Yan Wang","Le Lu","Alan L. Yuille","Yuyin Zhou"],"url":"https://arxiv.org/abs/2102.04306","pdfUrl":"https://arxiv.org/pdf/2102.04306","codeUrl":null,"preprint":{"id":"2102.04306","submittedOn":"2021-02-08","url":"https://arxiv.org/abs/2102.04306"},"publication":null,"citation":"@misc{featurefusiontransunet2021,\n  title = {{TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation}},\n  author = {Jieneng Chen and Yongyi Lu and Qihang Yu and Xiangde Luo and Ehsan Adeli and Yan Wang and Le Lu and Alan L. Yuille and Yuyin Zhou},\n  year = {2021},\n  eprint = {2102.04306},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2102.04306}\n}\n","citationPath":"/content/papers/citations/feature-fusion/trans-unet.a4dac5dc037b.bib"},"thumbnail":{"src":"/content/papers/assets/14209e3562b4a87f468b64e95c4cdb775196c8c6b7bca43c935875959165e49e.jpg","width":1366,"height":678},"locale":"ja","path":"/content/papers/ja/feature-fusion/trans-unet.6bcb61e19812.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"解決方法","text":"解決方法","depth":2},{"id":"討論","text":"討論","depth":2},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"feature-fusion/unet","relation":"comparison","topic":"エンコーダ・デコーダのスケール間特徴伝達"},{"id":"feature-fusion/hourglass","relation":"comparison","topic":"エンコーダ・デコーダのスケール間特徴伝達"}]}],"text":"VGG が登場したばかりの時期に、まだ解決されていないニーズがありました。\n\n研究者は、従来の CNN では生物医学画像の分割に必要な細かさが足りないことに気づきました。\n\nそして、この研究が生まれました。この論文は、画像分割におけるクラシックな作品として位置付けられています。\n\n## 問題の定義\n\nお隣の画像分類の分野では、誰もが ImageNet を口にして、データをたっぷり使っています。生物医学画像の分割では、そうはいきません。深層学習の訓練を支える注釈付き画像がとても少ないのです。\n\nそこで訓練画像を小さなパッチに切り分ける方法もありました。ただ、小さく切ると周囲の文脈が失われ、分割精度が下がります。\n\nそのタイミングで、別の研究が全畳み込みネットワーク（FCN）のアーキテクチャを提案し、著者にとって一つのインスピレーションとなりました。\n\n- [**[14.11] Fully Convolutional Networks for Semantic Segmentation**](https://arxiv.org/abs/1411.4038)\n\n\n\n  ![先行研究 FCN の Figure 1。画像全体から画素ごとの分類結果を得る](/content/papers/assets/2701640b3cdc7bec7dde8fc6937fc65673f5af62cc12826879080963b8254904.jpg)\n\n\n\nこれは**先行研究 FCN の Figure 1**で、画像全体から画素ごとに予測する例です。U-Net 自体の構成図ではありません。出典：[FCN Figure 1](https://arxiv.org/html/1411.4038)。U-Net はこの流れに対称的な拡張経路と高解像度のスキップ接続を加えます。\n\nおそらくこのアーキテクチャを生物医学画像分割に応用することで、文脈情報の喪失の問題を解決できるのではないかと考えたのです。\n\n## 問題の解決\n\nより大きな入力領域を使えば文脈を保ちやすくなりますが、データ不足の問題は残ります。\n\nそこで著者は、U-Net アーキテクチャを提案しました。以下の図のように：\n\n\n\n![U-Net 原論文の Figure 1。収縮・拡張経路、クロップしたスキップ接続、572×572 入力と 388×388 出力](/content/papers/assets/0b302bf8ed079d85b3a07562463380875eb3d9dfc631684549000c38d16a5f38.jpg)\n\n\n\n出典：[U-Net Figure 1](https://arxiv.org/html/1505.04597)。灰色の矢印は、収縮経路の特徴をコピーし、クロップしてから連結する部分です。\n\n高解像度のスキップ特徴は精密な位置推定に役立ちます。少数の注釈付き画像での学習には、特に弾性変形を含む強いデータ拡張も重要であり、U 字型の構造だけで説明できる成果ではありません。\n\nここで、数字部分は一旦無視してください。著者は畳み込み層でパディングを使っていないので、畳み込み層を通るたびに特徴マップのサイズが小さくなります。このため、このアーキテクチャを初めて見る人は数字に惑わされて、設計の本質を正しく理解できないかもしれません。\n\nまず、図の左側に注目しましょう：\n\n\n\n![U-Net Figure 1 全体に赤い Backbone 枠を追加し、左側の収縮経路を強調した旧ノートの注釈図](/content/papers/assets/5feacabd25963f079f463d83628e6b4b7e786c9962caead112f47b09ed5c44c3.jpg)\n\n\n\nこれも**U-Net Figure 1 全体**で、旧ノートが左側に注目できるよう赤い「Backbone」枠を加えた画像です。出典：[U-Net Figure 1](https://arxiv.org/html/1505.04597)。\n\n左側の収縮経路がエンコーダです。後の派生モデルでは MobileNet や ResNet を使うこともできますが、チャネル数やスキップ接続の形状を調整する必要があります。これらは原論文の構成ではありません。\n\n原図には五つの解像度段階があり、その間で最大プーリングによるダウンサンプリングを四回行います。五段階と五回のダウンサンプリングは別です。\n\n次に右側を見てみましょう：\n\n\n\n![U-Net Figure 1 全体に緑の Neck 枠を追加し、右側の拡張経路を強調した旧ノートの注釈図](/content/papers/assets/1e06e3de0948c6da40dc8d087ada09a4c3c9caa2b213e5ab6f39c6b1e671b4cc.jpg)\n\n\n\nこれも**U-Net Figure 1 全体**で、旧ノートが右側に注目できるよう緑の「Neck」枠を加えた画像です。枠名は説明用の追記であり、論文では expanding path と呼びます。出典：[U-Net Figure 1](https://arxiv.org/html/1505.04597)。\n\n右側の拡張経路がデコーダで、最低解像度から順にアップサンプリングします。論文では up-convolution を使用しています。一般に転置畳み込みと呼ばれるアップサンプリングです。\n\nアップサンプリング後、より高解像度の特徴マップが得られます。このとき、対応するエンコーダ側の特徴マップをクロップして空間サイズをそろえ、融合します。融合方法としては、単純に結合するか、加算する方法がありますが、この論文では結合が使われています。\n\n最後に $1 \\times 1$ 畳み込みでクラス数に対応する出力を作ります。原論文の図は 2 クラスなので 2 チャネルです。パディングを使わないため、572×572 の入力から 388×388 の結果が得られます。画像全体を処理する際は、重なるタイルと境界の鏡映を使います。\n\n\n> [!TIP]\n> \n> FPN もトップダウンの融合と加算を使いますが、側方投影や多尺度出力も備えています。\n> \n> - [**[16.12] FPN: ピラミッド構造**](/blog/papers/feature-fusion/fpn)\n\n\n\n> [!TIP]\n> \n> U-Net の左右は通常エンコーダ／デコーダと呼びます。符号化と復号化の構造はありますが、目的は教師ありの領域分割であり、AutoEncoder の入力再構成ではありません。\n\n\n## 討論\n\n### ISBI Cell Tracking Challenge 2015\n\n![U-Net 原論文 Table 2：2015 年 ISBI の PhC-U373 と DIC-HeLa の分割 IoU](/content/papers/assets/2f1ebc354ca6cf0fe82ed9cddd392295b67c4614ea5fbddf8c8c4221240524db.jpg)\n\n出典：[U-Net Table 2](https://arxiv.org/html/1505.04597)。表の IoU は比率で、0.9203／0.7756 は 92.03%／77.56% です。以下の 92%／77.5% は論文本文の概数を踏襲します。とくに 77.5% は 77.56% を小数第 1 位に四捨五入した値ではありません。\n\n著者は U-Net を ISBI 2014 および 2015 年の細胞追跡チャレンジに応用しました：\n\n- PhC-U373 データセットでは、92%の IOU を達成し、当時の 2 位（83%）を大きく上回りました。\n- DIC-HeLa データセットでは、77.5%の IOU を達成し、同様に 2 位（46%）を大幅に超えました。\n\nこの二つの 2015 年データセットでは、表にある 2 位の結果を上回りました。ただし、すべての細胞・臓器・病変データセットで同じ差が出るという証明ではありません。原論文は電子顕微鏡による神経構造の分割も報告していますが、この Table 2 には含まれません。\n\n## 結論\n\nU-Net は高解像度の特徴マップを残し、文脈情報と融合して分割精度を高めました。少ない注釈を生かすには弾性変形などのデータ拡張も重要です。構造が分かりやすく拡張しやすいため、細胞だけでなく臓器や病変の分割にも応用されています。\n\nFPN と比べると、連結は後続層の入力チャネルを増やすため、同じ条件ならパラメータ数や計算量が大きくなる場合があります。どちらにも長所があるので、いくつかの設計を学び、用途に合わせて選びたいところです。\n","imageSizes":{"/content/papers/assets/2701640b3cdc7bec7dde8fc6937fc65673f5af62cc12826879080963b8254904.jpg":{"width":1028,"height":516},"/content/papers/assets/0b302bf8ed079d85b3a07562463380875eb3d9dfc631684549000c38d16a5f38.jpg":{"width":1224,"height":824},"/content/papers/assets/5feacabd25963f079f463d83628e6b4b7e786c9962caead112f47b09ed5c44c3.jpg":{"width":2809,"height":1911},"/content/papers/assets/1e06e3de0948c6da40dc8d087ada09a4c3c9caa2b213e5ab6f39c6b1e671b4cc.jpg":{"width":2809,"height":1911},"/content/papers/assets/2f1ebc354ca6cf0fe82ed9cddd392295b67c4614ea5fbddf8c8c4221240524db.jpg":{"width":1224,"height":376}}}
