論文ノートライブラリに戻る
arXiv 2016ECCV 2016特徴融合論文ノート

Hourglass

忘れられた長老

原論文

Stacked Hourglass Networks for Human Pose Estimation

論文の著者

Alejandro Newell · Kaiyu Yang · Jia Deng

発表先
ECCV 2016国際会議
arXiv への初回投稿
arXiv:1603.06937
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{featurefusionhourglass2016,
  title = {{Stacked Hourglass Networks for Human Pose Estimation}},
  author = {Alejandro Newell and Kaiyu Yang and Jia Deng},
  year = {2016},
  eprint = {1603.06937},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1603.06937}
}
このページの内容

論文をよく読む開発者なら、Hourglass という名前を見かけたことがあるでしょう。まずはこのアーキテクチャについて簡単に紹介しましょう:

Hourglass アーキテクチャは人体姿勢推定タスクのために設計されています。このアーキテクチャは、すべてのスケールの特徴を包括的に処理し統合することによって、人体に関連するさまざまな空間的関係を最適に捉えることを目指しています。研究チームは、下から上への処理と上から下への処理を繰り返し適用し、さらに中間出力への教師信号を組み合わせることで、ネットワークの性能を大幅に向上させることができると示しました。そのため、この新しいアーキテクチャを「スタックド・アワーグラスネットワーク」と名付けました。このネットワークは、連続したプーリングとアップサンプリングのステップに基づいており、最終的な予測結果を生成します。

この論文が発表された時期は FPN よりも半年以上早かったですが、なぜその認知度の差がこんなにも大きいのでしょうか?最も直感的に感じることは論文の引用数です。元のノートには、2023 年 8 月の引用数が FPN 20,816 件、Hourglass 5,365 件と記録されています。集計元が保存されていないため、現在確認済みの数値ではなく、当時の観察として扱います。同じようなアーキテクチャ設計なのに、引用数が 4 倍も違うのはなぜでしょうか?

  • ちょっと待って、あなたはそれらが同じだと言いましたか?

モデルアーキテクチャ

以前 FPN の話題を扱ったことがあるので、そのアーキテクチャには馴染みがあるでしょう。一方、今回取り上げる Hourglass アーキテクチャは以下の通りです:

これは原論文の図 3 に示された単一モジュールです。ネットワーク全体では、このモジュールを複数連結し、中間出力にも教師信号を与えます。

一見すると、これらは全く異なるアーキテクチャのように見えますが、実際には論文の記述に従ってこのモデルを一通り見ていきましょう:

  1. 異なるスケールの情報のキャプチャ

    あなたが 1 枚の画像を観察しているとしましょう、その画像には 1 人の全身が写っています。この人の姿勢を正確に理解するためには、全身と顔や手などの詳細部分を同時に注視する必要があります。しかし、これらの情報は異なるスケールに存在しているかもしれません。アワーグラス設計の目的は、これらの異なるスケールの情報を同時にキャプチャできるようにすることです。

  2. アワーグラス構造の設計

    このモデルの構造は、まさにアワーグラスのような形です。特徴を抽出するための一連の畳み込み層と、画像の解像度を低減させるための最大プーリング層で構成されています。これにより、各解像度のスキップ分岐を通じて一部の空間的な細部を保持します。ただし、プーリング自体は情報を失います。

  3. アップサンプリングと特徴の統合

    低解像度の処理後は最近傍補間で段階的にアップサンプリングし、同じ解像度のスキップ分岐から来た特徴を要素ごとに加算します。これにより、全身の手掛かりと局所的な細部を統合します。

  4. 最終的な予測

    モジュールが出力解像度に戻ると、連続する二つの 1×1 畳み込みで肘や膝などの関節位置を表すヒートマップを生成します。この出力ヘッドは上の単一モジュール図には描かれておらず、残差ブロック内の 1×1 畳み込みとは別です。

最後の第 4 部分は特定の分野の応用に関わる部分で、ここでは気にしません。

モデルアーキテクチャの図をもう一度描きます:

緑の枠はこのノートで加えた Backbone の説明であり、原論文の図にある区分ではありません。ダウンサンプリングには残差モジュールと最大プーリングを使います。その後、段階的に解像度を戻し、対応するスキップ特徴を加算します。元の Hourglass は内部のチャネル数をほぼ一定に保ち、1×1 畳み込みは残差ボトルネックなどにも使います。この注釈図は情報の流れを単純化したものです。

ここまでくると、かなり明確になったのではないでしょうか?

特徴融合を見ると、「アップサンプリング+同じ解像度のスキップ特徴の加算」という骨格が共通しています!

Hourglass は比較的対称なモジュール全体を積み重ね、最高出力解像度(原論文では 64×64)の関節ヒートマップへ中間監督を与えます。FPN は既存の backbone 上に P2–P5 の多尺度出力を構築し、RPN では P6 も使います。手描き図の P1 は説明用のラベルで、両論文に共通の正式な番号ではありません。

それでは、なぜこれら二つの論文の引用数にこんなにも差があるのでしょうか?

実際、推測でしか答えられませんが、適用シーンが異なり、物体検出の方が人気があるため、これが一因でしょう。もう一つの可能性は、論文の構成にあります。Hourglass の論文では「多層スタック」と「中間監督」の重要性が強調されているため、FPN と比較してその構成が注目されることが少なかったのかもしれません。

Hourglass の起源?

Hourglass の論文をよく読んでみると、実はもっと前の文献で非常に似た構造が提案されていることがわかります:

[15.07] Bottom-Up and Top-Down Reasoning with Hierarchical Rectified Gaussians

この文献では、このアーキテクチャを「Hourglass」とは呼んでいません。単に「Bottom-Up」と「Top-Down」の構造と説明しています。以下は摘要を自分の言葉で整理した要約であり、逐語的な引用ではありません:

著者は非負制約を持つ潜在変数を階層的な Rectified Gaussian モデルで表し、二次エネルギーで層間の関係を記述します。推論を二次計画問題として捉え、ReLU を持つリカレントネットワークによる反復更新で実現することで、下位の証拠と上位からのフィードバックを統合します。

え、これって何を言っているのでしょうか?

簡単に言うと:

平たく言えば、局所的な手掛かりと全体の姿勢の解釈を、反復的に修正し合う方法です。「Rectified」は変数の非負制約を指します。

まだわからなくても大丈夫です。ここでは、より古い関連アーキテクチャを探しているだけです。下の図は、その論文の図 4 にある QP2 姿勢推定モデルです:

似た構造の関連先行研究ですが、QP2 は上下の経路と反復で重みを共有するため、Hourglass と同じモジュールではありません。では、これが最初のアーキテクチャ設計なのでしょうか?

実を言うと、必ずしもそうではありません。

なぜなら、2015 年 7 月のこの先行研究より約 2 か月前にはすでに—

が発表されており、U-Net の多尺度接続構造も実はこれと似たようなものです。U-Net の concat は明確な違いの一つですが、モジュール、チャネル構成、出力、教師信号にも違いがあります。しかし、残念ながらこの論文は U-Net を引用していないため、著者がその前作についてどのように評価しているのかを見ることはできません。

結論

Hourglass と FPN は、多尺度のトップダウン融合とスキップ接続という考え方を共有しています。この共通点を理解することは有用ですが、同一構造とみなすと、モジュールの積み重ね方や出力、監督方法の違いを見落とします。

同じ基盤アーキテクチャの上で、異なる問題を解決するために、異なる応用フローが発展しました。その中で、FPN は特徴ピラミッドを通じて異なるスケールの情報を処理し、主に物体検出やセグメンテーションなどのタスクに使用されます。一方、Hourglass ネットワークは、複数層の構造を通じて異なる詳細レベルで特徴を抽出し、特に密な予測タスクに適しています。例えば、姿勢推定などのタスクに非常に有効です。

もしあなたがこれらの 2 つのアーキテクチャの本質について困惑していたなら、この記事がその解答を提供できたことを願っています。