Precise Detection in Densely Packed Scenes
- 発表先
- CVPR 2019国際会議
- arXiv への初回投稿
- arXiv:1904.00853
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{retailproductsku110k2019,
title = {{Precise Detection in Densely Packed Scenes}},
author = {Eran Goldman and Roei Herzig and Aviv Eisenschtat and Oria Ratzon and Itsik Levi and Jacob Goldberger and Tal Hassner},
year = {2019},
eprint = {1904.00853},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1904.00853}
}
この論文も、比較的初期の研究です。
ただし、この論文が残した SKU-110K は、その後も小売商品検出でよく使われてきたベンチマークの一つです。
問題の定義
現在の物体検出技術は自然なシーンにおいて非常に高い精度と速度を示していますが、密集して配置され、物体同士が類似かつ隣接している状況では、主流の手法は力不足に陥ります。
このような「高密度シーン」は実際には非常に一般的で、例えば小売店舗の棚陳列、都市の交通監視映像、屋内倉庫や積み重ね環境などが該当します。
これらのシーンは通常、以下の顕著な特徴を持ちます:
- 物体数が非常に多く、密に配置されており、互いに遮蔽し合うこともある。
- 外観が非常に類似しており、境界を区別するのが困難である。
従来の物体検出手法(Faster R-CNN、YOLO、RetinaNet など)は自然なシーンで優れた性能を示しますが、多くは後処理段階で重複する検出ボックスを排除するための NMS(Non-Maximum Suppression) に依存しています。このハードな抑制手法は密集シーンにおいて明らかなボトルネックとなります。例えば、同一実体の物体が複数の小さなボックスに分割されたり、逆に隣接する複数物体が誤って単一物体と判定されることがあります。
過去には Mean-Shift、階層的クラスタリング、学習可能な NMS 層(GossipNet など)といった代替案も提案されていますが、多くは計算コストが高すぎるか、従来の NMS を真に置き換えるには至らず、特に高密度かつ外観が類似した物体環境での失敗例が多いです。
さらに、現在主流のデータセット(COCO、VOC、Open Images など)は主に自然シーンを収録しており、このような「密集・類似・重複」といった特殊なシーンに対する良好な基準を欠いています。人混みや車両の混雑を扱う CARPK や PUCPR+ といったデータセットでさえ、品目の密度や分類難度では実際の小売環境に及びません。
では、これらの「密集し、見た目が似て、多数存在する」シーンに対し、深層学習モデルはどのようにして各個体を正確に識別しつつ、高効率かつ安定した検出を実現できるのでしょうか?
モデルに「自分の検出の精度を知ってもらう」方法はないでしょうか?
本論文の著者はこう考えました。まずは Soft-IoU から始めようと。
解決方法
本論文の主な比較対象は RetinaNet であり、密集シーンでの性能はかなり良好ですが、改善の余地があります。著者は標準的な検出アーキテクチャに対して以下の二つの拡張を行いました:
- Soft-IoU 予測層の導入:モデルに「このボックスと真実のボックスがどれだけ重なっているか」を知覚させる。
- EM-Merger 推論ユニットの提案:複数の検出ボックスをガウス分布に変換し、確率的クラスタリングにより重複を解消する。
二つの設計を組み合わせ、密集シーンで重複する検出を減らします。
基本構造
著者は ResNet-50 をバックボーンに、3 層のアップサンプリングを持つ FPN を構築し、多尺度特徴マップを生成しています。
RetinaNet 型の単段検出器は、各特徴レベルに 3 つの畳み込み出力ヘッドを持ちます。
- 検出ヘッド:バウンディングボックスの中心座標と幅・高さの回帰
- 分類ヘッド:物体存在確信度 の予測
- Soft-IoU ヘッド:そのボックスと実際の物体との重なり具合 の予測
Soft-IoU の訓練時にノイズを減らすため、分類スコアが 0.1 未満の候補ボックスは除外されます。
Soft-IoU
非密集シーンでは、オブジェクトネススコアと NMS の組み合わせで十分なことが多いですが、密集シーンでは複数の高信頼ボックスが異なる物体を指す場合もあり、単なる遮蔽による誤検出の可能性もあります。そこでより精密な「重複品質指標」が必要になります。
Soft-IoU はまさにこれを目的として設計され、各ボックスがグラウンドトゥルースボックスとどれだけ IoU を持つかを予測します。各検出ボックス に対し、最も近い注釈ボックス を見つけ、
交差がない場合は 0 とします。
この値を教師信号として Soft-IoU 予測層を訓練し、損失関数はバイナリクロスエントロピーで定義されます:
総合損失は以下の三つの和:
前者二つは一般的な分類・回帰損失です。
特徴的なのは objectness は「物体があるかどうか」を予測するのに対し、Soft-IoU は「このボックスがどれだけ正確か」を予測する点です。つまり、部分的に物体を覆うボックスでも高い objectness スコアを持つことがありますが、その Soft-IoU は低くなります。これにより両者が補完的な信号を提供します。
EM-Merger
Soft-IoU により、各検出ボックスは 2 つの信頼度を持ちます:
- :物体が存在する確信度
- :どれだけ正確か
しかしこれらのボックスは互いに重複し、クラスタを形成しています。
この重複する候補群からどうやって正確に各物体を見つけ出すか?
著者の解法は各検出ボックスを2 次元ガウス分布とみなすことです:
ここで、
- 平均 はボックス中心座標
- 共分散行列 はボックスサイズを反映
これらのガウス分布は混合モデル(MoG)を形成し、
この共分散は論文の表示式に合わせて高さ、幅の順で記しています。式の と軸の対応を実装するときは、座標の規約をそろえる必要があります。この混合分布は、Soft-IoU で重み付けした候補ボックスの空間密度です。各画素が物体中心である確率を校正した値ではありません。
次に、この MoG を少数のガウス ()へ縮約して、最終的な検出候補とします。その際、以下の距離を小さくします:
KL はカルバック・ライブラー情報量です。
まず階層的クラスタリングで初期化し、Expectation-Maximization(EM)に似た反復で近似的に解きます:
-
E ステップ:各検出ボックスを最も近いクラスタに割り当て(KL ダイバージェンス最小化)
-
M ステップ:各クラスタのパラメータを再推定
収束するか、上限の 10 回に達するまで繰り返します。
初期クラスタ数 の上限は、画像面積を平均的なボックス面積で割って見積もります。さらに、重なりが所定の閾値を超えるガウスのうち信頼度が低いものを抑制し、実際の検出数を にします。
最後に各クラスタ中心に標準偏差 2 倍の楕円を描き、その内部に入る元の検出ボックス群を抽出し、その中の幅・高さの中央値を最終ボックスとします。
このようにしてシステムの推論処理は完結します:Soft-IoU による品質予測 → MoG による空間密度の表現 → EM クラスタリングと重なりの抑制 → 隣接物体の見逃しと重複検出を軽減。
SKU-110K データセットとベンチマーク構築
密集検出が突破口を欠いている一因は、このタスクに特化した高品質なデータセットが不足しているためである。
そこで、著者は新たに SKU-110K データセットを構築した。これは小売店舗の棚環境に特化し、設計動機からアノテーションの品質まで、密集シーンに必要な特性を考慮して計画されている。
データセットの画像は米国、欧州、東アジアなど数千の実店舗から収集され、数十名の撮影者が個人のスマートフォンで撮影し、画像が自然で意図的に配置されていない実際の陳列状況を表現している。
- 各元画像の解像度は最低 5MP で、後に 1MP JPEG に圧縮されている;
- 撮影機器や角度に制限はなく、自然光、ぼかし、遮蔽など現実の妨害要因を保持;
- アノテーション作業は熟練した専任者が担当し、クラウドソーシングは用いず、精度と一貫性を高めている;
- すべての画像とアノテーションは人手による再検査を経て、明らかな誤アノテーションや誤検出を除外している。
データセット統計と分割
SKU-110K は 3 つのサブセットを含み、同一店舗の棚画像が複数のサブセットにまたがらないように保証している:
| データセット | 画像数 | ボックス数 | 割合 |
|---|---|---|---|
| 訓練セット | 8,233 | 1,210,431 | 70% |
| 検証セット | 588 | 90,968 | 5% |
| テストセット | 2,941 | 432,312 | 25% |
MS COCO や Open Images などと比較すると、1 枚当たりの物体数はおよそ 1〜3 桁多く、まさに「高密度シーンへの挑戦」です。論文の Table 1 では、PUCPR+ はこの一般的な比較の例外です。
評価指標と基準
主要な評価基準は COCO の標準に従い、以下を含む:
- AP@[.50:.95]:主要チャレンジ指標;
- [email protected]:厳密な位置精度評価;
- AR@300:最大 300 予測における平均リコール率;
- [email protected] (IoU=0.75):再現率 50% 時の適合率ポイント。
加えて、「検出」と「カウント」タスク双方の性能を考慮し、以下の誤差指標を導入している:
-
MAE(平均絶対誤差)
-
RMSE(二乗平均平方根誤差)
ここで はモデルが予測した画像内の物体数、 は実際のアノテーション値である。
写真には多様な商品が写っていますが、評価上は前景を一つのクラスとして位置と個数を測ります。SKU の識別や細粒度の商品分類を評価するデータセットではありません。
議論
推論速度分析
モデルの展開可能性を検証するため、著者は同一ハードウェア(Intel i7-5930K + GTX Titan X)上で平均推論性能を測定した。指標は:
- FPS(Frames per Second):1 秒あたり処理可能な画像数;
- DPS(Detections per Second):1 秒あたり検出可能な物体数。
実験結果は以下の通り:
- Base Detector(RetinaNet 同形):基準となる 0.5 FPS/162 DPS;
- Soft-IoU Layer の追加:表では Base と同じ 0.5 FPS/162 DPS;
- EM-Merger:CPU と GPU/RAM 間の頻繁なデータ転送を主因として 0.23 FPS/73 DPS に低下;
EM-Merger は現状速度が遅いものの、精度は大幅に向上しており、GPU 実装による速度改善の余地があることが示唆されている。
検出とカウント実験
著者は複数の比較およびアブレーション構成を設計している:
- Monkey:物体数とボックスの幅・高さの統計を既知として、ランダムにボックスを配置する対照;
- Base & NMS:基本構造+従来の NMS;
- Soft-IoU & NMS:Soft-IoU スコアを NMS 基準に用いる;
- Base & EM-Merger:元のオブジェクトネスを保持しつつ EM クラスタリングのみ使用;
- Full System(本論文手法):Soft-IoU と EM-Merger の組み合わせ。
検出結果は以下の通り:
- Monkey はほぼ無効であり、密度のみでは不十分であることを示す;
- Faster R-CNN / YOLO9000opt は、この密集ベンチマークでは成績が低い。論文では YOLO9000 の損失を改め、一画像あたり最大 300 ボックスを扱う版を用いている;
- RetinaNet は安定した性能であり、著者の Base 構造をわずかに上回る;
完全な手法は、表中の検出指標([email protected]–.95、[email protected]、AR@300、P@R=.5)でベースラインを上回ります。ただし Soft-IoU だけを加え、NMS を維持した場合の改善は小さく、AR@300 は Base & NMS よりわずかに低い値です。
カウント精度では、画像ごとの予測物体数 と真値 を比較します。RetinaNet の MAE/RMSE は 16.584/30.702、完全な手法は 14.522/23.992 です。著者は NMS を差の一因と考えています。一方、Soft-IoU を使わない Base & EM-Merger の RMSE は 283.971 で、EM だけでは十分ではありません。
この表からは、Soft-IoU が候補の品質を測り、EM-Merger が密集領域を分離するという、二つの役割が見えます。組み合わせることで、カウント誤差を減らせました。
以下は本手法と RetinaNet の SKU-110K テストセットにおける検出例です。選ばれた画像では、本手法の重複や位置ずれが少なく、物体ごとに一つのボックスへ近づいています。
CARPK と PUCPR+ での汎化実験
汎化能力を検証するため、著者は車両カウントデータセットである CARPK と PUCPR+ に本手法を適用した。
実験結果から、本手法は車両カウント専用ではないにもかかわらず、これら両データセットにおいて MAE および RMSE で他手法を上回る優れた性能を示した。
結論
本研究で提案した Soft-IoU 層と EM-Merger モジュールは、密集シーンにおける重複ボックス問題に対して具体的な工学的解決策を提供する。前者はオブジェクトネスが境界精度を測れない盲点を補い、後者は従来の NMS だけに頼らず、確率的クラスタリングと最終的な重なりの抑制で位置の明瞭さと重複排除効果を高める。
SKU-110K 上で、本手法は検出とカウント両面で当時の主流モデルを上回る結果を示し、その設計の有効性を証明した。一方で、現代的視点からは以下の制約もある:
- 前景 1 クラスでの評価であり、SKU 識別には追加のカテゴリ教師情報と評価が必要;
- EM-Merger はリアルタイムシステムへの展開が難しく、推論速度のさらなる最適化が必要;
- 意味情報の活用がなく、細粒度の外観差異には混乱しやすい。
本手法は発表から年月を経ているが、密集物体検出分野における貴重な知見を提供し続けている。特に SKU-110K が表す極端な混雑シーンは、現在もセルフチェックアウト、スマート倉庫、交通監視など多くの現場で一般的であり、モデルの汎化性能評価に適したベンチマークとして有用である。