論文ノートライブラリに戻る
IEEE TMM 2021小売商品認識論文ノート

DPSNet

レジ台上の蒸留

原論文

Iterative Knowledge Distillation for Automatic Check-Out

論文の著者

Libo Zhang · Dawei Du · Congcong Li · Yanjun Wu · Tiejian Luo

この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@article{retailproductdpsnet2021,
  title = {{Iterative Knowledge Distillation for Automatic Check-Out}},
  author = {Libo Zhang and Dawei Du and Congcong Li and Yanjun Wu and Tiejian Luo},
  year = {2021},
  journal = {IEEE Transactions on Multimedia},
  url = {https://doi.org/10.1109/tmm.2020.3037502},
  doi = {10.1109/tmm.2020.3037502}
}
このページの内容

小売商品の分野はさらにいくつかの枝分かれがあり、そのうちの一つが自動チェックアウトです。

自動チェックアウトの正式名称は Automatic Check-Out(略称:ACO)であり、関連論文を見てみましょう。

問題の定義

小売業が徐々にデジタル化される中、顧客が購入する商品の種類と数量をシステム的に識別することは、顧客体験の向上と人件費削減の鍵となっています。しかし、ACO は典型的な物体検出タスクとは異なり、問題構造やデータ特性が一般的な物体検出とは大きく異なります。

RPC データセットを例に取ると、訓練データは回転台で撮影され、各画像に単一商品が含まれ、異なる視点から撮影されており、背景はきれいで照明も安定しています。一方、テストデータは実際のレジシーンを模擬し、複数の商品がホワイトボード上に積み重ねられ、固定の俯瞰視点から撮影され、背景は乱雑で遮蔽が激しく、光の当たり方もさまざまです。

  • この「単品展示」から「積み重ねシーン」へのドメインシフトは、ACO タスクで最も頻繁に遭遇する問題です。

ドメインシフトに加え、ACO が直面するもう一つの困難は、データラベル付けリソースの非対称性です。

実務では、モデル訓練時に利用できるのは人手でラベル付けされた画像のみであり、テスト時のシーンは訓練データよりも遥かに複雑です。たとえ RPC データセットが多層のラベルを提供していても、現実シーンのテスト画像は「ラベルなし」または「弱いラベルのみ」が多く、教師あり学習の拡張性を制限しています。

一部の研究は Cycle-GAN のような合成データ技術でドメインギャップを縮めようと試みていますが、効果は限定的で、訓練データ自体に品質問題が残る場合もあります。

データ分布の大きなずれ、不均衡な教師信号、高度な遮蔽と重なりのあるテストシーン。

本論文の著者は、こうした困難の中で効果的な訓練プロセスを模索しています。


解決策

全体のモデル訓練構成は上図のとおりです。ソースドメイン(単品画像)とターゲットドメイン(チェックアウトシーン)間の大きなギャップに対処するため、著者はまず「データ拡張」戦略を提案し、実際のシーンを模擬し、混沌に適応する練習を行います。

データ拡張

この拡張処理は三段階に分かれます:背景除去 → 姿勢選別 → 合成画像生成。

  1. 背景除去(Background Removal)

    RPC データセットの訓練画像は回転台上で撮影されています。バウンディングボックスは提供されているものの、多くの背景ノイズが残っています。これらの画像をそのまま合成すると、モデルは「誤った背景」を学習してしまいます。

    そこで著者は粗から細へと段階的に処理する画像処理手法を用いて背景を除去しました:

    具体的手順は以下の通りです:

    • エッジ検出:エッジ検出器で物体輪郭を見つけ、信頼度の低い領域を除去。
    • 形態学的処理:膨張と収縮操作でノイズを除去し、欠損部を埋める。
    • エッジ平滑化:中央値フィルタでギザギザをさらに除去。
    • 視覚的顕著性モデル:最後に saliency detection ネットワーク(MSRA-B で事前学習、粗マスクで微調整)を使い、きれいな物体マスクを生成。

    こうして背景や回転台を含む元画像がきれいな商品画像に変換され、訓練サンプル生成に使われます。


  1. 姿勢選別(Pose Pruning)

    すべての単品姿勢がチェックアウトシーンに適しているわけではありません。例えば、ペットボトルが「下から見上げる」角度で撮影されている場合、レジ画面では非常に不自然です。

    合理的な姿勢を自動選択するために、著者はシンプルながら実用的な指標を設計しました:

    Rk,v=Ak,vmax⁡vAk,vR_{k,v} = \frac{A_{k,v}}{\max_v A_{k,v}}
    • Ak,vA_{k,v}:第 kk 種類の商品が第 vv 視点でのマスク面積。
    • 相対的なマスク面積が小さい姿勢を除外する。これは姿勢を絞り込むヒューリスティックである。

    この閾値 θₘ を超えた姿勢のみが合成に使われます。


  1. チェックアウトシーン合成(Checkout Image Synthesis)

    きれいなマスクと合理的な姿勢がそろったら、シーン合成に入ります。

    操作手順は以下の通り:

    • 複数の商品をランダムに配置:選別済みの商品から数点選び、ランダムな角度(0–360°)とランダムな縮尺(0.4–0.7)でクリーンな背景に貼り付ける。
    • 過度の遮蔽回避:各商品は最大 50%までしか隠れない。
    • 光影処理:合成画像は位置的には妥当でも、実世界の光影変化が不足しているため、最後に CycleGAN 技術を用いてスタイル変換し、実際のテスト映像に近づける。

    下図は変換全体の流れです:

DPSNet

前述のデータ拡張でモデルは実際のチェックアウト映像を模擬する能力を得ましたが、それだけでは実テスト画像との意味的ギャップを埋めるには不十分です。著者は DPSNet(Dual Pyramid Scale Network) というモデル構造を提案し、二つの異なる視点から共通特徴表現を学習しようと試みています:

  • 物体検出(Detection)
  • 物体カウント(Counting)

まず Detection View は、物体がどこにあるかを見つけることを目的としています。検出視点は (c, x, y, w, h) という形の物体ボックスを出力します。

  • c:物体のクラス
  • x, y:物体中心の座標
  • w, h:物体の幅と高さ

これは典型的な物体検出タスクの出力で、空間的な位置と分類情報を提供します。

Counting View は、空間方向に足し合わせると物体数を推定できる密度マップを出力します。一般形では C チャネルを扱えますが、最終設定は C=1 で、SKU ごとではなく全商品の総数を数えます。商品クラスは検出分岐が予測します。

DPSNet は、FPN から多尺度の特徴 P2P_2〜P6P_6 を得ます。低解像度の高層特徴を段階的に P3P_3 の解像度までアップサンプリングし、高解像度の P2P_2 は P3P_3 までダウンサンプリングして融合します。

融合したカウント用特徴は 3×3 と 1×1 の畳み込みを経て密度マップになります。一方、検出ヘッドは各尺度の特徴と全結合層を使って、候補ボックスのクラスと位置を予測します。


逐次的知識蒸留

モデルは予測能力を備えています。ターゲットドメインでの安定性は、別途評価する必要があります。

著者は、ラベルなしの対象ドメイン/テスト画像を疑似ラベルで反復学習に取り込みます。正解ラベルは使いませんが、テスト入力自体には適応する transductive な設定です。一切触れていないテスト入力での評価とは区別する必要があります。

全体の流れは以下の通りです:

  • 一貫性チェック(Consistency Check)

    ラベルなしのテスト画像ごとに、DPSNet は以下を実行します:

    • 検出視点 D:物体の位置とクラスを予測
    • カウント視点 C:密度マップを生成し、全商品の総数を推定(C=1)

    これら 2 つの結果の「一致」を比較します:

    • 高信頼度の検出総数と密度から推定した総数が一致する画像を選ぶ。ただし両方が同じ誤りをする可能性もあり、一致は正しさの保証ではない
    • これらの「一致したサンプル」を訓練データに追加し、疑似ラベルを生成

  • 反復的蒸留(Iterative Distillation)

    各訓練サイクルで DPSNet は以下を繰り返します:

    1. 現モデルでテストセットを予測
    2. 一貫性チェックを行い、信頼できるサンプルを選択して訓練に追加
    3. 新たな疑似ラベルで再訓練
    4. このサイクルを数回繰り返す

  • インスタンスレベル修正(Instance-Level Refinement)

    蒸留を数回行った後、著者はさらに修正工程を追加しました:

    • 「画像全体が捨てられた」ケースでも、一部の物体に高い信頼度があれば、その疑似ラベルを残し、低信頼度の物体領域を背景画素で塗りつぶす。単にラベルだけを除くと、教師情報のない前景が画像に残ってしまう
    • カウントヘッドを外し、この修正した画像で検出ネットワークをファインチューニングする

    下図はよくある捨てられる例を示します:

    上段は元のレジ画像、下段は低信頼度物体の領域を背景画素で隠した画像です。A/B/C はそれぞれ、近くの商品と外観が似たもの、遮蔽された物体、商品ではないものの例です。

この「一貫性 → 蒸留 → 修正」の反復で、知識がソースドメインからターゲットドメインへ伝わり、画像・インスタンス双方で段階的に学習が進みます。

損失関数

DPSNet が異なるドメイン情報を安定的に学習できるよう、反復訓練過程で二つの視点に対応した損失関数を設計し、合計して全体の訓練目的としました。

損失関数の概要は以下の通りです:

L=∑i=1N[∑ℓ∣Θ^(ℓ;xi)−Θ(ℓ;xi)∣2+∑d(Lcls(p^d,pd;xi)+1(pd>0)⋅Lreg(t^d,td;xi))]\mathcal{L} = \sum_{i=1}^{N} \left[ \begin{aligned} &\sum_{\ell} \left| \hat{\Theta}(\ell; x_i) - \Theta(\ell; x_i) \right|^2 \\ &+ \sum_{d} \left( \mathcal{L}_{cls}(\hat{p}_d, p_d; x_i) + \mathbf{1}(p_d > 0) \cdot \mathcal{L}_{reg}(\hat{t}_d, t_d; x_i) \right) \end{aligned} \right]

カウント視点は、空間方向の積分が物体数に対応する密度マップ Θ^\hat\Theta を学習します。値は、0〜1 に収まるクラス出現確率ではありません。

  • 損失タイプ:二乗誤差(L2 Loss)
  • 直感的意味:予測密度マップが正解の分布に近づくほど、商品総数を推定しやすくなる

密度マップの正解は、

  • 各物体の中心点にガウシアンカーネルを配置する
  • 各物体のカーネルを加算する。C=1C=1 では全クラスが単一の密度マップを共有する
  • 密度マップの縦横は入力画像の 1/8 とする。例えば、800×800 の入力に対して 100×100 となる

検出視点の目標は、各物体のクラスとバウンディングボックス位置を予測することです。

  • 分類損失(クロスエントロピー):予測クラス p^d\hat{p}_d とラベルクラス pdp_d の誤差
  • 回帰損失(Smooth L1):真の物体(pd>0p_d > 0)のバウンディングボックス誤差のみ計算

条件指示関数 1(pd>0)\mathbf{1}(p_d > 0) は、

  • 物体(foreground):クラスがあるため分類と回帰誤差の両方を計算
  • 背景(background):回帰誤差は計算せず、誤認識の有無のみ考慮

回帰ベクトル td,t^dt_d, \hat{t}_d はバウンディングボックスのパラメータ(中心座標と幅・高さ)を表し、Smooth L1 は小さな誤差に対しても安定した勾配を提供し、訓練の安定性を高めます。

議論

RPC データセット ベンチマーク

DPSNet の実験結果は上表に詳細にまとめられ、2 つのベースライン手法と比較されています。文献【1】は元のチェックアウト検出システムの論文、文献【8】は改良版 DPNet です。

各手法は 2 種類の訓練セットで試されています:CycleGAN 処理済みの Render 画像のみを使う場合と、Copy-Paste 合成画像を加えた Syn+Render 訓練セット。DPSNet はさらに Instance+Render 設定を追加し、インスタンスレベルの疑似ラベルの影響を検証しています。

主要指標であるCheckout Accuracy(cAcc)について説明します。これは非常に実務的な評価基準です:

  • 画像内のすべての商品クラスと数量が完全に正確でなければ「成功」とみなさず、誤りに極めて敏感であり、実環境での信頼性を示す。

Render のみの訓練は CycleGAN 処理済み合成画像を用いますが、cAcc は 45.60%に留まります。スタイル変換をしても、シミュレーションと実シーン間の意味的ギャップは埋まりません。

Copy-and-Paste 合成画像を加えた Syn+Render では cAcc が 56.68% に向上しました。ただし、この比較だけではデータ量と分布の多様性それぞれの寄与は分けられません。合成画像には、不自然な遮蔽や姿勢、背景の不整合が入り込む可能性もあります。

DPNet は検出とカウントの二視点学習を用い、テストデータから信頼できる疑似ラベルを選択して訓練する試みを行いました。その結果、Render 訓練でも cAcc は 77.91% に跳ね上がりました。

Syn+Render ではさらに 80.51% を達成しました。この設定では、ラベルなしのテスト画像から選んだ疑似ラベルも訓練信号になります。

DPSNet は DPNet と比べて

  1. 構造面で:ピラミッドスケール表現融合を導入し、検出とカウントが多層特徴で同期して動作。単なる積み重ねではない。
  2. 訓練面で:反復的知識蒸留を採用し、信頼できるテスト画像を段階的に選ぶだけでなく、インスタンスレベルでの除外と修正も行う。

表全体の最高値は Instance+Render の 88.14% cAcc です。「DPSNet (Render)」は 86.54%、Syn+Render は 85.98% でした。この設定では、Copy-Paste 合成画像を増やしても cAcc は上がっていません。ただし、この差だけから原因を特定することはできません。

cAcc 以外の指標でも DPSNet は総合的に優れています:

  • ACD(Average Counting Distance):画像ごとにカテゴリ別個数の絶対誤差を測る。平均モードの Instance+Render は 0.17 で、DPNet (Syn+Render) の 0.34 より低い。
  • mCIoU(カテゴリ IoU 平均):予測と正解のカテゴリ別個数の重なりを測る。同じ平均モードでは 98.66% と 97.33% で、1.33 ポイントの差がある。
  • mmAP(IoU=0.50~0.95 の平均精度):平均モードの Instance+Render は 79.75%、DPNet (Syn+Render) は 77.04% でした。

これらは相補的に、DPSNet の検出とカウントの両タスクにおける協調性と精度向上を表しています。

興味深いのは、Render のみの訓練で Syn+Render より若干良い結果が出ていること(86.54% > 85.98%)。この比較だけでは、合成データの量と分布、疑似ラベル戦略がそれぞれどれほど効いたかは分かりません。

これにより、以下の問いが再考されます:

「本当に価値ある訓練信号は、大量のシミュレーションか、実データの理解と選別か?」

この実験では、信頼できる実例レベルのテスト画像を取り込むことで、cAcc がさらに向上しました。

以下は RPC データセットに基づく推論結果で、上から順に簡単、中級、難易度の高いサンプルです。

アブレーション実験

  1. 密度マップの次元設計

カウント視点において、密度マップの第 3 次元 CC は「同時に推定するクラス数」を意味します。

著者は以下の 3 種類の設定を比較しました:

Density Category (C)説明cAcc
C = 1全商品を単一クラスとみなす86.54%
C = 1717 のスーパークラス使用80.05%
C = 200完全な細分類77.22%

この三つの設定では、CC が大きいほど cAcc は低く、図の計数 MAE と選択できた疑似ラベル数も悪化しています。著者はクラスを細かく分けるほど収束が難しくなると考えています。

最終設定には、カテゴリに依存しない総数を推定する C=1 が選ばれました。カテゴリの認識は検出器が担当します。

  • 特徴表現の影響

上表より、ピラミッドスケール構造のみ(協同学習なし)では DPNet を下回る結果(70.08% < 70.80%)となり、構造の改善だけでは効果向上につながらないことが示唆されます。

しかし協同学習を組み合わせることで、DPSNet はベースラインを超え、cAcc が 79.35%に向上します。これはピラミッドスケール設計の潜在力が二視点の相互学習によって引き出されることを意味します。

検出(物体位置推定)とカウント(密度推定)が単独だと局所解に陥る可能性が高く、例えば正確に検出されても密度推定が誤る、またはその逆が起こり得ます。

同じ dual pyramid scale の構成で比較すると、協同学習を加えた場合の cAcc は 70.08% から 79.35% に上がります。70.80% は dual pyramid scale を使わない別の比較組なので、協同学習だけの効果を測る起点にはできません。

続いて反復学習(iterative learning)で 79.35% から 86.54% に上がり、実例レベルのサンプルを加えると 88.14% になります。

このプロセスの核心は、モデルが外部ラベルに依存せず、自身の予測に基づく内部一貫性メカニズムから信頼できる信号を抽出し、それを用いて自己訓練を繰り返す点にあります。

結論

DPSNet は Pyramid-Scale 特徴表現、多視点協同学習、選択可能な知識蒸留と反復自己訓練により、ACO タスクにおける「ドメイン間分布不一致」と「ラベルデータ不足」という二大課題に段階的に対応しています。

本研究は、大量のラベルがない現実環境において、明示した transductive 評価の下でラベルなし対象データが適応の信号源となりうることを示し、安定した疑似ラベル戦略によってそれを学習資源に変換可能であると示唆します。

この実験設定では、スタイル変換した合成画像に加え、検出とカウントの一貫性を使って選んだラベルなし画像を訓練に取り込むことが有効でした。

実装面では、カウントタスクは意味的に細分化できないものの、訓練時の補助教師信号として有用であり、全体性能向上に貢献するため、実務での導入価値があります。