論文ノートライブラリに戻る
ECCV 2018顔のなりすまし検知論文ノート

CFrPPG

心拍の残響

原論文

Remote Photoplethysmography Correspondence Feature for 3D Mask Face Presentation Attack Detection

論文の著者

Si-Qi Liu · Xiangyuan Lan · Pong C. Yuen

発表先
ECCV 2018国際会議
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@inproceedings{faceantispoofingcfrppg2018,
  title = {{Remote Photoplethysmography Correspondence Feature for 3D Mask Face Presentation Attack Detection}},
  author = {Si-Qi Liu and Xiangyuan Lan and Pong C. Yuen},
  year = {2018},
  booktitle = {ECCV},
  url = {https://openaccess.thecvf.com/content_ECCV_2018/html/Siqi_Liu_Remote_Photoplethysmography_Correspondence_ECCV_2018_paper.html}
}
このページの内容

rPPG は、本質的には PPG(Photoplethysmography)から進化した非接触型の心拍測定技術です。

センサーを取り付けることなく、RGB カメラを使用することで、自然光のもとで皮膚の心拍により引き起こされる色の変化を観測し、そこから生理的信号を復元できます。

FAS(Face Anti-Spoofing)タスクでは、このメカニズムによって、画像の外観を回避し、生命の兆候を直接観察する手段が提供されます。

理論的には、画像から安定した rPPG 信号を抽出できれば、本人の顔と 3D マスクを効果的に区別でき、固有の脈拍を持たない写真攻撃の検知にも役立つ可能性があります。ただし、高品質な録画の再生には脈拍が残る場合があり、rPPG の検出だけではその場の本人とは判定できません。

問題の定義

現実の状況では、rPPG 信号は必ずしも純粋ではありません。

下図は、原図の左から順に、本人の顔、マスク、干渉によって判定しにくい信号に対応する、3 つの一般的な rPPG 信号パターンを示しています。

  • 第一のパターン(左):理想的な状況。 本人の顔の rPPG 信号は周波数領域で明確な主成分を示し、心拍のリズムを表しています。背景ノイズは顕著に弱く、これはモデルが抽出すべき生命証拠です。

  • 第二のパターン(中央):理想的なマスクの例。 左の本人の顔とは異なり、明瞭で集中した脈拍のピークがありません。

  • 第三のパターン(右):判定しにくい信号。 強いピークは心拍にも、揺れや照明干渉にも由来し得ます。撮影条件が悪いと本人の脈拍ピークが失われる一方、マスクにも周期的なノイズでピークが現れます。最大値だけでは判断できません。

これらの 3 つのパターンは、厳しい事実を示しています:

rPPG 信号は脆弱であり、最大周波数強度だけでは唯一の生体証拠にはなりません。

従来の周波数ピーク法は、最強の信号に焦点を当てる一方で、全体の周波数スペクトルの構造や一貫性を無視しています。心拍信号は本来、皮膚の微細な色変化に安定して潜んでおり、それを抽出して増幅し解析するべきです。

しかし、問題は次の通りです: 血流による微小な色変化はその一部に過ぎません。多くの場合、ノイズが主旋律となります。

rPPG 法の中核的な仮定は、「心拍の主成分は周波数領域で明確なピークを形成する」というものです。

本論文で比較する初期の PAD 手法には、スペクトルのピークを生体検知の特徴に使うものがあります。一方、CHROM と POS は rPPG 信号の抽出法です。

しかし、環境でカメラの揺れ、明るさのちらつき、顔の移動などが発生すると、マスクであっても顕著な周期的信号を示すことがあります。また、低解像度や低照度の条件では、実際の顔の信号が環境背景に隠れ、周波数の主ピークが消失することもあります。

従来の相互相関(cross-correlation)操作は、共有される周波数を強調することはできますが、「共有されているのが心拍なのか、それとも同期した背景ノイズなのか」を識別することはできません。

そこで、私たちは次のように問いかけざるを得ません:

もしノイズと信号が同じ周波数で共鳴している場合、私たちはどちらを信じるべきなのでしょうか?

問題の解決

既存の rPPG 手法は、通常「周波数ピーク」を心拍強度の指標として扱います。

理想的な状況ではこれは機能しますが、前述の分析からもわかるように、ノイズと実際の信号が同じ周波数で共鳴すると、強度だけでは誤判定を引き起こす可能性があります。CFrPPG(rPPG Correspondence Feature)は、まさにこの脆弱な仮定を解決するために提案された新しい手法です。

周波数テンプレートの学習

CFrPPG の核心的なアイデアは次の通りです:

  • もし顔が本物であれば、顔の各部位は同じ周波数で一致した心拍信号を示すべきである。

この「部位間の一致」を捉えるために、著者は学習可能な周波数テンプレート ww を設計しました。このテンプレートは単一の信号からではなく、顔の複数領域から得た rPPG スペクトルを使って学習します。

まず顔の比較的大きな領域から rPPG 信号を抽出し、cross-correlation で前処理を行って、各領域のスペクトル {s1,s2,…,sN}\{s_1, s_2, \dots, s_N\} を得ます。最終的な対応特徴には、より小さく重なり合う領域の信号を使います。

これらの周波数スペクトルは、異なる周波数における各部位のエネルギー分布を示しますが、ノイズや変動も混ざっています。そこで、テンプレートwwを学習することにより、「一貫した心拍周波数」を強化し、ノイズによる多様性を無視することを目指します。

この目標は次の式で達成できます:

min⁡w∑i=1N∥Siw−y∥22+λ∥w∥22\min_w \sum_{i=1}^N \| S_i w - y \|_2^2 + \lambda \| w \|_2^2

ここで SiS_i は sis_i から作った循環行列、yy は対応応答の中心にピークを持つ一次元ガウス目標です。既知の心拍周波数のラベルではなく、スペクトルとテンプレートが一致したときに鋭い応答が出るように学習します。

この設計により、顔全体の一致した周波数成分を単一のフィルタwwに統合することができます。

計算を加速するために、著者は周波数領域で対角化可能な循環行列の特性を利用し、上記の最適化問題を周波数領域での要素単位の計算に変換しました:

w^=∑i=1Ns^i∗⊙y^∑i=1Ns^i∗⊙s^i+λ\hat{w} = \frac{\sum_{i=1}^N \hat{s}_i^{*} \odot \hat{y}}{\sum_{i=1}^N \hat{s}_i^{*} \odot \hat{s}_i + \lambda}

ここでs^i\hat{s}_iは第ii部位の周波数スペクトルが DFT(離散フーリエ変換)処理された形式、∗^* は要素ごとの複素共役、⊙\odotは対応する要素間の積です。このようにして、大規模な行列乗算ではなく、周波数領域での加算と除算のみでフィルタの学習を行います。

この段階では、同じ顔動画の複数の局所信号から共通するスペクトルの形をまとめ、後で各領域がそのテンプレートにどれほど対応するかを調べます。

対応特徴の構築

テンプレートwwを学習した後のタスクは、次のように進みます:

  • 顔の各部位の rPPG 信号がこのテンプレートに「反応しているか」を確認すること。

各スペクトルベクトル sis_i にもう一度 DFT を適用して s^i\hat{s}_i を求め、w^\hat{w} と要素ごとに乗算します。この DFT はスペクトルベクトルの循環畳み込みを高速化するためのもので、時系列信号を脈拍スペクトルに変換した先の処理とは区別が必要です:

r^i=s^i⊙w^\hat{r}_i = \hat{s}_i \odot \hat{w}

逆 DFT により実数の一致度応答 ri=IDFT⁡(r^i)r_i=\operatorname{IDFT}(\hat{r}_i) を求め、そのピークを調べます。応答は領域のスペクトルとテンプレートとの対応を表します。

この共鳴の程度を具体的に定量化するために、著者はピーク対サイドローブ比(PSR)を採用しています。これは、フィルタ応答の鋭さを示す一般的な指標です:

PSRi=peakri−μriσri\text{PSR}_i = \frac{\text{peak}_{r_i} - \mu_{r_i}}{\sigma_{r_i}}

ここで:

  • peakri\text{peak}_{r_i}は応答系列の最大値
  • μri\mu_{r_i}、σri\sigma_{r_i}は主ピーク以外の領域の平均と標準偏差です。

原論文の PSR の印刷式では標準偏差を掛けていますが、上式は一般的な Peak-to-Sidelobe Ratio の定義に従い、標準偏差で割っています。著者の実装との照合は行っていません。

言い換えれば、PSR が高いほど、応答が鋭く、集中しており、本物の心拍信号を示す可能性が高いことを意味します。逆に、ノイズや不連続な信号は平坦でぼやけ、または多峰性の応答を生み出し、PSR が低くなります。

最後に、全ての部位の PSR 値を並べて、最終的な CFrPPG 表現を作成します:

x=[PSR1,PSR2,…,PSRN]x = [\text{PSR}_1, \text{PSR}_2, \dots, \text{PSR}_N]

このベクトルが最終的な CFrPPG 表現となり、単一の周波数強度に依存せず、顔全体の各部位とテンプレート間の対応関係から、その顔が一致した本物の心拍リズムを持っているかを判断します。

この「全体的な一致性」に基づく設計により、モデルは局所的なノイズや誤信号の干渉に対して、より強い耐性を持つことができます。

背景ノイズの抑制

現実のアプリケーションでは、rPPG 信号は全体的な干渉により汚染されやすいです。たとえば、カメラの微小な揺れや手持ち撮影による振動、または室内照明のちらつきなどです。これらの干渉は通常、顔全体の同期と安定した周期を特徴としており、周波数領域で心拍信号と区別が難しく、モデルに誤った応答を引き起こしやすいです。

つまり、生理的な信号がまったく存在しない顔のマスクでも、背景ノイズが安定していると、周波数領域で疑似的な心拍痕跡を生み出してしまう可能性があります。

この問題を解決するために、CFrPPG は周波数テンプレートを学習する過程で、背景領域の rPPG 周波数を負のサンプルとして追加しています。これらの領域は顔の外部に位置し、顔と同じ方法で rPPG 信号を抽出しますが、理論的には血流による生理的リズムが現れるべきではないはずです。

これらの背景周波数は「反応を生成すべきでない」例と見なされ、テンプレート訓練の目的関数にペナルティ項として追加されます。設計は次のようにします:

min⁡w∑i=1M∥Sitw−y∥22+λ∥w∥22+γ∑k=1K∥Sknw∥22\min_w \sum_{i=1}^M \| S_i^t w - y \|^2_2 + \lambda \|w\|^2_2 + \gamma \sum_{k=1}^K \| S_k^n w \|^2_2

ここで:

  • SitS_i^t:顔部位からの rPPG 周波数、心拍一致性を捕えるために使用
  • SknS_k^n:背景からの周波数、全体的な干渉を抑制するために使用
  • yy:固定の一次元ガウス目標応答。位置合わせされたスペクトルに鋭い一致度応答を与える
  • γ\gamma:ペナルティ強度を調整する係数、心拍学習と背景抑制のバランスを取る

これにより、学習目標は、テンプレート ww が次の二つを両立するよう促します:

  • 本物の心拍周波数に強く集中した反応を生成
  • 背景でよく見られる周期的なノイズには非常に低い反応を維持

この設計は、背景周波数を「排除する」のではなく、モデルが訓練時にそれらの周期的なパターンを無視する方法を学ぶことを意味します。

言い換えれば、私たちはモデルに「心拍をどこで見たか」だけでなく、「心拍を見てはいけない場所はどこか」を問うているのです。

このように、論文で試した干渉条件では、同期した揺れなどの背景信号が対応特徴に与える影響を減らせます。原論文では顔の大きな 3 領域と背景の 4 領域でテンプレートを学習し、小さく重なり合う顔の 9 領域から対応特徴を抽出して、線形 SVM で分類しています。

討論

他の手法との比較

上記の表に示すように、3DMAD データセットでは、すべての手法の総合的なパフォーマンスが高く、これはこのデータセットが制御された光源環境で撮影され、使用されている Thatsmyface マスクが実際の顔と素材的に明確な差があることを反映しています。外観に基づく手法(特に MS-LBP)は、このシナリオで最良の結果を得ることができました。

ただし、他の rPPG 手法(LrPPG、GrPPG など)と比べると、CFrPPG は AUC と HTER でやや良い結果です。たとえばテスト HTER は CFrPPG が 6.82%、LrPPG が 8.57% でした。一方、CNN のテスト HTER は 6.07% です。

さらに、今回の実験では、ランダムな被験者インデックスを使用した leave-one-out クロスバリデーション(LOOCV)設計を採用し、20 回のテストで、各回に 17 回のテストを行い、データの分割における偶然性を減らしています。CFrPPG は多回の評価で安定したパフォーマンスを維持し、そのアーキテクチャがサンプル間で一貫した特性を持つことを示しています。

クロスデータセットテスト

著者はさらに、未知の環境でのモデルの一般化能力を評価するために、クロスデータセット実験を設計しました。

具体的には、実験は 2 つの方向で分かれています:

  • 3DMAD → HKBU-MARsV2:クリーンで制御されたデータセットで訓練し、室内照明とマスクの種類が異なるデータセットでテスト
  • HKBU-MARsV2 → 3DMAD:相対的に照明とマスクの変動が大きいデータセットで訓練し、標準的な環境でテスト

各設定で 20 回のランダムグループテストを実施し、被験者の構成に偏りがないようにしています。

結果として、CFrPPG は両方のデータセット間実験で表中の比較手法より良い結果を示し、同一データセット内の評価より差が大きくなりました。ここから言えるのは次の範囲です:

この二つのデータセット間では、CFrPPG は訓練時とは異なる撮影条件やマスクに対しても識別力を保ちました。

著者は、単一のスペクトルピークではなく、複数領域のスペクトルとテンプレートとの対応を調べる設計が、この結果に寄与したと考えています。データセット間の比較も、表中の手法より識別力を保ちやすいという解釈を支えています。

一方、比較した外観に基づく手法(MS-LBP、CNN など)は、データセット間評価で大きく性能を落としています。これらの結果は、今回の撮影条件とマスクの違いに対して外観特徴が十分に移行できなかったことを示します。

結論

rPPG の魅力は、外観を越えて生理的な証拠を探す点にあります。難しさは、その証拠も照明、カメラ、圧縮、動きの影響を受けることです。

照明は制御しにくく、ノイズは除去しにくい。周期が見えても、それが心拍とは限りません。

CFrPPG は単一のピークを複数領域のスペクトルの対応関係に置き換え、背景の抑制を加えました。安定性は最大の数値だけでなく、複数の観測の一致からも得られるという、示唆に富む設計です。

ただし、二つのマスクデータセットでの改善は、あらゆる再生攻撃、未知のマスク、運用環境への保証にはなりません。この論文が rPPG 研究の終わりを示したわけでもありません。実装で問うべきなのは、どの条件で信号を信頼できるか、いつ不確実さを認めるか、どの手がかりと組み合わせるかです。