Multi-Modal Face Authentication using Deep Visual and Acoustic Features
- 発表先
- ICC 2019国際会議
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@inproceedings{faceantispoofingvafas2019,
title = {{Multi-Modal Face Authentication using Deep Visual and Acoustic Features}},
author = {Bing Zhou and Zongxing Xie and Fan Ye},
year = {2019},
booktitle = {ICC},
url = {https://doi.org/10.1109/icc.2019.8761776},
doi = {10.1109/icc.2019.8761776}
}
この論文では、著者が自分の方法に簡潔な名前を付けていなかったので、視覚(Visual)と音響(Acoustic)の特徴を取り入れて、VA-FAS と名付けました。
問題の定義
スマートフォンはすでに「顔認証」を日常的な起動シーケンスに組み込んでいます。
写真がカメラを騙さないように、主流の方法では、映像の中でまばたき、口の形、頭部の微細な動きなどの時間的な手がかりをキャッチしたり、映像内の異常な空間的な手がかりを検出したりして、ユーザーが本物かどうかを判断します。
一見、問題はなさそうですが、実際には、攻撃者が高解像度のビデオを使用すると、時間的・空間的な手がかりの一部を再現できるため、それらだけに頼る方法は破られる可能性があります。
単純な RGB の手がかりでは安全境界を支えることができなくなり、業界は第二の道へと進みました:カメラの横にさらに多くのセンサーを追加することです。
例えば、iPhone の Face ID は近赤外線の構造光を使って 3D ジオメトリを再構築し、確かに攻撃の難易度を高めました。いくつかの高性能な Android スマートフォンも ToF(Time-of-Flight)センサーやステレオカメラを搭載し始めています。
しかし、この「ハードウェア強化」戦略には三つの困難があります:
- コスト:専用モジュールが 部品コストを押し上げ、ミッドレンジやエントリーレベルのデバイスには普及しにくい。
- スペース:前面カメラのエリアは非常に限られており、センサーを追加するほど画面に使える面積が減ります。
- エコシステム依存:センサーの仕様とアルゴリズムが密接に結びついており、クロスプラットフォームでの複製が難しい。
本論文が対象にするのは、専用の深度センサーを持たず、既存の前面カメラ、スピーカー、マイクを利用するスマートフォンです。
我々は、ハードウェアを追加せずに顔認識に立体感を与える第三の道が必要です。
そこで著者は音波に目を向けました:
スマートフォンに元からあるハードウェアで測れる反射信号。
音が二次元の画像に深さを加えることができるのか?画像と音波の組み合わせは、ビデオ攻撃の隙間を本当に塞ぐことができるのでしょうか?
問題解決
著者は音響と視覚を融合させた顔認証システムを提案しており、追加のハードウェアなしでスマートフォン上の生体検知強度を向上させます。
システム全体は以下の 3 つのモジュールに分かれています:
- 音波特徴の抽出
- 画像特徴の抽出
- マルチモーダル特徴の融合と分類
音響と画像の特徴はそれぞれ CNN で抽出され、結合されたベクトルが One-Class SVM で判定されます。
全体的なアーキテクチャは非常にシンプルで、各モジュールの詳細を見ていきましょう。
音波特徴の抽出
著者はスマートフォンに内蔵されている「通話用スピーカー + 上部マイク」を音波通信対として選択しました。この構成はほとんどのスマートフォンに広く存在し、前面カメラと共に配置されているため、音波と画像のセンサー間の位置ずれ誤差を減少させることができます。
送信される音波は16–22 kHz の線形周波数変調 chirpで、著者は大半の人にはほとんど聞こえないと説明しています。ただし 16 kHz は一部の人には聞こえるため、帯域全体を超音波と呼ぶことはできません。これは FMCW(周波数変調連続波)タイプで、周波数差を利用して反射経路の長さを推定します。
信号品質を向上させるために、システムは以下の設計を行っています:
- 短いパルスを使用してスピーカーの自己干渉を避ける。
- ハン窓(原文では Hanning window)を適用し、信号のエッジを滑らかにして時周波数安定性を向上させる。
音波処理のフローは以下の通りです:
録音された信号は最初にバタワースバンドパスフィルター(16–22 kHz)を通して背景ノイズを除去します。
処理後の波形は以下のように観察できます:
- 直接伝搬経路:スピーカーからマイクに直接送信される信号で、通常は最大振幅を持っています。
- 顔の反射:額、鼻梁、頬などから反射された主な信号。
- ノイズと干渉反射:机や衣服の襟などから来る反射で、除去する必要があります。
セグメンテーション戦略は以下の通りです:
- ピーク検出法を使用して直接伝搬経路を特定します。
- 次に相互相関(cross-correlation)を使用し、登録時に静かな環境で記録した直接伝搬経路の信号をテンプレートとして、主な反射波のセグメントを特定します。
複数の類似したピークが原因で位置決定が不安定な場合、前面カメラで推定された顔の距離情報を導入し、検索範囲を狭めます。例えば、画像で目の間隔が広がっている場合、顔が近づいていることを示し、反射波の位置を補正することができます。
最終的に抽出されたセグメントは、左右それぞれ 10 サンプルポイントを追加し、約 7 cm の深度範囲を保持します。
反射信号は再度FMCW 距離変換を経て処理されます。以下の図に示すように:
FMCW 技術は時間遅延を周波数偏移に変換し、送受信位置がほぼ同じとみなし、運動による周波数偏移を無視すると、片道の距離を次式で表せます(原文の考え方を整理した式です):
ここで:
- :距離;
- :音速;
- :受信と発信信号の周波数差;
- :chirp の時間;
- :帯域幅(6 kHz)。
「信号混合」後に得られる周波数差は、時周波数図(スペクトログラム)に変換されます。
この時周波数図を事前に訓練された CNN(EchoPrint アーキテクチャに基づく)に入力し、最終的な分類層を除去して、128 次元のベクトルとして出力します。これにより、顔の形状や材質による反射の特徴を表します。3D の顔を明示的に復元したものではありません。
画像特徴の抽出
音波特徴の抽出が完了した後、次は画像特徴の抽出で、以下の 4 つのステップがあります:
- 顔の検出:HOG + 事前訓練モデルを使用して顔の枠と顔のパーツを検出;
- アフィン変換:顔のパーツ座標を標準テンプレートに合わせます。
- クロッピングとスケーリング:定長の入力画像を取得;
- 特徴抽出:切り抜いた顔画像を画像 CNN に入力します。
特徴抽出の部分では、簡略版 OpenFace(FaceNet の nn4 を基に)を使用し、classification loss + triplet lossで訓練を行い、最終的に 128 次元の画像特徴ベクトルを出力します。
特徴の結合
二つの特徴ベクトルを単純に結合し、最終的な 256 次元の統合特徴を構成します:
分類器として One-Class SVM を使用し、登録サンプルのみを使って高次元の境界を作成し、他の人を異常データとして扱います。このアプローチの利点は、攻撃サンプルを集める必要がなく、個人向け分類器の計算量を抑えられることです。ただし、原型システムは画像特徴抽出をサーバーに移し、音響処理と最終推論を端末で行います。
最終的なシステムは以下の図のようになります。顔を赤枠に合わせるだけで、システムは chirp を再生し、画像をキャプチャし、その後に認証を行います。原論文は処理全体の 300 ミリ秒以内という保証を示しておらず、画像転送とサーバーの遅延は通信環境に左右されます。
討論
データと実験設計
-
被験者:10 名のボランティア(音波モデルのトレーニングデータには含まれていない);
-
音波サンプル:各人約 2 分間の録音、合計で 13,806 件を収集;
-
画像サンプル:各人 20 枚の顔写真、近接画像を補間して数を合わせ;
-
攻撃サンプル:5 種類の偽顔タイプを使用、以下を含む:
- 紙の写真、スクリーン表示、紙箱の表面、壁のポスター、彫像
データは非制御環境から取得され、さまざまな光源や背景ノイズを含んでおり、システムの実用性をテストします。
モデルの性能は 4 つの指標で測定されます:
ここで:
- Precision が高い → 受け入れたサンプルのうち正規ユーザーの割合が高いこと。ここでは正規ユーザーが正例です。Precision は FAR とは異なり、正負例の比率にも左右されます;
- Recall 高 → 真のユーザーが拒否されることが少ないこと;
- F1 と BAC は性能を要約します。F1 はクラス比率の影響を受けますが、BAC は正例と負例の再現率を等しい重みで平均します。
データはランダムに 8:2 で訓練とテストに分けます。画像の補間や隣接時刻の音響サンプルが含まれるため、撮影セッションや端末を分けた独立の評価とは異なります。 モデルはOne-Class SVMを使用し、各ユーザーは自分のサンプルのみでトレーニングされ、人物識別の実験では他人のデータを負例とし、写真や画面による提示攻撃は別途評価します;各モダリティ(音波、画像、統合)はすべて同じ手順で繰り返しテストされ、公平な比較が保証されます。
双モーダル認証性能
双モーダルのアーキテクチャに基づいた実験結果は上表の通りです。左側の数値は平均値、右側は中央値です。
この正規ユーザーの認証実験では、統合特徴の平均 F-score は 94.07%、BAC は 94.42%でした。平均 Precision は 99.96%で、視覚のみの 100%をわずかに下回ります。平均 Recall は 88.84%で、音響のみの 89.83%より低い値です。
論文では写真と画面表示による提示攻撃も原型で試し、統合特徴を欺く例は観察されませんでした。ただし、著者自身もさらに大規模な攻撃実験が必要だと述べています。
著者は、統合特徴で一組の双子の姉妹を区別できたとも報告しています。ただし、その組だけの詳細な誤り率表は示されていません。外見が非常に似た人物を区別できる可能性を示す初期的な結果です。
背景ノイズの影響
音波モジュールの実用性は、実際の環境で安定して機能するかどうかに依存します。これを検証するために、著者は騒がしい実験室や会話が行われている教室で、データ収集と認識テストを繰り返しました。
その結果、この二つの背景ノイズ条件では明らかな性能低下は観察されませんでした。ただし、論文に環境別の数値はなく、ほかの騒音環境での安定性までは判断できません。
結論
この論文は、「音波を生体検知の手がかりとして使用する」実装の初期の探索の一つであり、当時のハードウェア条件下で実行可能な解決策を提案しています。
既存のセンサーを再利用する一方、位置合わせ、事前学習済みモデル、サーバーでの画像特徴抽出に依存します。10 人の初期実験は実現可能性を示しますが、製品としての安全保証には十分ではありません。
それはただエンジニアリングの現実に基づき、リソースの限界を問い直すものでした:
もしスマートフォンにマイク、スピーカー、前面カメラしかないなら、私たちはどれだけの防御の余地を残せるか?
本研究が試みた答えはこうです:音波の中の顔は、相補的な手がかりとして探る価値がある。