AFace: Range-flexible Anti-spoofing Face Authentication via Smartphone Acoustic Sensing
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@article{faceantispoofingaface2024,
title = {{AFace: Range-flexible Anti-spoofing Face Authentication via Smartphone Acoustic Sensing}},
author = {Zhaopeng Xu and Tong Liu and Ruobing Jiang and Pengfei Hu and Zhongwen Guo and Chao Liu},
year = {2024},
journal = {Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies},
url = {https://doi.org/10.1145/3643510},
doi = {10.1145/3643510}
}
論文を開いたら、33 ページもありました!
思わず頭が痛くなってきます。
問題の定義
スマートフォンの本人認証は、この十年ほどで PIN、指紋、虹彩、顔認証へと進んできました。
覚えた番号から生体の特徴へ、接触するセンサーから触れずに使えるセンサーへ。どの一歩も、便利さと安全性を高めようとするものです。
しかし、その進化もどこかで壁にぶつかります。
- PIN は忘れやすく、覗き見もされる。
- 指紋認証には固有性があるものの、残された指紋から偽物を作られ得る。
- 虹彩認証は精度が高くても費用がかかり、普及しにくい。
- 顔認証は広く使われていますが、写真や動画という基本的な攻撃に弱い場合がある。
dot projector や赤外線による構造光など、3D センサーを追加しても、課題は残ります。
- 費用と大きさ:こうした部品はスマートフォンの部品原価を 5% 以上押し上げるとされ、普及の妨げになる。
- 計算資源と遅延:高性能のモデルには、応答まで 4 秒以上かかるものもある。
- 偽造とプライバシー:視覚情報は複製されたり、漏えいしたりするおそれがある。
防偽技術もテクスチャ特徴から深層学習へと進みました。それでも、重要な問いが残っています。
攻撃者が 3D 印刷した顔を持っているとき、見た目だけでその材料まで見分けられるでしょうか?
そこで、信号に目を向ける研究が出てきました。
音波、WiFi、RFID、RF を使った本人認証です。見た目の形だけでなく、歩き方、呼吸、心拍、反射の違いを読み取ろうとします。ただし、これらにも限界があります。
- 歩行の特徴は、服装や姿勢に左右される。
- WiFi や RFID は、追加の装置やタグが必要になる場合がある。
- 耳道を使う認証には、装着しづらい耳の中の機器が要る。
スマホのマイクとスピーカーだけで顔を測る最近の音響認証も、多くは形状を重視します。形がそっくりの 3D マスクなら、エコーも似てしまい、識別が難しくなるのです。
そこで問いです。
エコーの形までまねされたら、攻撃者にはまねしにくい特徴が、まだ残っているでしょうか?
問題の解決
AFace は音波を使う本人認証システムです。
スマートフォンにあるスピーカーとマイクを一組として使い、顔から返る音を測ります。
全体の流れは四段階です。
- 音波の送信:登録時に、二つの異なる距離でスマホから音を送り、反射を受け取る。「エネルギーと距離」の関係を記録する。
- 信号の前処理:受信したエコーを同期し、雑音を減らし、マッチドフィルタで距離に関係する情報を取り出す。
- 補償モデル:顔とスマホの距離が変わっても比較できるよう、Range Adaptive(RA)モデルを作る。二距離の測定から Energy Compensation Function(ECF)を求め、エコーを基準距離へ補償しつつ、材料によるエネルギー差は残す。
- 特徴抽出とモデルの学習:補償後の信号から特徴を取り出し、分類器を学習する。
音波の送信
音は送り出すだけでなく、戻ってきたものを見分けられなければなりません。エネルギーを十分に集め、利用者の邪魔もしない必要があります。
著者は、そのためにいくつかの仕組みを組み合わせます。
-
信号の設計:AFace は FMCW(Frequency Modulated Continuous Wave) を使います。
- 周波数を分ける:10–22 kHz を使い、8 kHz 未満に多い背景音を高域通過フィルタで抑える。
- 距離を細かく分ける:12 kHz の帯域幅は、約 1.4 cm の距離分解能に対応する。
- スマホで使う:多くの端末が 24 kHz 以下を扱えることと高周波の減衰を考え、22 kHz を上限にする。
- 利用者への影響を抑える:信号は 10 ms、間隔は 40 ms とし、実験ではほとんど気にならないようにした。
- エネルギーを制御する:Hanning window を使い、帯域の外へ音が漏れるのを抑える。
一つの信号は、式で書くとこうなります。
式が難しければ、だいたいの意味だけで十分です。
- は信号を 10 ms の長さ( ms)に区切る。
- は約 16 kHz の中心周波数。
- は周波数を掃く速さ。
- は、一つの信号の中の時間。
- は、 番目の信号を送る時刻。
音は物理空間へ広がり、反射して帰り、比較可能なデジタル特徴へ変わります。
-
等深モデル(Iso-depth Model):マイクが受け取る音は、きれいな顔のエコーだけではありません。著者は四つの出所に分けます。
- 周囲の音による雑音。
- スピーカーからマイクへ直接届く音。
- 顔から返る、求めたい反射。
- 顔以外の物体から返る、取り除きたい反射。
この受信信号を、複数の経路からの音として表します。
は 番目の経路の遅れです。各反射を、送信した信号が遅れて届いたものとして扱います。
さらに、顔からの反射とそれ以外を分けて書きます。
- は顔からの反射。
- は、後で取り除きたい顔以外からの反射。
この音を「一つの顔」に結び付ける鍵が、マッチドフィルタです。受信した信号と参照信号 を共役畳み込みで比較し、時間上で合う位置をエネルギーのピークとして見つけます。
- は、マッチドフィルタの共役畳み込み。
- ピークの位置は、参照信号とエコーがそろう時間、つまり反射した場所までの距離に結び付きます。
異なる領域でも距離が近ければ、ピークは重なり、エネルギーが加わります。この重なりが、顔の領域を読み解く手掛かりになります。
AFace は顔を六つの等深領域に分けます。
- 最も近い鼻先は、反射面積が小さく、エネルギーも弱い。
- 目元、額、唇の前側は面積が大きくスマホを向くため、強いエネルギーが返る。
- 側頬は斜め方向へ反射し、エネルギーが限られる。
- 遠い耳は構造も複雑で、エネルギーが弱い。
これらの条件は、上図 (b) のエネルギーピークとして表れます。著者は後の遮蔽実験でも、領域を隠したときのエコー変化を調べています。
信号の前処理
どんな信号にも物語はあります。でもまずは、雑音に黙ってもらいましょう。
設計した音がそのまま届くとは限りません。マイクが受け取るのは、遅れ、ゆがみ、雑音の入ったエコーです。端末のスピーカーやマイクにはそれぞれ癖があり、周囲の環境も一定ではありません。届いた信号は、洗って位置を合わせる前の「原稿」のようなものです。
AFace の前処理は四段階です。
-
実際の参照信号を取る
スピーカーとマイクの利得は周波数によって違い、送信・受信した波形は理想どおりになりません。
そこで著者は、端末自身の癖を測ります。
- 人のいない状態で、背景の信号を一度記録する。
- 次に、スマホから 15 cm の位置に の厚紙を置き、一つの反射を測る。
- 二つの差を取り、その厚紙から返るエコーを近似して、参照信号 とする。
送り出した音を知っていると決めつけず、実測から、この端末が受け取る音を求めるわけです。
-
信号の始点を合わせる
論文の端末実装では、スピーカーとマイクの開始時刻を直接同期できません。受信信号だけでは、いつ送り出した音なのか分からないのです。
そこでスマホ内部をスピーカーからマイクへ伝わる、強い直接音を使います。
- 内部の距離は数 cm で、伝わるまでの時間は約 0.04 ms。
- 損失が少なく、強い信号として届く。
- 相互相関から、この直接音の到着位置を求め、時間の基準にする。
残るずれは約 1~2 サンプル、距離にして約 0.7 cm と見積もられます。顔の部位どうしの相対距離への影響は小さく、後の RA でも距離のずれを補償します。
-
雑音を減らす
雑音には二種類あります。
- 環境音:多くは 10 kHz より低く、高域通過フィルタで抑えられる。
- 信号に混じる音:直接音やほかの物体の反射は、参照信号を使って差し引く必要がある。
そのまま引き算しても足りません。音は距離によって弱まり、波形が似ていても振幅は変わるからです。
著者は縮尺を決める係数 を、次の誤差が最も小さくなるように求めます。
- は受信信号。
- は前に記録した、きれいな参照信号。
- は最小二乗法で決める。
論文では 200 フレームにわたる係数の変動を示し、この係数で参照信号の大きさを合わせてから差し引きます。
-
マッチドフィルタをかける
同期し、雑音を減らした後には、顔からのエコーに近い信号 が残ります。
これを参照信号と共役畳み込みします。
結果は sinc 関数に似た形です。
- 異なる距離からの反射は、別の時刻にエネルギーのピークを作る。
- それぞれのピークが、顔の領域からの「深度エコー」に対応する。
- フーリエ解析すると、距離差と周波数の関係も得られる。
は参照信号との距離差、 は音速です。
つまりマッチドフィルタとフーリエ変換で、ぼんやりした音の塊を、距離ごとの反射を読める「地図」に変えるのです。
RA 補償アルゴリズム
次は変わりやすい距離を、本人認証に使える安定した特徴へ変えます。
エコーは距離に左右されます。
でも使う人が、いつも 15 cm や 20 cm ぴったりの位置でスマホを持つはずはありません。顔とスマホの距離が少し動くだけで、位相もエネルギーも変わり、認証が不安定になります。
AFace の RA(Range Adaptive) は、毎回違う距離の入力を、比較可能な距離とエネルギーの基準へ戻す仕組みです。
中身は二つあります。
- Range Compensation:エコーの位相変化を補償する。
- Energy Compensation:反射エネルギーと距離の関係を補正する。
登録時には、二つの距離 、 で測ります。最も近いエコーの位置 、 と、その最大エネルギー 、 を記録します。
認証時の距離が なら、エコーの位相は次のとおりです。
基準距離 での位相 は、
二つの差は、
この位相差は時間のずれにとどまりません。フーリエ変換後のピーク位置も変え、距離推定と特徴抽出に影響します。
AFace は信号へ次の補償をかけます。
基準の距離で測ったかのように位相を合わせるわけです。
エコーのエネルギーも、距離と材質の両方で変わります。
AFace は、それを誤差として捨てるだけでなく、本人と偽物を見分ける手掛かりにしようとします。
著者は次の材料実験を行いました。
- 厚紙、木板、鉄板を一定の速さでスマホに近づける。
- 10 秒間の信号を送り、各距離のピークエネルギーを記録する。
- 雑音と背景反射を減らし、マッチドフィルタ後の反射強度を求める。
- 距離ごとの最大エネルギーをプロットする。
- 距離とエネルギーを直線で近似し、高い相関を得る(、RMSE = 0.03198)。
次の図は、RA でエコーの距離とエネルギーを基準へ合わせるイメージです。材料ごとの実際の距離・エネルギー曲線は、原論文の Figure 8 にあります。
論文で試した距離の範囲では、エネルギーと距離に強い線形関係がありました。材料が違えば、反射エネルギーも変わり得ます。
AFace は、次の Energy Compensation Function(ECF)を作ります。
距離 で期待されるエネルギーを表します。実際に届いた は、次のように補償されます。
これは を無理に へそろえる計算ではありません。サンプルが持つ差を残します。
覆っている材料と人の皮膚で反射が違えば、距離が同じでも、補償後のエネルギーは本人のものと異なり得ます。
距離の影響を補正しながら、材料による反射の違いを判別に残す補償なのです。
特徴抽出
信号を同期し、補償し、雑音を減らしたら、今度はエコーから人を見分ける情報を取り出します。
特徴は大きく二種類です。
- 距離の特徴(Distance Features)。
- エネルギーの特徴(Energy Features)。
まずは距離です。
等深モデルで顔を六つの領域に分け、そのうち五つを深度の測定対象にします。
- 鼻先(nose tip)。
- 鼻根(nose root)。
- 唇と眼窩(lips & eye socket)。
- 頬と額(cheek to forehead)。
- 顔の側面(side of face)。
- 最も遠い耳は、深度の基準を 0 とする。
これらから、次の特徴を作ります。
-
絶対距離が五つ:マッチドフィルタ後のピーク位置から推定する。
-
相対距離の差が十組:五領域の二つずつの差。鼻先と鼻根の差なら、鼻梁の高さの手掛かりになる。
-
面積を近似する情報が五つ:深度の近い領域からのピークは重なり、その幅に反射した領域の大きさが表れる。
- ピークの高さが 50% になる位置で幅を測る。FWHM に近い考え方です。
- とくに鼻根と唇・眼窩のように近い領域では、ピークの幅を調べます。
次はエネルギーです。
材料が違えば音の反射も違います。著者は、顔を一部覆ったときの変化も調べました。
この図は、覆わない顔と、マスクやパッチで一部を覆った顔のエコーを比べる実験です。裸の顔と 3D 印刷モデルを直接比べた図ではありません。
試した遮蔽材料では、深度が似ていてもエネルギーに差が出ることがあります。
著者が選んだエネルギー特徴は六つです。
- 最大エネルギー:反射の強さ。皮膚や面積の情報も受ける。
- 平均ピークエネルギー:顔全体の反射の平均。
- 分散:深度方向の分布が集まるか、広がるか。
- ピーク係数:強い反射点の程度。
- 平均周波数:エコーの主な周波数。
- エネルギー密度:領域の中にエネルギーがどれだけ集まるか。
これらを組み合わせ、形だけでは区別しにくい材料の手掛かりを加えます。
距離 20 個とエネルギー 6 個、合わせて 26 次元の手作り特徴が、分類器へ渡す情報の一部になります。
分類器の構成
特徴を取れたら、「この人を知っている」と判断する分類器が必要です。
著者は二つの仕組みを使います。
- BiLSTM でエコーの並びと顔の領域の特徴を扱う。
- iCaRL に基づく増分学習で、利用者が増えたり、顔が変化したりしたときの忘却を減らす。
AFace の入力は、数値の表だけではありません。信号の切片、距離の関係、エネルギーの輪郭を合わせます。四層の BiLSTM に渡す内訳は次のとおりです。
-
信号の切片が 40 サンプル:
- 雑音と距離を補償した後のエコーから取る。
- 鼻先の位置にそろえて切り出す。およそ 14 cm の範囲に当たる。
-
距離の特徴が 20 次元:
- 五つの絶対距離(鼻先、鼻根、唇と眼窩、頬と額、側面)。
- 十組の相対距離。
- マッチドフィルタ後のピークの幅が五つ。
-
エネルギーの特徴が 6 次元:
- 材料、分布、反射の強さを表す。
BiLSTM の設定は次のとおりです。
- 層:四層。
- 活性化:tanh。隠れ状態は の範囲。
- ゲート:sigmoid で、情報を残すか決める。
- 重みの初期値:tanh に合わせた Xavier initialization。
- 忘却ゲート:初期値を 1 に近づけ、長い系列を扱いやすくする。
後段の分類器には次の設定があります。
- 全結合層は 128 units、活性化は LeakyReLU。
- Dropout は 0.5 で、過学習を抑える。
- Softmax は実験の 40 人に対応する 40 クラスの確率へ変換する。
- 最後に、確率から本人のクラスを判定する。
もう一つは、iCaRL に関連する増分学習です。
利用者の追加と、同じ利用者の顔の変化に対応するため、新しい情報を学びながら既存の情報を忘れにくくしようとします。
二つの場面に分かれます。
-
クラスの追加:
- 新しい利用者を登録し、エコーから新しい学習サンプルを作る。
- 新しいクラスを扱えるよう、分類層にノードを増やす。
- 既存の全結合層を凍結し、追加した部分を学習する。
- 更新する部分を絞り、学習時間と既存出力への影響を抑える。
-
データの追加:
- 音波での認証に失敗しても、PIN など別の方法で本人と確認できれば、顔に変化が生じた可能性を考える。
- そのときのエコーを一件ずつ保存する。
- 五件以上たまるとデータの増分学習を始める。
- 構成は変えず、低い学習率で微調整する。
ねらいは、新しい情報による破滅的忘却を減らし、ネットワーク全体を毎回学び直さずに済むようにすることです。
AFace は、使う人の変化を見ながら少しずつ記憶を直す。単なる分類器以上に、利用者との関係を更新する仕組みと言えるかもしれません。
実験結果の考察
論文には実験の表がたくさんあります。全部は並べないので、気になる方は原論文を見てください。
ここでは、この方法を読むうえで大事な結果をいくつか選びます。
スピーカーとマイクの組み合わせ
最も良かったのは、上のスピーカーと上のマイクを組み合わせる配置でした。
下の部品を使うと、胸や服からの反射が混じりやすくなります。服を替える程度の変化でも、顔以外のエコーは変わり、認証結果が悪くなり得ます。
この端末の設計では、顔に関係のない反射を減らすため、上同士の組み合わせを優先する理由があります。
2D と 3D の攻撃
論文の一人の利用者を対象とした実験では、写真と動画の攻撃を防いだ割合は 100% でした。一方、顔に近い立体形状を持つマスクには、エネルギー特徴が重要です。平面攻撃は顔と同じ立体的な反射を返しにくく、マスクではさらに材料の反射を調べる必要があります。
試した三種類のマスクでは、エネルギー特徴を使わないと防御成功率は 2.61%。加えると 98.41% になりました。この材料を見分けるうえでエネルギーが役立った結果ですが、あらゆる 3D 印刷の偽顔に同じ数値を当てはめることはできません。
RA アルゴリズムの重要性
RA の働きを調べるため、利用者はまず 25 cm と 50 cm で登録し、その後、25、30、35、40、45、50 cm で一人用の認証を繰り返しました。
RA がない場合、登録に使った 25 cm と 50 cm では正解率が 96% を超えますが、中間距離では約 90% へ下がります。RA を使うと、試した六距離すべてで 95% を超え、平均は 96.7%。25~50 cm の範囲で、距離に対する柔軟性が改善した結果です。
長期利用と顔の変化
次は、iCaRL を使う増分学習の効果です。
AFace は 40 人を 20 人ずつに分け、一方には増分更新を使い、もう一方には使わず、二か月にわたり測りました。測定日は原論文の本文 §6.7 では 1、10、30、60 日目、Figure 23–24 の横軸では 1、7、30、60 日目と記され、二番目の日付が食い違います。どちらが正しい実施日か、この資料からは決められません。髪型、眼鏡、化粧などの変化もエコーに影響し得ますが、図は二群全体の比較で、個別の変化の効果ではありません。
更新しない群の正解率は時間とともに低下し、更新する群は四つの測定時点で高い値を保ちました。ただし二群は別の参加者です。この図は長期の更新が役立つ可能性を示しますが、群の違いを切り離して iCaRL だけの効果とすることはできません。
結論
2019 年ごろから、音波は FAS に画像とは別の識別の道を開きました。
それでも、これまでの方法には限界がありました。とくに大きいのは、
音波だけで顔の形を測っても、3D マスクの問題が残ることです!
形の似たマスクと本物の顔は、音波にも似たエコーを返します。
AFace はそこへ材料の違いを加えました。エコーを「距離+材料」の関数として見て初めて、音波を FAS の現実的な手掛かりにしようとします。
3D 攻撃への備えに加え、距離補償の RA とエネルギーを扱う ECF は、毎回同じ位置に立たなくても使える余地を広げます。市販のスマートフォン上で実装し、長期的な変化に合わせた増分学習も加えた、数少ない音響認証システムの一つです。
問題は残りますが、現時点でこう言えるでしょう。
音波は、それ自体で役に立つ識別の手掛かりになりました。