論文ノートライブラリに戻る
ACM IMWUT 2024顔のなりすまし検知論文ノート

AFace

波動の邊界

原論文

AFace: Range-flexible Anti-spoofing Face Authentication via Smartphone Acoustic Sensing

論文の著者

Zhaopeng Xu · Tong Liu · Ruobing Jiang · Pengfei Hu · Zhongwen Guo · Chao Liu

この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@article{faceantispoofingaface2024,
  title = {{AFace: Range-flexible Anti-spoofing Face Authentication via Smartphone Acoustic Sensing}},
  author = {Zhaopeng Xu and Tong Liu and Ruobing Jiang and Pengfei Hu and Zhongwen Guo and Chao Liu},
  year = {2024},
  journal = {Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies},
  url = {https://doi.org/10.1145/3643510},
  doi = {10.1145/3643510}
}
このページの内容

論文を開いたら、33 ページもありました!

思わず頭が痛くなってきます。

問題の定義

スマートフォンの本人認証は、この十年ほどで PIN、指紋、虹彩、顔認証へと進んできました。

覚えた番号から生体の特徴へ、接触するセンサーから触れずに使えるセンサーへ。どの一歩も、便利さと安全性を高めようとするものです。

しかし、その進化もどこかで壁にぶつかります。

  • PIN は忘れやすく、覗き見もされる。
  • 指紋認証には固有性があるものの、残された指紋から偽物を作られ得る。
  • 虹彩認証は精度が高くても費用がかかり、普及しにくい。
  • 顔認証は広く使われていますが、写真や動画という基本的な攻撃に弱い場合がある。

dot projector や赤外線による構造光など、3D センサーを追加しても、課題は残ります。

  1. 費用と大きさ:こうした部品はスマートフォンの部品原価を 5% 以上押し上げるとされ、普及の妨げになる。
  2. 計算資源と遅延:高性能のモデルには、応答まで 4 秒以上かかるものもある。
  3. 偽造とプライバシー:視覚情報は複製されたり、漏えいしたりするおそれがある。

防偽技術もテクスチャ特徴から深層学習へと進みました。それでも、重要な問いが残っています。

攻撃者が 3D 印刷した顔を持っているとき、見た目だけでその材料まで見分けられるでしょうか?

そこで、信号に目を向ける研究が出てきました。

音波、WiFi、RFID、RF を使った本人認証です。見た目の形だけでなく、歩き方、呼吸、心拍、反射の違いを読み取ろうとします。ただし、これらにも限界があります。

  • 歩行の特徴は、服装や姿勢に左右される。
  • WiFi や RFID は、追加の装置やタグが必要になる場合がある。
  • 耳道を使う認証には、装着しづらい耳の中の機器が要る。

スマホのマイクとスピーカーだけで顔を測る最近の音響認証も、多くは形状を重視します。形がそっくりの 3D マスクなら、エコーも似てしまい、識別が難しくなるのです。

そこで問いです。

エコーの形までまねされたら、攻撃者にはまねしにくい特徴が、まだ残っているでしょうか?

問題の解決

AFace は音波を使う本人認証システムです。

スマートフォンにあるスピーカーとマイクを一組として使い、顔から返る音を測ります。

全体の流れは四段階です。

  1. 音波の送信:登録時に、二つの異なる距離でスマホから音を送り、反射を受け取る。「エネルギーと距離」の関係を記録する。
  2. 信号の前処理:受信したエコーを同期し、雑音を減らし、マッチドフィルタで距離に関係する情報を取り出す。
  3. 補償モデル:顔とスマホの距離が変わっても比較できるよう、Range Adaptive(RA)モデルを作る。二距離の測定から Energy Compensation Function(ECF)を求め、エコーを基準距離へ補償しつつ、材料によるエネルギー差は残す。
  4. 特徴抽出とモデルの学習:補償後の信号から特徴を取り出し、分類器を学習する。

音波の送信

音は送り出すだけでなく、戻ってきたものを見分けられなければなりません。エネルギーを十分に集め、利用者の邪魔もしない必要があります。

著者は、そのためにいくつかの仕組みを組み合わせます。

  1. 信号の設計:AFace は FMCW(Frequency Modulated Continuous Wave) を使います。

    1. 周波数を分ける:10–22 kHz を使い、8 kHz 未満に多い背景音を高域通過フィルタで抑える。
    2. 距離を細かく分ける:12 kHz の帯域幅は、約 1.4 cm の距離分解能に対応する。
    3. スマホで使う:多くの端末が 24 kHz 以下を扱えることと高周波の減衰を考え、22 kHz を上限にする。
    4. 利用者への影響を抑える:信号は 10 ms、間隔は 40 ms とし、実験ではほとんど気にならないようにした。
    5. エネルギーを制御する:Hanning window を使い、帯域の外へ音が漏れるのを抑える。

    一つの信号は、式で書くとこうなります。

    s(t,t^m)=rect(t^Tp)⋅ej2π(fct+12kt^2)s(t, \hat{t}_m) = \text{rect}\left( \frac{\hat{t}}{T_p} \right) \cdot e^{j 2\pi \left( f_c t + \frac{1}{2} k \hat{t}^2 \right)}

    式が難しければ、だいたいの意味だけで十分です。

    • rect(⋅)\text{rect}(\cdot) は信号を 10 ms の長さ(Tp=10T_p=10 ms)に区切る。
    • fcf_c は約 16 kHz の中心周波数。
    • kk は周波数を掃く速さ。
    • t^=t−tm\hat{t}=t-t_m は、一つの信号の中の時間。
    • tm=mTt_m=mT は、mm 番目の信号を送る時刻。

    音は物理空間へ広がり、反射して帰り、比較可能なデジタル特徴へ変わります。

  2. 等深モデル(Iso-depth Model):マイクが受け取る音は、きれいな顔のエコーだけではありません。著者は四つの出所に分けます。

    1. 周囲の音による雑音。
    2. スピーカーからマイクへ直接届く音。
    3. 顔から返る、求めたい反射。
    4. 顔以外の物体から返る、取り除きたい反射。

    この受信信号を、複数の経路からの音として表します。

    sr(t,t^m)=∑irect(t^−τiTp)⋅ej2π(fc(t−τi)+12k(t^−τi)2)s_r(t, \hat{t}_m) = \sum_i \text{rect}\left( \frac{\hat{t} - \tau_i}{T_p} \right) \cdot e^{j 2\pi \left( f_c (t - \tau_i) + \frac{1}{2} k (\hat{t} - \tau_i)^2 \right)}

    τi\tau_i は ii 番目の経路の遅れです。各反射を、送信した信号が遅れて届いたものとして扱います。

    さらに、顔からの反射とそれ以外を分けて書きます。

    sr(t,t^m)=∑isi+∑jsjs_r(t, \hat{t}_m) = \sum_i s_i + \sum_j s_j
    • sis_i は顔からの反射。
    • sjs_j は、後で取り除きたい顔以外からの反射。

この音を「一つの顔」に結び付ける鍵が、マッチドフィルタです。受信した信号と参照信号 srefs_{\text{ref}} を共役畳み込みで比較し、時間上で合う位置をエネルギーのピークとして見つけます。

E=∑isi⊙srefE = \sum_i s_i \odot s_{\text{ref}}
  • ⊙\odot は、マッチドフィルタの共役畳み込み。
  • ピークの位置は、参照信号とエコーがそろう時間、つまり反射した場所までの距離に結び付きます。

異なる領域でも距離が近ければ、ピークは重なり、エネルギーが加わります。この重なりが、顔の領域を読み解く手掛かりになります。

AFace は顔を六つの等深領域に分けます。

  • 最も近い鼻先は、反射面積が小さく、エネルギーも弱い。
  • 目元、額、唇の前側は面積が大きくスマホを向くため、強いエネルギーが返る。
  • 側頬は斜め方向へ反射し、エネルギーが限られる。
  • 遠い耳は構造も複雑で、エネルギーが弱い。

これらの条件は、上図 (b) のエネルギーピークとして表れます。著者は後の遮蔽実験でも、領域を隠したときのエコー変化を調べています。

信号の前処理

どんな信号にも物語はあります。でもまずは、雑音に黙ってもらいましょう。

設計した音がそのまま届くとは限りません。マイクが受け取るのは、遅れ、ゆがみ、雑音の入ったエコーです。端末のスピーカーやマイクにはそれぞれ癖があり、周囲の環境も一定ではありません。届いた信号は、洗って位置を合わせる前の「原稿」のようなものです。

AFace の前処理は四段階です。

  1. 実際の参照信号を取る

    スピーカーとマイクの利得は周波数によって違い、送信・受信した波形は理想どおりになりません。

    そこで著者は、端末自身の癖を測ります。

    • 人のいない状態で、背景の信号を一度記録する。
    • 次に、スマホから 15 cm の位置に 1 cm×1 cm1\text{ cm}\times1\text{ cm} の厚紙を置き、一つの反射を測る。
    • 二つの差を取り、その厚紙から返るエコーを近似して、参照信号 srefs_{\text{ref}} とする。

    送り出した音を知っていると決めつけず、実測から、この端末が受け取る音を求めるわけです。


  1. 信号の始点を合わせる

    論文の端末実装では、スピーカーとマイクの開始時刻を直接同期できません。受信信号だけでは、いつ送り出した音なのか分からないのです。

    そこでスマホ内部をスピーカーからマイクへ伝わる、強い直接音を使います。

    • 内部の距離は数 cm で、伝わるまでの時間は約 0.04 ms。
    • 損失が少なく、強い信号として届く。
    • 相互相関から、この直接音の到着位置を求め、時間の基準にする。

    残るずれは約 1~2 サンプル、距離にして約 0.7 cm と見積もられます。顔の部位どうしの相対距離への影響は小さく、後の RA でも距離のずれを補償します。


  1. 雑音を減らす

    雑音には二種類あります。

    • 環境音:多くは 10 kHz より低く、高域通過フィルタで抑えられる。
    • 信号に混じる音:直接音やほかの物体の反射は、参照信号を使って差し引く必要がある。

    そのまま引き算しても足りません。音は距離によって弱まり、波形が似ていても振幅は変わるからです。

    著者は縮尺を決める係数 ε\varepsilon を、次の誤差が最も小さくなるように求めます。

    min⁡ε∥Sr−ε⋅Sc∥2\min_\varepsilon \left\| S_r - \varepsilon \cdot S_c \right\|^2
    • SrS_r は受信信号。
    • ScS_c は前に記録した、きれいな参照信号。
    • ε\varepsilon は最小二乗法で決める。

    論文では 200 フレームにわたる係数の変動を示し、この係数で参照信号の大きさを合わせてから差し引きます。


  1. マッチドフィルタをかける

    同期し、雑音を減らした後には、顔からのエコーに近い信号 sis_i が残ります。

    これを参照信号と共役畳み込みします。

    yt=si⊙sref=sin⁡(πkTpt)πkt⋅rect(t2Tp)⋅ej2πfcty_t = s_i \odot s_{\text{ref}} = \frac{\sin(\pi k T_p t)}{\pi k t} \cdot \text{rect}\left(\frac{t}{2T_p}\right) \cdot e^{j2\pi f_c t}

    結果は sinc 関数に似た形です。

    • 異なる距離からの反射は、別の時刻にエネルギーのピークを作る。
    • それぞれのピークが、顔の領域からの「深度エコー」に対応する。
    • フーリエ解析すると、距離差と周波数の関係も得られる。
    fi=−k⋅2ΔRcf_i = -k \cdot \frac{2\Delta R}{c}

    ΔR\Delta R は参照信号との距離差、cc は音速です。

つまりマッチドフィルタとフーリエ変換で、ぼんやりした音の塊を、距離ごとの反射を読める「地図」に変えるのです。

RA 補償アルゴリズム

次は変わりやすい距離を、本人認証に使える安定した特徴へ変えます。

エコーは距離に左右されます。

でも使う人が、いつも 15 cm や 20 cm ぴったりの位置でスマホを持つはずはありません。顔とスマホの距離が少し動くだけで、位相もエネルギーも変わり、認証が不安定になります。

AFace の RA(Range Adaptive) は、毎回違う距離の入力を、比較可能な距離とエネルギーの基準へ戻す仕組みです。

中身は二つあります。

  1. Range Compensation:エコーの位相変化を補償する。
  2. Energy Compensation:反射エネルギーと距離の関係を補正する。

登録時には、二つの距離 D0D_0、D1D_1 で測ります。最も近いエコーの位置 d0d_0、d1d_1 と、その最大エネルギー e0e_0、e1e_1 を記録します。

認証時の距離が did_i なら、エコーの位相は次のとおりです。

φ1=2πfc(t−2dic)+πk(t−2dic)2\varphi_1 = 2\pi f_c \left(t - \frac{2d_i}{c}\right) + \pi k \left(t - \frac{2d_i}{c}\right)^2

基準距離 d0d_0 での位相 φ0\varphi_0 は、

φ0=2πfc(t−2d0c)+πk(t−2d0c)2\varphi_0 = 2\pi f_c \left(t - \frac{2d_0}{c}\right) + \pi k \left(t - \frac{2d_0}{c}\right)^2

二つの差は、

Δφ=−4πfcc(di−d0)−4πktc(di−d0)+4πkc2(di2−d02)\Delta \varphi = -\frac{4\pi f_c}{c}(d_i - d_0) - \frac{4\pi k t}{c}(d_i - d_0) + \frac{4\pi k}{c^2}(d_i^2 - d_0^2)

この位相差は時間のずれにとどまりません。フーリエ変換後のピーク位置も変え、距離推定と特徴抽出に影響します。

AFace は信号へ次の補償をかけます。

s′=e−jφ1e−jΔφ=e−j(φ1−Δφ)s' = \frac{e^{-j\varphi_1}}{e^{-j\Delta \varphi}} = e^{-j(\varphi_1 - \Delta \varphi)}

基準の距離で測ったかのように位相を合わせるわけです。

エコーのエネルギーも、距離と材質の両方で変わります。

AFace は、それを誤差として捨てるだけでなく、本人と偽物を見分ける手掛かりにしようとします。

著者は次の材料実験を行いました。

  • 厚紙、木板、鉄板を一定の速さでスマホに近づける。
  • 10 秒間の信号を送り、各距離のピークエネルギーを記録する。
  • 雑音と背景反射を減らし、マッチドフィルタ後の反射強度を求める。
  • 距離ごとの最大エネルギーをプロットする。
  • 距離とエネルギーを直線で近似し、高い相関を得る(R2=0.9536R^2=0.9536、RMSE = 0.03198)。

次の図は、RA でエコーの距離とエネルギーを基準へ合わせるイメージです。材料ごとの実際の距離・エネルギー曲線は、原論文の Figure 8 にあります。

論文で試した距離の範囲では、エネルギーと距離に強い線形関係がありました。材料が違えば、反射エネルギーも変わり得ます。

AFace は、次の Energy Compensation Function(ECF)を作ります。

ECF(di)=e1−e0d1−d0(di−d0)+e0\text{ECF}(d_i) = \frac{e_1 - e_0}{d_1 - d_0}(d_i - d_0) + e_0

距離 did_i で期待されるエネルギーを表します。実際に届いた eie_i は、次のように補償されます。

ei′=ei⋅e0ECF(di)e'_i = e_i \cdot \frac{e_0}{\text{ECF}(d_i)}

これは eie_i を無理に e0e_0 へそろえる計算ではありません。サンプルが持つ差を残します。

覆っている材料と人の皮膚で反射が違えば、距離が同じでも、補償後のエネルギーは本人のものと異なり得ます。

距離の影響を補正しながら、材料による反射の違いを判別に残す補償なのです。

特徴抽出

信号を同期し、補償し、雑音を減らしたら、今度はエコーから人を見分ける情報を取り出します。

特徴は大きく二種類です。

  • 距離の特徴(Distance Features)。
  • エネルギーの特徴(Energy Features)。

まずは距離です。

等深モデルで顔を六つの領域に分け、そのうち五つを深度の測定対象にします。

  • 鼻先(nose tip)。
  • 鼻根(nose root)。
  • 唇と眼窩(lips & eye socket)。
  • 頬と額(cheek to forehead)。
  • 顔の側面(side of face)。
  • 最も遠い耳は、深度の基準を 0 とする。

これらから、次の特徴を作ります。

  1. 絶対距離が五つ:マッチドフィルタ後のピーク位置から推定する。

  2. 相対距離の差が十組:五領域の二つずつの差。鼻先と鼻根の差なら、鼻梁の高さの手掛かりになる。

  3. 面積を近似する情報が五つ:深度の近い領域からのピークは重なり、その幅に反射した領域の大きさが表れる。

    • ピークの高さが 50% になる位置で幅を測る。FWHM に近い考え方です。
    • とくに鼻根と唇・眼窩のように近い領域では、ピークの幅を調べます。

次はエネルギーです。

材料が違えば音の反射も違います。著者は、顔を一部覆ったときの変化も調べました。

この図は、覆わない顔と、マスクやパッチで一部を覆った顔のエコーを比べる実験です。裸の顔と 3D 印刷モデルを直接比べた図ではありません。

試した遮蔽材料では、深度が似ていてもエネルギーに差が出ることがあります。

著者が選んだエネルギー特徴は六つです。

  1. 最大エネルギー:反射の強さ。皮膚や面積の情報も受ける。
  2. 平均ピークエネルギー:顔全体の反射の平均。
  3. 分散:深度方向の分布が集まるか、広がるか。
  4. ピーク係数:強い反射点の程度。
  5. 平均周波数:エコーの主な周波数。
  6. エネルギー密度:領域の中にエネルギーがどれだけ集まるか。

これらを組み合わせ、形だけでは区別しにくい材料の手掛かりを加えます。

距離 20 個とエネルギー 6 個、合わせて 26 次元の手作り特徴が、分類器へ渡す情報の一部になります。

分類器の構成

特徴を取れたら、「この人を知っている」と判断する分類器が必要です。

著者は二つの仕組みを使います。

  1. BiLSTM でエコーの並びと顔の領域の特徴を扱う。
  2. iCaRL に基づく増分学習で、利用者が増えたり、顔が変化したりしたときの忘却を減らす。

AFace の入力は、数値の表だけではありません。信号の切片、距離の関係、エネルギーの輪郭を合わせます。四層の BiLSTM に渡す内訳は次のとおりです。

  • 信号の切片が 40 サンプル:

    • 雑音と距離を補償した後のエコーから取る。
    • 鼻先の位置にそろえて切り出す。およそ 14 cm の範囲に当たる。
  • 距離の特徴が 20 次元:

    • 五つの絶対距離(鼻先、鼻根、唇と眼窩、頬と額、側面)。
    • 十組の相対距離。
    • マッチドフィルタ後のピークの幅が五つ。
  • エネルギーの特徴が 6 次元:

    • 材料、分布、反射の強さを表す。

BiLSTM の設定は次のとおりです。

  • 層:四層。
  • 活性化:tanh。隠れ状態は [−1,1][-1,1] の範囲。
  • ゲート:sigmoid で、情報を残すか決める。
  • 重みの初期値:tanh に合わせた Xavier initialization。
  • 忘却ゲート:初期値を 1 に近づけ、長い系列を扱いやすくする。

後段の分類器には次の設定があります。

  • 全結合層は 128 units、活性化は LeakyReLU。
  • Dropout は 0.5 で、過学習を抑える。
  • Softmax は実験の 40 人に対応する 40 クラスの確率へ変換する。
  • 最後に、確率から本人のクラスを判定する。

もう一つは、iCaRL に関連する増分学習です。

利用者の追加と、同じ利用者の顔の変化に対応するため、新しい情報を学びながら既存の情報を忘れにくくしようとします。

二つの場面に分かれます。

  • クラスの追加:

    • 新しい利用者を登録し、エコーから新しい学習サンプルを作る。
    • 新しいクラスを扱えるよう、分類層にノードを増やす。
    • 既存の全結合層を凍結し、追加した部分を学習する。
    • 更新する部分を絞り、学習時間と既存出力への影響を抑える。
  • データの追加:

    • 音波での認証に失敗しても、PIN など別の方法で本人と確認できれば、顔に変化が生じた可能性を考える。
    • そのときのエコーを一件ずつ保存する。
    • 五件以上たまるとデータの増分学習を始める。
    • 構成は変えず、低い学習率で微調整する。

ねらいは、新しい情報による破滅的忘却を減らし、ネットワーク全体を毎回学び直さずに済むようにすることです。

AFace は、使う人の変化を見ながら少しずつ記憶を直す。単なる分類器以上に、利用者との関係を更新する仕組みと言えるかもしれません。

実験結果の考察

論文には実験の表がたくさんあります。全部は並べないので、気になる方は原論文を見てください。

ここでは、この方法を読むうえで大事な結果をいくつか選びます。

スピーカーとマイクの組み合わせ

最も良かったのは、上のスピーカーと上のマイクを組み合わせる配置でした。

下の部品を使うと、胸や服からの反射が混じりやすくなります。服を替える程度の変化でも、顔以外のエコーは変わり、認証結果が悪くなり得ます。

この端末の設計では、顔に関係のない反射を減らすため、上同士の組み合わせを優先する理由があります。

2D と 3D の攻撃

論文の一人の利用者を対象とした実験では、写真と動画の攻撃を防いだ割合は 100% でした。一方、顔に近い立体形状を持つマスクには、エネルギー特徴が重要です。平面攻撃は顔と同じ立体的な反射を返しにくく、マスクではさらに材料の反射を調べる必要があります。

試した三種類のマスクでは、エネルギー特徴を使わないと防御成功率は 2.61%。加えると 98.41% になりました。この材料を見分けるうえでエネルギーが役立った結果ですが、あらゆる 3D 印刷の偽顔に同じ数値を当てはめることはできません。

RA アルゴリズムの重要性

RA の働きを調べるため、利用者はまず 25 cm と 50 cm で登録し、その後、25、30、35、40、45、50 cm で一人用の認証を繰り返しました。

RA がない場合、登録に使った 25 cm と 50 cm では正解率が 96% を超えますが、中間距離では約 90% へ下がります。RA を使うと、試した六距離すべてで 95% を超え、平均は 96.7%。25~50 cm の範囲で、距離に対する柔軟性が改善した結果です。

長期利用と顔の変化

次は、iCaRL を使う増分学習の効果です。

AFace は 40 人を 20 人ずつに分け、一方には増分更新を使い、もう一方には使わず、二か月にわたり測りました。測定日は原論文の本文 §6.7 では 1、10、30、60 日目、Figure 23–24 の横軸では 1、7、30、60 日目と記され、二番目の日付が食い違います。どちらが正しい実施日か、この資料からは決められません。髪型、眼鏡、化粧などの変化もエコーに影響し得ますが、図は二群全体の比較で、個別の変化の効果ではありません。

更新しない群の正解率は時間とともに低下し、更新する群は四つの測定時点で高い値を保ちました。ただし二群は別の参加者です。この図は長期の更新が役立つ可能性を示しますが、群の違いを切り離して iCaRL だけの効果とすることはできません。

結論

2019 年ごろから、音波は FAS に画像とは別の識別の道を開きました。

それでも、これまでの方法には限界がありました。とくに大きいのは、

音波だけで顔の形を測っても、3D マスクの問題が残ることです!

形の似たマスクと本物の顔は、音波にも似たエコーを返します。

AFace はそこへ材料の違いを加えました。エコーを「距離+材料」の関数として見て初めて、音波を FAS の現実的な手掛かりにしようとします。

3D 攻撃への備えに加え、距離補償の RA とエネルギーを扱う ECF は、毎回同じ位置に立たなくても使える余地を広げます。市販のスマートフォン上で実装し、長期的な変化に合わせた増分学習も加えた、数少ない音響認証システムの一つです。

問題は残りますが、現時点でこう言えるでしょう。

音波は、それ自体で役に立つ識別の手掛かりになりました。