論文ノートライブラリに戻る
NIST IR 8439 2022顔認識論文ノート

FRVT-Twins

双子識別能力報告

原論文

FRVT: Face Recognition Verification Accuracy on Distinguishing Twins (NIST.IR.8439)

論文の著者

Kayee Hanaoka · Mei Ngan · Patrick Grother · Austin Hom

発表先
NIST IR 8439 2022技術報告
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@techreport{facerecognitionfrvtdistinguishingtwins2022,
  title = {{FRVT: Face Recognition Verification Accuracy on Distinguishing Twins (NIST.IR.8439)}},
  author = {Kayee Hanaoka and Mei Ngan and Patrick Grother and Austin Hom},
  year = {2022},
  institution = {NIST IR 8439},
  url = {https://doi.org/10.6028/NIST.IR.8439},
  doi = {10.6028/NIST.IR.8439}
}
このページの内容

これは論文ではなく、技術報告です。

主に NIST が FRVT(顔認識ベンダーテスト)において、双子を識別する問題に関する研究を行った結果を示しています。

これは非常に興味深い問題です。なぜなら、双子の間の類似性が非常に高く、顔認識システムにとっては困難を引き起こす可能性があるからです…

あ、違いました。

正確には、顔認識システムにとって「双子を識別すること」は息が詰まるほど難しい課題です。

はじめに

顔認識技術は、公共および民間部門でますます広く使用されており、主に本人確認、取引認証、およびアクセス管理に利用されています。

過去 10 年間で、FRVT 評価の精度は大幅に向上し、これらの用途を支えています。

COVID-19 のパンデミック以降、一部のアルゴリズムはマスクを着用した個人を識別できるようになりました。

しかし、これらの進歩にもかかわらず、双子の識別には依然として問題があります。

本報告書の対象は 2022 年 2 月中旬までに提出されたアルゴリズムです。現在のすべての顔認識システムを評価したものではありません。

データセット

Twins Day Dataset 2010-2018

このデータセットは、ウェストバージニア大学の生体認証および認識革新センターから提供され、2010 年から 2018 年までの Twins Days の画像が含まれています。

これらの収集は IRB(機関審査委員会)の協定に基づいて行われ、すべての参加者からインフォームド・コンセントを得ています。

毎年収集される画像のサイズは異なります:

  • 2010 年:2848x4288
  • 2011 年:3744x5616
  • 2012 年から 2018 年:3300x4400 および 2400x3200。

画像はすべて高品質の正面写真で、NIST SAP50 規格(頭部と肩部の構図要件)および SAP51 規格(頭部構図要件)を満たしています。以下の二枚は、報告書の図注では University of Notre Dame Twins Days Database の例とされています。一方、今回の評価に使った Twins Days データはウェストバージニア大学が収集したもので、この例示画像を評価サンプルとして扱うことはできません。

  • サンプル画像:異なる人物

  • サンプル画像:同一人物

移民関連画像

このデータセットには、主にウェブカメラ画像と一部のビザ申請画像からなる、リアルタイムで撮影された画像が含まれています。

ウェブカメラ画像は、サービススタッフが時間制限内で撮影したため、ピッチ角、ヨー角、およびロール角に変化があり、背景照明が明るすぎて顔の露出が不十分な場合もあります。また、近距離で撮影されたため、透視歪みが発生し、一部の顔が切り取られています。これらの画像の平均瞳距離は 38 ピクセルで、ISO/IEC 19794-5 全正面画像タイプには適合していません。

その中には、面接環境で専用機器と照明を使用して収集されたビザ申請画像も含まれており、これらの画像は ISO/IEC 19794-5 標準に準拠し、撮影サイズは 300x300、姿勢はほぼ正面です。

  • イメージサンプル

データセットの欠陥

小規模な集団

  • 二つの双子データセットを合わせて 5,938 枚、双子 698 組です。合計しても他の NIST FRVT 1:1 データセットより小規模です。
  • 一部のデータのメタデータが一致しないか欠落しているため、多くの画像や双子が除外されており、誤認識の事例もあります(例えば、A と B は双子だが、B と C も双子として記録されている場合)。
  • 移民関連データセットには、152 組の双子と 2478 枚の画像が含まれており、大部分の画像は保持されています。

識別コードの変更

  • Twins Day では通常、同じ参加者に毎年同じ識別コードが割り当てられますが、時々新しい識別コードに変更されることがあります。
  • これにより、双子でない比較の中で、少数の比較スコアが閾値を超え、実際には正しいマッチングであるべきものが誤りとして表示されることがあります。

不正確/欠落したメタデータ

  • 2011、2014、2015、2016 年の Twins Days データでは、メタデータの大部分または全部が欠落しています。
  • 不正確な双子の種類、誕生日などのメタデータの不一致が、多くの画像を除外する原因となっています。
  • 移民関連の画像データでは、異卵双生児と一卵双生児の区別に関する情報が欠如しています。

データの不均衡

  • Twins Day の画像は、双子の種類の分布が不均衡であり、2.8%が男女の異卵双生児、6.7%が同性異卵双生児、90.5%が一卵双生児です。
  • データセットの年齢層の分布も不均衡であり、大部分の画像は 20〜39 歳の範囲に属し、40〜59 歳および 60 歳以上の高齢層の画像は非常に少ないです。

人種の不均衡

  • Twins Days データセットには参加者の人種が含まれており、85%が白人、10%がアフリカ系アメリカ人、5%がその他です。
  • 各集団の標本数に大きな偏りがあるため、集団間の信頼できる比較が難しくなっています。

アルゴリズム分析レポート

FRVT の活動は世界中に開放されているため、多くのアルゴリズム参加者があります。

この報告書では、2019 年から 2022 年 2 月中旬にかけて FRVT 1:1 テストに提出された 478 個のアルゴリズム結果を記録しています。

分析指標

  • 誤マッチ率 (False Match Rate, FMR)

    誤マッチ率(FMR)は、異なる人物同士の比較のうち、誤って同一人物と判定される割合です。

    顔認識システムにおいては、特に高いセキュリティが求められる用途(銀行や空港のセキュリティチェックなど)では重要な性能指標です。

    報告書は、一般の双子ではない別人同士の mugshot 画像ペアで FMR が 0.0001 となる類似度の閾値を先に設定し、その同じ閾値で Twins Days の双子ペアを評価します。0.0001 は双子ペアの FMR ではありません。移民関連画像には、別途 Visa-Border 画像の対照群で設定した閾値を使います。

  • 誤非一致率 (False Non-Match Rate, FNMR)

    誤非一致率(FNMR)は、同一人物同士の比較のうち、誤って別人と判定される割合です。

    これも顔認識システムの性能を測る重要な指標であり、特にユーザーの利便性やユーザー体験を重視する場合に重要です。

  • FNMR @ FMR = 0.0001

    「FNMR @ FMR = 0.0001」は、一般の双子ではない別人ペアで FMR が 0.0001 となる閾値を先に決め、その閾値で同一人物ペアの FNMR を測るという意味です。Twins Days は mugshot、移民関連画像は Visa-Border をそれぞれ対照群に使います。

    これは一般の顔画像検証での誤非一致を調べるための対照です。双子の FMR は別に測定する必要があります。

一卵双生児

  • 血縁関係のない人物で調整した閾値では、Twins Days の一卵双生児の FMR 値は通常 0.99 以上で、双子の二人を比較した大半のケースで、誤って同一人物と判定されます。

  • FMR が 0.99 未満の場合は主に 2 つのケースから発生します:

    • システムエラー:高い登録失敗率(FTE)により、多くの画像またはすべての画像から特徴を抽出できないアルゴリズム。
    • アルゴリズムの問題:システムエラーによる不一致率(FNMR)が高く、その結果、低いスコアが出るアルゴリズム、つまりアルゴリズムがどれも異なる人として認識するもの。

一卵双生児を識別できる少数のアルゴリズム

一部のアルゴリズムは、一卵双生児の識別において高い精度を示し、これらのアルゴリズムは、すべての一卵双生児を誤って同じ人物として識別しませんでした。

これらのアルゴリズムは以下の通りです:

  • アルゴリズム: aigen-001, aigen-002, beyneai-000, glory-004, mobai-000, iqface-001。
  • 性能指標:
    • mugshot 対照群の FNMR(誤非一致率): ≤ 0.02
    • mugshot 対照群の FTE(登録失敗率): ≤ 0.02
    • 一卵双生児の FMR(誤マッチ率): ≤ 0.7

この閾値での aigen-002 の一卵双生児 FMR は 0.475 で、別人である双子の比較の約半数を同一人物と誤判定せずに済んでいます。0.0001 は一般の mugshot ペアで閾値を設定する際の目標 FMR、0.475 は双子ペアで測った結果であり、同じ集団の成績ではありません。

総合分析

スコア分布

上図は idemia-008 と paravision-010 による、ペアの種類ごとのスコア分布です。両モデルのスコア尺度は異なるため、横軸の絶対値をモデル間で直接比較できません。

その中で最も高いスコアは、「mated twins」ラベルのグループから来ており、これは同一人物が同じ日に撮影された写真間での比較を示します。

次に高い「mated mugshot」は、一般の顔写真対照群で同じ人物を比較したものです。

一卵双生児間の比較(「non-mated identical twins」とラベル付けされたもの)も、同様に高いスコアを獲得しています。

同性の異卵双生児(「non-mated fraternal samesex twins」とラベル付けされたもの)のスコアも、上記の高いスコアに近いです。

これらの分布の多くは図中の破線の閾値を上回ります。この閾値は、一般の双子ではない別人同士の mugshot ペアで FMR=0.0001 となるよう設定されたものです。図中の双子の FMR は、それよりずっと高くなります。

年齢の影響

報告書の要約では、二つのデータセットとも、年長の双子同士、すなわち「non-mated twins」の別人ペアの類似度スコアが低いと述べられています。

Twins Days データセットでは、双子を 4 つの年齢層に分けています:0〜19 歳、20〜39 歳、40〜59 歳、60 歳以上。分析結果は、最年長の年齢層において、異卵および同卵の同性双生児が最若年層の双子よりも低い類似度スコアを示していることを示しています。

移民関連データセットは同性の双子のみで、一卵性か二卵性かのラベルはありません。年齢層は 0〜19 歳、20〜39 歳、40〜59 歳の三つです。要約では、0〜19 歳の双子同士の類似度分布は同一人物ペアに近く、40〜59 歳ではより低いとされています。ただし、アルゴリズムごとの図の説明には、年長層でスコアの低下や変化が見られないものが多いとも記されています。

要約にある年長層の類似度低下を考慮しても、多くの双子ペアはまだ閾値を超え、同一人物と誤判定されます。報告書が検討しているのは二人を別人として識別できるかどうかです。

長期的影響

報告書で比較したアルゴリズムでは、一般の mugshot 検証の性能が良くても、Twins Days の同性二卵性・一卵性双生児に対する誤マッチ率は一緒に下がっていません。これはその時期に提出されたアルゴリズムについての観察であり、後続のすべてのアルゴリズムに当てはまる傾向ではありません。

結論

NIST の顔認識検証テスト(FRVT)における性能と、同卵および異卵双生児の識別能力を考慮した場合、本報告書で評価されたアルゴリズムは、特に遺伝的に非常に似ている同卵双生児を区別する際に、重大な課題に直面しています。

異卵双生児間の遺伝的類似性が低く、外見の違いが大きい可能性があるにもかかわらず、アルゴリズムはその識別においても依然として困難を抱えており、特に本人確認の精度が高く求められるシーンでは、重大なリスクにつながり得ます。ただし、影響は利用場面や補助的な確認手段によって異なります。

今後の改良に向けて、報告書は以下の要点を提案しています:より高解像度の顔の細部が双子の識別に役立つかを検証すること。

高解像度画像の活用

高解像度画像は、皮膚のテクスチャや孔のパターンなど、顔の細部を提供でき、これらは個人固有の特徴であり、遺伝的に同一の双子でも区別する手助けになる可能性があります。

この目標を達成するために、将来の研究および開発は、画像取得の品質を改善することが重要です。報告書は、眼間距離 120 ピクセル以上の正面画像を用いた過去の皮膚テクスチャ分析と、500 ピクセル以上を想定した今後の Twins Days 評価を区別しています。これらは報告書内の設定であり、万能な合格基準ではありません。さらに、現在主流の神経ネットワークモデルは、計算速度を向上させるために入力画像を直接ダウンサンプリングすることが多いですが、これにより重要な詳細情報が失われ、識別精度に影響を与えます(特に双子のような非常に似ている場合に)。

これらは今後調べるべき方向です。同じ運用条件で双子の識別が改善するか、将来の FRVT の証拠を待ちたいと思います。