堅牢な顔・表情認識

現在の顔・表情認識システムに発生する主要問題は、主に照明条件の変化、姿勢の変化、不十分な幾何学的正規化に起因するものである。本論文では、このような変化をうまく取り扱うための技術を３つ提案する。その３つの技術とは、マルチスケ-ル顔認識アルゴリズム、照明条件の変化を打ち消すためのアルゴリズム、及び堅牢な実時間表情認識アルゴリズムである。実験によりこれらの技術の有効性が確認されている。

画像の幾何学的変形および照明条件の変化に対し堅牢なマルチスケール顔認識アルゴリズムでは、均衡を保った点の集合により顔を表現し、複数のスケールで画像から抽出した局所的な特徴ベクトルにより各点を表現する。図１の内容は以下のとおりである。 (a)２つの格子、(b)幾何学的価値、(c)ダイナミック・プログラミング・プロセス、(d)パラメータの抽出、(e-h)はそれぞれ学習格子、認識格子、データベース、格子、データベースにある顔の表示(γ=0.56)、測定した顔の表示である。最後の４つは、２人の被験者に顔認識を行った結果で、スケールおよび照明の条件が大きく異なっている。

我々は堅牢な実時間表情認識技術を提案する。第一のステップとして、特徴点追跡アルゴリズムを用いて表情の変化パターンをとらえる。この方法は光学フローに基づいたアプローチよりも高速である。第二のステップとして、近年考案されたフェイス・モーション・グラフを用いてモーション・ベクトルを抽出することにより、フェイス・リジッド・モーションに発生する好ましくない効果を除去する。第三のステップとして、VQ-HMM法による表情認識を提案する。この方法では、表情の変化パターンに対してモーション・モデルを用意する必要がない。

図２は、用意した特徴点、およびモーション・ベクトルの計算に使用したフェイス・グラフである。

現在我々は４種類の表情(笑った顔、怒った顔、いやな顔、驚いた顔)の認識に成功している。我々は、４つの表情パターンおよび２つのモーション領域に対応する８個のHMMを作成した。ベクトルの量子化では、６４個のコードを用いてモーション・ベクトルを表現した。我々の隠れマルコフモデルには２つの状態があり、各状態には６４個の観測状態がある。コードブックが生成されるように学習アルゴリズムの設計を行った。各個人に依存するFERのために、コードブックを個々に設定することが可能である。すなわち、個人別コードブックを作成することが出来る。現在のシステムでは、個人別のモーション・ベクトルを用いてコードブックの学習を行う。