固有顔による顔画像の認識

顔画像の認識でまず考えられるのは、目・鼻・口などの顔を構成する部品の形 状やそれらの配置の個人差に着目し、これらから特徴点を抽出して認識に利用 する方法である。しかし、顔画像からこれらの部品を精度よく抽出することは かなり難しい。また、各部品がうまく抽出できたとしても、類似した形状の差 を認識に利用することはそれほど容易ではない。そこで、このような顔に特有 の知識を用いるのではなく、顔画像そのものをパターンとして扱い、統計的パ ターン認識手法を適用する方向の研究が活発に行われている。

最も簡単なパターン認識手法は、パターン間のマッチングに基づく方法である が、画像そのものをパターンとして扱った場合には、パターンの次元が膨大に なってしまう。そのため、パターンを情報圧縮した後でマッチングを行う方法 がいくつか提案されている。パターンを情報圧縮すれば、入力条件の変動に対 して頑健な認識結果が得られると期待できる。Turk等 [77,78]が提案した固有顔(eigenface)による方法では、主 成分分析によりパターンを情報圧縮し、顔画像の識別に利用している。手法の 単純さと固有顔という名前の付け方の上手さから、顔画像の認識において最も 有名な手法のひとつとなっている。

今、$N$ 枚の学習用の顔画像のうちの $i$ 番目の画像を、各画素の値をなら べた $M$ 次元のベクトル $\mbox{\boldmath$x$}_i$ として表現する。また、$N$ 枚の画像 の平均ベクトルを $\bar{\mbox{\boldmath$x$}}=\frac{1}{N} \sum_{i=1}^N \mbox{\boldmath$x$}_i$ とし、 各画像から平均ベクトルを引いたベクトルを $\tilde{\mbox{\boldmath$x$}}_i = \mbox{\boldmath$x$}_i - \bar{\mbox{\boldmath$x$}}$ で表し、各画像から平均ベクトルを引いた画像の集合を行列 $\tilde{X} = [\tilde{\mbox{\boldmath$x$}}_1,\cdots,\tilde{\mbox{\boldmath$x$}}_N]$ で表す。

学習用の画像集合を平均２乗誤差の意味で最適に近似する正規直交基底 $U$ は、主成分分析を用いて構成することができる。このとき、$U$ の各固有ベク トル $\mbox{\boldmath$u$}_l$ を、固有顔(eigenface)と呼んでいる。また、ある画像 $\mbox{\boldmath$x$}$ に対する主成分スコア $\mbox{\boldmath$y$}$ の各成分は、画像 $\mbox{\boldmath$x$}$ を表 現するための各固有顔の貢献度を表していると解釈できる。固有ベクトルの次 元 $L$ を小さくすることにより、固有顔 $U$ とスコア $\mbox{\boldmath$y$}$ を用いて、 もとの画像を

$$\hat{\tilde{\mbox{\boldmath$x$}}} = U U^T \tilde{\mbox{\boldmath$x$}} = U \mbox{\boldmath$y$}$$ (44)

のように低次元で近似して表現することが可能となる。

また、２枚の画像 $\mbox{\boldmath$x$}_1$ と $\mbox{\boldmath$x$}_2$ が与えれた場合、各画像の主成 分スコア間の距離は、

$$\vert\mbox{\boldmath$y$}_1 - \mbox{\boldmath$y$}_2\vert^2 =... ...\boldmath$x$}}}_1 - \hat{\tilde{\mbox{\boldmath$x$}}}_2\vert^2$$ (45)

のように、もとの画像の $U$ の列の張る空間への射影（もとの画像の平均２ 乗近似）間の距離と同じになる。したがって、顔画像の識別に画像の主成分ス コア間の距離を用いることは、もとの画像間の距離を $U$ の列の張る空間で 近似的に計算することに対応する。

図 9: 固有顔の例((a)第1固有ベクトル, (b)第6固有ベクトル, (c)第11固有ベクトル, (d)第16固有ベクトル, (e)第21固有ベクトル, (f)第26固有ベクトル)

Kirby等[30]は、100枚の顔画像に対して主成分分析を行い固有空間 の次元を50次まで取れば 95% 以上の情報が復元できることを示している。ま た、Turk等[77,78]は、16人の被験者から撮影した2500枚 の顔画像のデータベースを用いた認識実験を行い、向きや大きさが一定なら 96%の認識率を得ている。Pentland等[55]は、3000人から取っ た7562枚の顔画像のデータベースを用い、128枚の代表的な顔画像から主成分 分析により構成した20次元の固有空間を用いた識別で、95%の認識率を得てい る。さらに、目・鼻・口などの部品に対しても固有空間を構成し、それらと顔 全体の固有空間を組み合わせてた認識により、98% の認識率を得ている。