主成分分析を用いた顔認識

ここでは、$N$ 枚の顔画像のうちの $i$ 番目の画像を、各画素の値をならべた $M$ 次元のベクトル $\mbox{\boldmath$x$}_i$ として表現する。また、$N$ 枚の画像の平均ベ クトルを $\bar{\mbox{\boldmath$x$}}=\frac{1}{N} \sum_{i=1}^N \mbox{\boldmath$x$}_i$ とし、各画像か ら平均ベクトルを引いたベクトルを $\tilde{\mbox{\boldmath$x$}}_i = \mbox{\boldmath$x$}_i - \bar{\mbox{\boldmath$x$}}$ で表し、各画像から平均ベクトルを引いた画像の集合を行列 $\tilde{X} = [\tilde{\mbox{\boldmath$x$}}_1,\cdots,\tilde{\mbox{\boldmath$x$}}_N]$ で表す。

画像集合を平均２乗誤差の意味で最適に近似する正規直交基底 $U$ は、主成分 分析（KL展開）を用いて構成することができる。

まず、ある正規直交基底 $U$ が与えられたとき、ある画像 $\tilde{\mbox{\boldmath$x$}}_i$ の $U$ の列の張る空間への射影

$$\hat{\tilde{\mbox{\boldmath$x$}}}_i = U U^T \tilde{\mbox{\boldmath$x$}}_i$$ (3)

は、平均２乗誤差の意味での $\tilde{\mbox{\boldmath$x$}}_i$ の近似になっている [78]。画像集合を平均２乗誤差

$$\varepsilon^2(U) = \frac{1}{N} \sum_{i=1}^N \vert\tilde{\mbox{\boldmath$x$}}_i - \hat{\tilde{\mbox{\boldmath$x$}}}_i\vert^2$$ (4)

の意味で最適に近似する正規直交基底 $U=[\mbox{\boldmath$u$}_1,\cdots,\mbox{\boldmath$u$}_L]$ は、 $X$ の共分散行列 $\Sigma_X = \tilde{X} \tilde{X}^T$ の固有値問題

$$\Sigma_X U = U \Lambda , \hspace*{3mm} (U^TU = I)$$ (5)

の解として求まる[78]。ただし、$\Lambda$ は固有値行列である。ま た、$U$ としては、固有値の大きさの順番に対応する固有ベクトルを $L$ 個ま で取るものとする。こうして求めた固有ベクトル $\mbox{\boldmath$u$}_l$ は、固有顔 (eigenface)と呼ばれている[103,104]。

このとき、ある画像 $\mbox{\boldmath$x$}$ に対する主成分スコア(固有空間での表現)は

$$\mbox{\boldmath$y$} = U^T \tilde{\mbox{\boldmath$x$}} = U^T(\mbox{\boldmath$x$} - \bar{\mbox{\boldmath$x$}})$$ (6)

のように計算される。 $\mbox{\boldmath$y$}$ の各成分は、画像 $\mbox{\boldmath$x$}$ を表現するための 各固有顔の貢献度を表していると解釈できる。固有ベクトルの次元 $L$ を小さ くすることにより、固有顔 $U$ とスコア $\mbox{\boldmath$y$}$ を用いて、もとの画像を

$$\hat{\tilde{\mbox{\boldmath$x$}}} = U U^T \tilde{\mbox{\boldmath$x$}} = U \mbox{\boldmath$y$}$$ (7)

のように低次元で近似して表現することが可能となる。

また、２枚の画像 $\mbox{\boldmath$x$}_1$ と $\mbox{\boldmath$x$}_2$ が与えれた場合、各画像の主成分 スコア間の距離は、

$$\vert\mbox{\boldmath$y$}_1 - \mbox{\boldmath$y$}_2\vert^2 =... ...\boldmath$x$}}}_1 - \hat{\tilde{\mbox{\boldmath$x$}}}_2\vert^2$$ (8)

のように、もとの画像の $U$ の列の張る空間への射影（もとの画像の平均２乗 近似）間の距離と同じになる。したがって、顔画像の識別に画像の主成分スコア 間の距離を用いることは、もとの画像間の距離を $U$ の列の張る空間で近似的 に計算することに対応する。

また、行列の特異値分解の関係から、

$$\tilde{X}^T \tilde{X} V = V \Lambda , \hspace*{3mm} (V^TV = I)$$ (9)

のような固有値問題を考えると、固有ベクトルを要素とする行列 $U$ と $V$ と の間には、

$$\tilde{X} V = U \Lambda^{\frac{1}{2}}, \hspace*{3mm} \tilde{X}^T U = V \Lambda^{\frac{1}{2}}$$ (10)

のような関係が成り立つ。従って、画像の大きさ $M$ に比べて画像の枚数 $N$ が小さい場合には $V$ に関する固有値問題を解いて、それから固有顔 $U$ を計 算すればよい。一般には、画像の大きさ $M$ は学習に用いる画像の枚数 $N$ よ りもかなり大きいので、$V$ に関する固有値問題を解くことにより、必要な計算 量をかなり削減できる。

Kirby等[48]は、100枚の顔画像に対して主成分分析を行い固有空間の 次元を50次まで取れば 95% 以上の情報が復元できることを示している。また、 Turk等[103,104]は、16人の被験者から撮影した2500枚の顔画 像のデータベースを用いた認識実験を行い、向きや大きさが一定なら96%の認識 率を得ている。Pentland等[85]は、3000人から取った7562枚の顔 画像のデータベースを用い、128枚の代表的な顔画像から主成分分析により構成 した20次元の固有空間を用いた識別で、95%の認識率を得ている。さらに、目・ 鼻・口などの部品に対しても固有空間を構成し、それらと顔全体の固有空間を組 み合わせてた認識により、98% の認識率を得ている[85]。