判別分析と判別基準

今、学習用の計測値データ(ベクトル)の集合 $X = \{\mbox{\boldmath$x$}_1,\cdots,\mbox{\boldmath$x$}_N\}$ は、予め何らかの方法で $K$ 個のクラスに 分類されており、 各計測ベクトルには$K$ 個のクラス $C_k = \{\mbox{\boldmath$x$}\} \ (k=1,\ldots,K)$ のどのクラスに属しているかの情報が与えられているとする。

このとき、計測ベクトル $\mbox{\boldmath$x$}$ のクラス内共分散行列 $\Sigma_W$ および クラス間共分散行列 $\Sigma_B$ は、それぞれ、

$$\Sigma_W = \sum_{k=1}^K \omega_k \Sigma_k$$

$$\Sigma_B = \sum_{k=1}^K \omega_k (\bar{\mbox{\boldmath$x$}}_k - \bar{\mbox{\boldmath$x$}}_T)(\bar{\mbox{\boldmath$x$}}_k - \bar{\mbox{\boldmath$x$}}_T)^T$$ (46)

となる。ただし、$\omega_k$, $\bar{\mbox{\boldmath$x$}}_k$, $\bar{\mbox{\boldmath$x$}}_T$, およ び $\Sigma_k$ は、それぞれ、クラスの先験確率、クラスの平 均ベクトル、全平均ベクトル、および、クラスの共分散行列である。

判別分析では、計測ベクトル $\mbox{\boldmath$x$}$ に対するスコア(固有空間での表現)を、

$$\mbox{\boldmath$y$} = A^T \tilde{\mbox{\boldmath$x$}}$$ (47)

により構成する。判別スコアの空間でのクラス内共分散行列 $\hat{\Sigma}_W$ および クラス間共分散行列 $\hat{\Sigma}_B$ は、それぞれ、

$$\hat{\Sigma}_W = A^T \Sigma_W A$$

$$\hat{\Sigma}_B = A^T \Sigma_B A$$ (48)

となる。

係数行列 $A = [\mbox{\boldmath$a$}_1,\cdots,\mbox{\boldmath$a$}_L]$ を決定するための判別空間の良 さ(判別力)の評価には、判別基準

$$J = \mbox{tr}(\hat{\Sigma}_W^{-1} \hat{\Sigma}_B)$$ (49)

使われる。判別基準は、クラス内の分散が小さくなり、各クラスの平均ベクト ルが互いに離れるような場合に大きくなる。判別基準 $J$ を最大とする最適 な係数行列 $A$ は、$\Lambda$ を Lagrange 乗数行列とする固有値問題

$$\Sigma_B A = \Sigma_W A \Lambda , \ \ \ A^T \Sigma_W A = I_L$$ (50)

の解として求まる。ここで、 $\Lambda = diag(\lambda_1 \geq \lambda_2 \geq \cdots \lambda_L > 0)$ は、固有値を要素とする対角行列である。また、 判別空間の次元$L$ は、 $L \le min(K-1,M)$ でおさえられる。

主成分分析の場合には、２つの計測ベクトル $\mbox{\boldmath$x$}_1$ と $\mbox{\boldmath$x$}_2$ に対 する主成分スコア間の距離は、元のベクトル間の距離と関係があったが、判別 分析の場合には、２つの計測ベクトル $\mbox{\boldmath$x$}_1$ と $\mbox{\boldmath$x$}_2$ に対する主 成分スコア間の距離 $\vert\mbox{\boldmath$y$}_1 - \mbox{\boldmath$y$}_2\vert^2$ は、多クラスの分布間の平 均マハラノビス汎距離 $(\tilde{\mbox{\boldmath$x$}}_1 - \tilde{\mbox{\boldmath$x$}}_2)^T \Sigma_W^{-1} (\tilde{\mbox{\boldmath$x$}}_1 - \tilde{\mbox{\boldmath$x$}}_2)$ と密接に関係して いることが知られている[51]。つまり、判別分析の場合には、平均 クラス内分散の逆 $\Sigma_W^{-1}$ で重み付けたベクトル間の距離を近似的 に計算していることに対応する。

判別分析は、主成分分析と同様に、固有顔を構成する場合にも利用でき、係数 行列の各列 $\mbox{\boldmath$a$}_l$ は、主成分分析の場合と同様に、固有顔として解釈で きる。Swets等[73]は、判別分析を用いた固有顔による顔画像認識 手法を主成分分析を用いた場合と比較し、判別分析を用いた方法の優位性を示 している。