next up previous
次へ: 判別基準に基づく画像の二値化 上へ: 判別分析 戻る: 判別分析

判別分析と判別基準

今、学習用の計測値データ(ベクトル)の集合 $X =
\{\mbox{\boldmath$x$}_1,\cdots,\mbox{\boldmath$x$}_N\}$ は、予め何らかの方法で $K$ 個のクラスに 分類されており、 各計測ベクトルには$K$ 個のクラス $C_k = \{\mbox{\boldmath$x$}\} \
(k=1,\ldots,K)$ のどのクラスに属しているかの情報が与えられているとする。

このとき、計測ベクトル $\mbox{\boldmath$x$}$ のクラス内共分散行列 $\Sigma_W$ および クラス間共分散行列 $\Sigma_B$ は、それぞれ、

$\displaystyle \Sigma_W$ $\textstyle =$ $\displaystyle \sum_{k=1}^K \omega_k \Sigma_k$  
$\displaystyle \Sigma_B$ $\textstyle =$ $\displaystyle \sum_{k=1}^K \omega_k (\bar{\mbox{\boldmath$x$}}_k - \bar{\mbox{\boldmath$x$}}_T)(\bar{\mbox{\boldmath$x$}}_k - \bar{\mbox{\boldmath$x$}}_T)^T$ (46)

となる。ただし、$\omega_k $, $\bar{\mbox{\boldmath$x$}}_k $, $\bar{\mbox{\boldmath$x$}}_T$, およ び $\Sigma_k$ は、それぞれ、クラス\(C_k\)の先験確率、クラス\(C_k\)の平 均ベクトル、全平均ベクトル、および、クラス\(C_k\)の共分散行列である。

判別分析では、計測ベクトル $\mbox{\boldmath$x$}$ に対するスコア(固有空間での表現)を、

\begin{displaymath}
\mbox{\boldmath$y$} = A^T \tilde{\mbox{\boldmath$x$}}
\end{displaymath} (47)

により構成する。判別スコアの空間でのクラス内共分散行列 $\hat{\Sigma}_W$ および クラス間共分散行列 $\hat{\Sigma}_B$ は、それぞれ、
$\displaystyle \hat{\Sigma}_W$ $\textstyle =$ $\displaystyle A^T \Sigma_W A$  
$\displaystyle \hat{\Sigma}_B$ $\textstyle =$ $\displaystyle A^T \Sigma_B A$ (48)

となる。

係数行列 $A = [\mbox{\boldmath$a$}_1,\cdots,\mbox{\boldmath$a$}_L]$ を決定するための判別空間の良 さ(判別力)の評価には、判別基準

\begin{displaymath}
J = \mbox{tr}(\hat{\Sigma}_W^{-1} \hat{\Sigma}_B)
\end{displaymath} (49)

使われる。判別基準は、クラス内の分散が小さくなり、各クラスの平均ベクト ルが互いに離れるような場合に大きくなる。判別基準 $J$ を最大とする最適 な係数行列 $A$ は、$\Lambda$ を Lagrange 乗数行列とする固有値問題
\begin{displaymath}
\Sigma_B A = \Sigma_W A \Lambda , \ \ \ A^T \Sigma_W A = I_L
\end{displaymath} (50)

の解として求まる。ここで、 $\Lambda = diag(\lambda_1 \geq \lambda_2
\geq \cdots \lambda_L > 0)$ は、固有値を要素とする対角行列である。また、 判別空間の次元$L$ は、 $L \le min(K-1,M)$ でおさえられる。

主成分分析の場合には、2つの計測ベクトル $\mbox{\boldmath$x$}_1$ $\mbox{\boldmath$x$}_2$ に対 する主成分スコア間の距離は、元のベクトル間の距離と関係があったが、判別 分析の場合には、2つの計測ベクトル $\mbox{\boldmath$x$}_1$ $\mbox{\boldmath$x$}_2$ に対する主 成分スコア間の距離 $\vert\mbox{\boldmath$y$}_1 - \mbox{\boldmath$y$}_2\vert^2$ は、多クラスの分布間の平 均マハラノビス汎距離 $(\tilde{\mbox{\boldmath$x$}}_1 - \tilde{\mbox{\boldmath$x$}}_2)^T
\Sigma_W^{-1} (\tilde{\mbox{\boldmath$x$}}_1 - \tilde{\mbox{\boldmath$x$}}_2)$ と密接に関係して いることが知られている[51]。つまり、判別分析の場合には、平均 クラス内分散の逆 $\Sigma_W^{-1}$ で重み付けたベクトル間の距離を近似的 に計算していることに対応する。

判別分析は、主成分分析と同様に、固有顔を構成する場合にも利用でき、係数 行列の各列 $\mbox{\boldmath$a$}_l$ は、主成分分析の場合と同様に、固有顔として解釈で きる。Swets等[73]は、判別分析を用いた固有顔による顔画像認識 手法を主成分分析を用いた場合と比較し、判別分析を用いた方法の優位性を示 している。



Subsections
next up previous
次へ: 判別基準に基づく画像の二値化 上へ: 判別分析 戻る: 判別分析
平成14年7月19日