非線形判別分析

パターン認識では、所属が未知の対象から得られた多変量データをもとに、その対象 がどのクラスに属すかを決めなければならない。判別分析は、1930 年代に Fisher により定式化された手法で、いくつかのクラスから取られたデータに対して、クラス を最も判別するような低次元の空間への判別写像を構成するものである [172]。前述の数量化２類は、質的データに対する線形判別分析である。こ こでも、従来の線形判別分析について概観し、それを非線形に拡張する [121,122,123,128]。

今、 $\mbox{\boldmath$u$} \in R^m$ を連続な確率変数（データ）とし、$\Theta_j$ を離散変 数（クラス）とする。また、これらの同時確率密度関数を $p( \mbox{\boldmath$u$} \wedge \theta_j )$とする。このとき、判別分析は判別基準

$$J(\Phi) = \mbox{tr}(\hat{\Sigma}_T^{-1} \hat{\Sigma}_B))$$ (117)

を最大とする線形判別写像

$$\mbox{\boldmath$x$} = \Phi(\mbox{\boldmath$u$}) = A^T \mbox{\boldmath$u$}$$ (118)

を求める問題として定式化される。ここで、 $\hat{\Sigma}_T$ および $\hat{\Sigma}_B$ は、それぞれ、判別空間での全分散共分散行列および平均 クラス間共分散行列である。

判別基準を最大とする最適な係数行列 $A$ は、固有値問題

$$\Sigma_B A = \Sigma_T A \Lambda,$$ (119)

から求められる。ただし、$\Sigma_B$ および $\Sigma_W$ は、それぞれ、平均クラ ス間共分散行列および平均クラス内共分散行列で、

$$\bar{\mbox{\boldmath$u$}}_T = \int \mbox{\boldmath$u$} p(\mbox{\boldmath$u$}) d\mbox{\boldmath$u$}$$ (120)

$$\bar{\mbox{\boldmath$u$}}_j = \int \mbox{\boldmath$u$} p(\mbox{\boldmath$u$}\vert\theta_j) d\mbox{\boldmath$u$}$$

$$\Sigma_T = \Sigma_U = \int (\mbox{\boldmath$u$} - \bar{\mbox{\boldmath$u$}}_... ...$} - \bar{\mbox{\boldmath$u$}}_T)^T p(\mbox{\boldmath$u$}) d\mbox{\boldmath$u$}$$

$$\Sigma_B = \sum_{j=1}^N (\bar{\mbox{\boldmath$u$}}_j - \bar{\mbox{\boldmath$u$}}_T)(\bar{\mbox{\boldmath$u$}}_j - \bar{\mbox{\boldmath$u$}}_T)^T p(\theta_j)$$

である。また、 $\Lambda = {\rm diag}( \lambda_1, \ldots, \lambda_L )$ で、正規化条件は、 $A^T \Sigma_T A = I_L$ である。

線形写像の制約を取り除いて、$\Phi$ として一般の非線形関数を許す場合には、 最適な非線形写像は、

$$\mbox{\boldmath$x$} = \sum_{j=1}^{N} p( \theta_j\vert \mbox{\boldmath$u$} ) \Lambda^{-\frac{1}{2}} \mbox{\boldmath$y$}_j$$ (121)

となることが大津により示されている[121,122,123,128]。ここで、 行列 $Y^T = [\mbox{\boldmath$y$}_1,\ldots,\mbox{\boldmath$y$}_N]$ は、固有値問題

$$[\Gamma_{\Theta} - \mbox{\boldmath$p$}_{\Theta}\mbox{\boldmath$p$}_{\Theta}^T]Y = P_{\Theta} Y \Lambda$$ (122)

の解として求められる。これらの関係は、数量化２類を非線形に拡張した場合と全く 同じである。