近似としての判別分析および数量化２類

次に、線形判別分析と数量化２類について考える。事後確率 $p(\theta_j\vert\mbox{\boldmath$u$})$ の最小２乗線形近似は、

$$L(\theta_j\vert\mbox{\boldmath$u$}) = p(\theta_j)[(\bar{\mb... ...^{-1} (\mbox{\boldmath$u$} - \bar{\mbox{\boldmath$u$}}_T) + 1]$$ (144)

で与えられるから、これを $\gamma(\theta_i \wedge \theta_j)$ の定義式に代入す ると、

$$\tilde{\gamma}(\theta_i \wedge \theta_j) = \int L(\theta_i\... ...bar{\mbox{\boldmath$u$}}_j - \bar{\mbox{\boldmath$u$}}_T) + 1]$$ (145)

となる。これは、 $\gamma(\theta_i \wedge \theta_j)$ の事後確率 $p(\theta_j\vert\mbox{\boldmath$u$})$ の最小２乗線形近似 $L(\theta_j\vert\mbox{\boldmath$u$})$ を通じての近似 である。この $\tilde{\gamma}(\theta_i \wedge \theta_j)$ に関して、 $\gamma(\theta_i \wedge \theta_j)$ と同様に、関係

$$\sum_{i=1}^N \tilde{\gamma}(\theta_i \wedge \theta_j) = p(\theta_j)$$ (146)

が成り立つ。

ここで、非線形判別分析によって得られる最適な非線形判別写像

$$\mbox{\boldmath$x$} = \sum_{j=1}^N p(\theta_j\vert\mbox{\boldmath$u$}) \Lambda^{-\frac{1}{2}} \mbox{\boldmath$y$}_j$$ (147)

に事後確率 $p(\theta\vert\mbox{\boldmath$u$})$ の線形近似 $L(\theta_j\vert\mbox{\boldmath$u$})$ を代入すると、

$$\tilde{\mbox{\boldmath$x$}} = \sum_{j=1}^N L(\theta_j\vert\mbox{\boldmath$u$}) \Lambda^{-\frac{1}{2}} \mbox{\boldmath$y$}_j$$ (148)

$$= \sum_{j=1}^N p(\theta_j)[(\bar{\mbox{\boldmath$u$}}_j - \bar{\mbo... ... \bar{\mbox{\boldmath$u$}}_T) + 1] \Lambda^{-\frac{1}{2}} \mbox{\boldmath$y$}_j$$

$$= \Lambda^{-\frac{1}{2}} Y^T P_{\Theta} M^T \Sigma_T^{-1} (\mbox{\b... ...box{\boldmath$u$}}_T) + \Lambda^{-\frac{1}{2}} \mbox{\boldmath$p$}_{\Theta}^T Y$$

となる。ここで、 $M=[\bar{\mbox{\boldmath$u$}}_1-\bar{\mbox{\boldmath$u$}}_T,\ldots,\bar{\mbox{\boldmath$u$}}_N-\bar{\mbox{\boldmath$u$}}_T]$ で ある。一方、非線形判別分析の固有値問題

$$[\Gamma_{\Theta} - \mbox{\boldmath$p$}_{\Theta}\mbox{\boldmath$p$}_{\Theta}^T]Y = P_{\Theta} Y \Lambda$$ (149)

の $\Gamma_{\Theta}$ に $\tilde{\Gamma}_{\Theta} =[\tilde{\gamma}(\theta_i \wedge \theta_j)]$ を代入すると、

$$[\tilde{\Gamma}_{\Theta} - \mbox{\boldmath$p$}_{\Theta} \mbox... ...Theta} M^T \Sigma_T^{-1} M P_{\Theta} Y = P_{\Theta} Y \Lambda$$ (150)

と書ける。ここでも、固有ベクトル $Y$ は、条件 $Y^T\mbox{\boldmath$p$}_{\Theta} = \mbox{\boldmath$0$}$ を満たすから、式 (2.149) の右辺の第２項は $\mbox{\boldmath$0$}$ となる。 今、固有方程式 (2.149) に左から $M$、右から $\Lambda^{-\frac{1}{2}}$ を掛け、 $A = \Sigma_T^{-1} M P_{\Theta} Y \Lambda^{-\frac{1}{2}}$ とおくと、

$$M P_{\Theta} M^T A = \Sigma_B A = \Sigma_T A \Lambda$$ (151)

となる。これは、まさに、線形判別分析の固有値問題と同じである。この時、判別写 像 $\tilde{\mbox{\boldmath$x$}}$ は、

$$\tilde{\mbox{\boldmath$x$}} = A^T (\mbox{\boldmath$u$} - \bar{\mbox{\boldmath$u$}}_T)$$ (152)

となり、線形判別分析によって得られる最適な線形判別写像と一致する。つまり、線 形判別分析が事後確率 $p(\theta_j\vert\mbox{\boldmath$u$})$ の線形近似 $L(\theta_j\vert\mbox{\boldmath$u$})$ お よび $\gamma(\theta_i \wedge \theta_j)$ の線形近似 $\tilde{\gamma}(\theta_i \wedge \theta_j)$ を通して、非線形判別分析の近似になっているとみなすことがで きる。数量化２類についても同様な結果を示すことができる。