next up previous
次へ: 近似としての正準相関分析 上へ: 線形近似としての線形データ解析手法 戻る: 近似としての重回帰分析および数量化1類

近似としての判別分析および数量化2類

次に、線形判別分析と数量化2類について考える。事後確率 $p(\theta_j\vert\mbox{\boldmath$u$})$ の最小2乗線形近似は、

\begin{displaymath}
L(\theta_j\vert\mbox{\boldmath$u$}) = p(\theta_j)[(\bar{\mb...
...^{-1} (\mbox{\boldmath$u$} - \bar{\mbox{\boldmath$u$}}_T) + 1]
\end{displaymath} (144)

で与えられるから、これを $\gamma(\theta_i \wedge \theta_j)$ の定義式に代入す ると、
\begin{displaymath}
\tilde{\gamma}(\theta_i \wedge \theta_j) = \int L(\theta_i\...
...bar{\mbox{\boldmath$u$}}_j -
\bar{\mbox{\boldmath$u$}}_T) + 1]
\end{displaymath} (145)

となる。これは、 $\gamma(\theta_i \wedge \theta_j)$ の事後確率 $p(\theta_j\vert\mbox{\boldmath$u$})$ の最小2乗線形近似 $L(\theta_j\vert\mbox{\boldmath$u$})$ を通じての近似 である。この $\tilde{\gamma}(\theta_i \wedge \theta_j)$ に関して、 $\gamma(\theta_i \wedge \theta_j)$ と同様に、関係
\begin{displaymath}
\sum_{i=1}^N \tilde{\gamma}(\theta_i \wedge \theta_j) = p(\theta_j)
\end{displaymath} (146)

が成り立つ。

ここで、非線形判別分析によって得られる最適な非線形判別写像

\begin{displaymath}
\mbox{\boldmath$x$} = \sum_{j=1}^N p(\theta_j\vert\mbox{\boldmath$u$}) \Lambda^{-\frac{1}{2}} \mbox{\boldmath$y$}_j
\end{displaymath} (147)

に事後確率 $p(\theta\vert\mbox{\boldmath$u$})$ の線形近似 $L(\theta_j\vert\mbox{\boldmath$u$})$ を代入すると、
$\displaystyle \tilde{\mbox{\boldmath$x$}}$ $\textstyle =$ $\displaystyle \sum_{j=1}^N L(\theta_j\vert\mbox{\boldmath$u$}) \Lambda^{-\frac{1}{2}}
\mbox{\boldmath$y$}_j$ (148)
  $\textstyle =$ $\displaystyle \sum_{j=1}^N p(\theta_j)[(\bar{\mbox{\boldmath$u$}}_j - \bar{\mbo...
... \bar{\mbox{\boldmath$u$}}_T) + 1] \Lambda^{-\frac{1}{2}}
\mbox{\boldmath$y$}_j$  
  $\textstyle =$ $\displaystyle \Lambda^{-\frac{1}{2}} Y^T P_{\Theta} M^T \Sigma_T^{-1} (\mbox{\b...
...box{\boldmath$u$}}_T) + \Lambda^{-\frac{1}{2}} \mbox{\boldmath$p$}_{\Theta}^T Y$  

となる。ここで、 $M=[\bar{\mbox{\boldmath$u$}}_1-\bar{\mbox{\boldmath$u$}}_T,\ldots,\bar{\mbox{\boldmath$u$}}_N-\bar{\mbox{\boldmath$u$}}_T]$ で ある。一方、非線形判別分析の固有値問題
\begin{displaymath}[\Gamma_{\Theta} - \mbox{\boldmath$p$}_{\Theta}\mbox{\boldmath$p$}_{\Theta}^T]Y = P_{\Theta} Y \Lambda
\end{displaymath} (149)

$\Gamma_{\Theta}$ $\tilde{\Gamma}_{\Theta} =[\tilde{\gamma}(\theta_i
\wedge \theta_j)]$ を代入すると、
\begin{displaymath}[\tilde{\Gamma}_{\Theta} - \mbox{\boldmath$p$}_{\Theta} \mbox...
...Theta} M^T \Sigma_T^{-1} M P_{\Theta} Y = P_{\Theta} Y \Lambda
\end{displaymath} (150)

と書ける。ここでも、固有ベクトル $Y$ は、条件 $Y^T\mbox{\boldmath$p$}_{\Theta} = \mbox{\boldmath$0$}$ を満たすから、式 (2.149) の右辺の第2項は $\mbox{\boldmath$0$}$ となる。 今、固有方程式 (2.149) に左から $M$、右から $\Lambda^{-\frac{1}{2}}$ を掛け、 $A = \Sigma_T^{-1} M P_{\Theta} Y \Lambda^{-\frac{1}{2}}$ とおくと、
\begin{displaymath}
M P_{\Theta} M^T A = \Sigma_B A = \Sigma_T A \Lambda
\end{displaymath} (151)

となる。これは、まさに、線形判別分析の固有値問題と同じである。この時、判別写 像 $\tilde{\mbox{\boldmath$x$}}$ は、
\begin{displaymath}
\tilde{\mbox{\boldmath$x$}} = A^T (\mbox{\boldmath$u$} - \bar{\mbox{\boldmath$u$}}_T)
\end{displaymath} (152)

となり、線形判別分析によって得られる最適な線形判別写像と一致する。つまり、線 形判別分析が事後確率 $p(\theta_j\vert\mbox{\boldmath$u$})$ の線形近似 $L(\theta_j\vert\mbox{\boldmath$u$})$ お よび $\gamma(\theta_i \wedge \theta_j)$ の線形近似 $\tilde{\gamma}(\theta_i \wedge \theta_j)$ を通して、非線形判別分析の近似になっているとみなすことがで きる。数量化2類についても同様な結果を示すことができる。


next up previous
次へ: 近似としての正準相関分析 上へ: 線形近似としての線形データ解析手法 戻る: 近似としての重回帰分析および数量化1類
Takio Kurita 平成14年7月3日