正順相関分析と新変量の統計量

今、$p$ 個の変量を含む計測ベクトル $\mbox{\boldmath$x$} = (x_1,\ldots,x_p)^T$ と $q$ 個の変量を含む計測ベクトル $\mbox{\boldmath$y$} = (y_1,\ldots,y_q)^T$ があると する。正準相関分析では、学習用のデータ集合 $\{(\mbox{\boldmath$x$}_i,\mbox{\boldmath$y$}_i)\}_{i=1}^N$ に対して、線形変換

$$\mbox{\boldmath$s$}_i = A^T (\mbox{\boldmath$x$}_i - \bar{\mbox{\boldmath$x$}}) = A^T \tilde{\mbox{\boldmath$x$}_i}$$

$$\mbox{\boldmath$t$}_i = B^T (\mbox{\boldmath$y$}_i - \bar{\mbox{\boldmath$y$}}) = B^T \tilde{\mbox{\boldmath$y$}_i}$$ (63)

で写された２つの新変量群間の相関行列のトレースの絶対値が最大となるよう な係数行列 $A$ および $B$ を求める。最適な係数行列は固有値問題

$$\Sigma_{XY} \Sigma_Y^{-1} \Sigma_{YX} A = \Sigma_X A \Lambda^2 \ \ \ (A^T \Sigma_X A = I_L)$$ (64)

あるいは、

$$\Sigma_{YX} \Sigma_X^{-1} \Sigma_{XY} B = \Sigma_Y B \Lambda^2 \ \ \ (B^T \Sigma_Y B = I_L)$$ (65)

の解として求まる。ただし、$\Lambda^2$ は、固有値を対角要素とする対角行 列であり、

$$\Sigma_X = \frac{1}{N} \sum_{i=1}^N (\mbox{\boldmath$x$}_i - \bar{\mbox{\boldmath$x$}}) (\mbox{\boldmath$x$}_i - \bar{\mbox{\boldmath$x$}})^T$$

$$\Sigma_Y = \frac{1}{N} \sum_{i=1}^N (\mbox{\boldmath$y$}_i - \bar{\mbox{\boldmath$y$}})(\mbox{\boldmath$y$}_i - \bar{\mbox{\boldmath$y$}})^T$$

$$\Sigma_{XY} = \frac{1}{N} \sum_{i=1}^N (\mbox{\boldmath$x$}_i - \bar{\mbox{\boldmath$x$}})(\mbox{\boldmath$y$}_i - \bar{\mbox{\boldmath$y$}})^T$$

$$\Sigma_{YX} = \Sigma_{XY}^T$$ (66)

である。このとき、係数行列 $A$ と $B$ の間には、

$$\Sigma_{XY} B = \Sigma_X A \Lambda, \hspace*{10mm} \Sigma_{YX} A = \Sigma_Y B \Lambda$$ (67)

という関係が成り立つ。また、$L$ は、正準主成分 $\mbox{\boldmath$s$}_i$ および $\mbox{\boldmath$t$}_i$ の次元で、係数行列として固有値の大きいものから順に $L$ 個取 られる。

このとき、変量 $\mbox{\boldmath$s$}$ および $\mbox{\boldmath$t$}$ の統計量は、

$$\bar{\mbox{\boldmath$s$}} = \mbox{\boldmath$0$}$$

$$\bar{\mbox{\boldmath$t$}} = \mbox{\boldmath$0$}$$

$$\Sigma_S = \frac{1}{N} \sum_{i=1}^N (\mbox{\boldmath$s$}_i - \bar{\mbox{\bol... ...}})(\mbox{\boldmath$s$}_i - \bar{\mbox{\boldmath$s$}})^T = A^T \Sigma_X A = I_L$$

$$\Sigma_T = \frac{1}{N} \sum_{i=1}^N (\mbox{\boldmath$t$}_i - \bar{\mbox{\bol... ...}})(\mbox{\boldmath$t$}_i - \bar{\mbox{\boldmath$t$}})^T = B^T \Sigma_Y B = I_L$$

$$\Sigma_{ST} = \frac{1}{N} \sum_{i=1}^N (\mbox{\boldmath$s$}_i - \bar{\mbox{\bol... ...ox{\boldmath$t$}_i - \bar{\mbox{\boldmath$t$}})^T = A^T \Sigma_{XY} B = \Lambda$$

$$\Sigma_{TS} = \Sigma_{ST}^T = \Lambda$$ (68)

となる。したがって、新しい変量 $\mbox{\boldmath$s$}$ から $\mbox{\boldmath$t$}$ へ、あるいは $\mbox{\boldmath$t$}$ から $\mbox{\boldmath$s$}$ への線形回帰式は、

$$\tilde{\mbox{\boldmath$t$}} = \Lambda \mbox{\boldmath$s$}, ... ...0mm} \tilde{\mbox{\boldmath$s$}} = \Lambda \mbox{\boldmath$t$}$$ (69)

で与えられる。