正準相関分析

今、$p$ 個の変量を含む変数群 $\mbox{\boldmath$x$} = (x_1,\ldots,x_p)^T$ と $q$ 個の変量 を含む変数群 $\mbox{\boldmath$y$} = (y_1,\ldots,y_q)^T$ があるとする。印象語からの絵画の 検索の場合には、 $\mbox{\boldmath$x$}$ が印象の表現ベクトルに対応し、 $\mbox{\boldmath$y$}$ が画像特徴ベ クトルに対応する。２章で述べたように、学習用のデータ $\{(\mbox{\boldmath$x$}_i,\mbox{\boldmath$y$}_i)\vert i=1,\ldots,n\}$ に対 して、正準相関分析では、線形変換

$$\mbox{\boldmath$s$}_i = A^T \mbox{\boldmath$x$}_i$$

$$\mbox{\boldmath$t$}_i = B^T \mbox{\boldmath$y$}_i$$ (419)

で写された２つの新変量群間の相関行列のトレースの絶対値が最大となるような係数 行列 $A$ および $B$ が求められる。最適な係数行列は固有値問題

$$R_{XY} R_Y^{-1} R_{YX} A = R_X A \Lambda^2 \ \ \ (A^T R_X A = I_L)$$ (420)

あるいは、

$$R_{YX} R_X^{-1} R_{XY} B = R_Y B \Lambda^2 \ \ \ (B^T R_Y B = I_L)$$ (421)

の解として求まる。ただし、$\Lambda^2$ は、固有値を 対角要素とする対角行列であり、

$$R_X = \sum_{i=1}^n \mbox{\boldmath$x$}_i \mbox{\boldmath$x$}_i^T$$

$$R_Y = \sum_{i=1}^n \mbox{\boldmath$y$}_i \mbox{\boldmath$y$}_i^T$$

$$R_{XY} = \sum_{i=1}^n \mbox{\boldmath$x$}_i \mbox{\boldmath$y$}_i^T = R_{YX}^T$$ (422)

である。このとき、係数行列 $A$ と $B$ の間には、

$$R_{XY} B = R_X A \Lambda$$

$$R_{YX} A = R_Y B \Lambda$$ (423)

という関係が成り立つ。また、$L$ は、正準主成分 $\mbox{\boldmath$s$}_i$ および $\mbox{\boldmath$t$}_i$ の次元で、係数行列として固有値の大きいものから順に $L$ 個取られる。

このとき、変量 $\mbox{\boldmath$s$}$ および $\mbox{\boldmath$t$}$ の統計量は、

$$R_S = \sum_{i=1}^n \mbox{\boldmath$s$}_i \mbox{\boldmath$s$}_i^T = A^T R_X A = I_L$$

$$R_T = \sum_{i=1}^n \mbox{\boldmath$t$}_i \mbox{\boldmath$t$}_i^T = B^T R_Y B = I_L$$

$$R_{ST} = \sum_{i=1}^n \mbox{\boldmath$s$}_i \mbox{\boldmath$t$}_i^T = A^T R_{XY} B = A^T R_X A \Lambda = \Lambda = R_{TS}^T$$ (424)

となる。従って、 $\mbox{\boldmath$s$}$ から $\mbox{\boldmath$t$}$ へ、あるいは $\mbox{\boldmath$t$}$ か ら $\mbox{\boldmath$s$}$ への線形回帰式は、

$$\tilde{\mbox{\boldmath$t$}} = \Lambda \mbox{\boldmath$s$}$$

$$\tilde{\mbox{\boldmath$s$}} = \Lambda \mbox{\boldmath$t$}$$ (425)

で与えられる。