近似としての重回帰分析および数量化１類

まず、線形重回帰分析および数量化１類がどういう意味で非線形の手法の近似になっ ているかについて考察する。非線形重回帰分析の解の式(2.116)の $p(\mbox{\boldmath$v$}\vert\mbox{\boldmath$u$})$ のかわりに、その最小２乗線形近似 $L(\mbox{\boldmath$v$}\vert\mbox{\boldmath$u$})$ を代 入すると、

$$\tilde{\mbox{\boldmath$x$}} = \int \mbox{\boldmath$v$}(L(\m... ...} - \bar{\mbox{\boldmath$u$}}_T) + \bar{\mbox{\boldmath$v$}}_T$$ (135)

となる。これは、まさに、線形の重回帰分析の解と同じである。 すなわち、線形重 回帰分析の最適線形写像は、最適非線形写像にあらわれる条件付確率 $p(\mbox{\boldmath$v$}\vert\mbox{\boldmath$u$})$ をその最小２乗線形近似 $L(\mbox{\boldmath$v$}\vert\mbox{\boldmath$u$})$ で置き換えたも のに等しい。

同様に、非線形の数量化１類の解 (2.34) の $p(\mbox{\boldmath$v$}\vert\omega_i)$ に、その最小２乗線形近似

$$L(\mbox{\boldmath$v$}\vert\omega_i) = p(\mbox{\boldmath$v$}... ...{U}^{-1}(\mbox{\boldmath$u$}_i-\bar{\mbox{\boldmath$u$}}_T)+1]$$ (136)

を代入すると、

$$\tilde{\mbox{\boldmath$x$}}_i = \int \mbox{\boldmath$v$} L(... ...}_i-\bar{\mbox{\boldmath$u$}}_T) + \bar{\mbox{\boldmath$v$}}_T$$ (137)

となる。

以上の結果から、線形重回帰分析および数量化１類は、条件付確率の線形近似の意味 で、非線形の重回帰分析および非線形の数量化１類を近似しているとみなすことがで きる。

次に、非線形重回帰分析で得られる最適な非線形写像

$$\mbox{\boldmath$x$} = \int \mbox{\boldmath$v$} p(\mbox{\boldmath$v$}\vert\mbox{\boldmath$u$})d\mbox{\boldmath$v$}$$ (138)

を、 $\mbox{\boldmath$u$}$ の線形写像 $\tilde{\mbox{\boldmath$x$}} = A^T \mbox{\boldmath$u$} + \mbox{\boldmath$b$}$ で最小２乗近 似することを考えよう。この場合、 $\mbox{\boldmath$x$}$ と $\tilde{\mbox{\boldmath$x$}}$ の平均２乗誤差 は、

$$\varepsilon_A^2 = \int \vert\vert\mbox{\boldmath$x$} - \til... ...h$x$}}\vert\vert^2 p(\mbox{\boldmath$u$}) d\mbox{\boldmath$u$}$$ (139)

で与えられる。これを最小とする係数 $A$ および $\mbox{\boldmath$b$}$ は、やはり、

$$A = \Sigma_U^{-1}\Sigma_{UV}$$ (140)

$$\mbox{\boldmath$b$} = \bar{\mbox{\boldmath$v$}}_T - A^T \bar{\mbox{\boldmath$u$}}_T$$

となり、線形重回帰分析によって得られる線形写像と同じものとなる。つまり、線形 重回帰分析によって得られる最適な線形写像は、実は、非線形重回帰分析によって得 られる最適な非線形写像を最小２乗線形近似したものに他ならないといえる。また、 この時達成される $\mbox{\boldmath$x$}$ と $\tilde{\mbox{\boldmath$x$}}$ の平均２乗誤差は、

$$\varepsilon_A^2 = \int \int \mbox{\boldmath$v$}^T \tilde{\m... ...$v$}}_T - \mbox{tr}(\Sigma_{UV}^T \Sigma_U^{-1} \Sigma_{UV})$$ (141)

である。一方、線形重回帰分析により達成される最小２乗誤差 $\varepsilon_L^2$ および非線形重回帰分析によって達成される最小２乗誤差 $\varepsilon_N^2$ は、それぞれ、

$$\varepsilon_L^2 = \int \mbox{\boldmath$v$}^T \mbox{\boldmath$v$} p(\mbox{\boldmath$... ...bar{\mbox{\boldmath$v$}}_T - \mbox{tr}(\Sigma_{UV}^T \Sigma_U^{-1} \Sigma_{UV})$$ (142)

$$\varepsilon_N^2 = \int \mbox{\boldmath$v$}^T \mbox{\boldmath$v$} p(\mbox{\boldmath$... ... \tilde{\mbox{\boldmath$v$}}) d\mbox{\boldmath$v$} d\tilde{\mbox{\boldmath$v$}}$$

であるから、これらの最小２乗誤差の間には、

$$\varepsilon_L^2 = \varepsilon_N^2 + \varepsilon_A^2$$ (143)

という関係が成り立つ。これは、線形重回帰分析で達成される最小２乗誤差が、非線 形重回帰分析で達成される究極の最小２乗誤差と最適な非線形の写像を最小２乗線形 近似した時の２乗誤差とに分解できることを意味している。