next up previous
次へ: 近似としての判別分析および数量化2類 上へ: 線形近似としての線形データ解析手法 戻る: 条件つき確率の線形近似

近似としての重回帰分析および数量化1類

まず、線形重回帰分析および数量化1類がどういう意味で非線形の手法の近似になっ ているかについて考察する。非線形重回帰分析の解の式(2.116)の $p(\mbox{\boldmath$v$}\vert\mbox{\boldmath$u$})$ のかわりに、その最小2乗線形近似 $L(\mbox{\boldmath$v$}\vert\mbox{\boldmath$u$})$ を代 入すると、

\begin{displaymath}
\tilde{\mbox{\boldmath$x$}} = \int \mbox{\boldmath$v$}(L(\m...
...} - \bar{\mbox{\boldmath$u$}}_T) + \bar{\mbox{\boldmath$v$}}_T
\end{displaymath} (135)

となる。これは、まさに、線形の重回帰分析の解と同じである。 すなわち、線形重 回帰分析の最適線形写像は、最適非線形写像にあらわれる条件付確率 $p(\mbox{\boldmath$v$}\vert\mbox{\boldmath$u$})$ をその最小2乗線形近似 $L(\mbox{\boldmath$v$}\vert\mbox{\boldmath$u$})$ で置き換えたも のに等しい。

同様に、非線形の数量化1類の解 (2.34) の $p(\mbox{\boldmath$v$}\vert\omega_i)$ に、その最小2乗線形近似

\begin{displaymath}
L(\mbox{\boldmath$v$}\vert\omega_i) =
p(\mbox{\boldmath$v$}...
...{U}^{-1}(\mbox{\boldmath$u$}_i-\bar{\mbox{\boldmath$u$}}_T)+1]
\end{displaymath} (136)

を代入すると、
\begin{displaymath}
\tilde{\mbox{\boldmath$x$}}_i = \int \mbox{\boldmath$v$} L(...
...}_i-\bar{\mbox{\boldmath$u$}}_T) + \bar{\mbox{\boldmath$v$}}_T
\end{displaymath} (137)

となる。

以上の結果から、線形重回帰分析および数量化1類は、条件付確率の線形近似の意味 で、非線形の重回帰分析および非線形の数量化1類を近似しているとみなすことがで きる。

次に、非線形重回帰分析で得られる最適な非線形写像

\begin{displaymath}
\mbox{\boldmath$x$} = \int \mbox{\boldmath$v$} p(\mbox{\boldmath$v$}\vert\mbox{\boldmath$u$})d\mbox{\boldmath$v$}
\end{displaymath} (138)

を、 $\mbox{\boldmath$u$}$ の線形写像 $\tilde{\mbox{\boldmath$x$}} = A^T \mbox{\boldmath$u$} + \mbox{\boldmath$b$}$ で最小2乗近 似することを考えよう。この場合、 $\mbox{\boldmath$x$}$ $\tilde{\mbox{\boldmath$x$}}$ の平均2乗誤差 は、
\begin{displaymath}
\varepsilon_A^2 = \int \vert\vert\mbox{\boldmath$x$} - \til...
...h$x$}}\vert\vert^2 p(\mbox{\boldmath$u$}) d\mbox{\boldmath$u$}
\end{displaymath} (139)

で与えられる。これを最小とする係数 $A$ および $\mbox{\boldmath$b$}$ は、やはり、
$\displaystyle A$ $\textstyle =$ $\displaystyle \Sigma_U^{-1}\Sigma_{UV}$ (140)
$\displaystyle \mbox{\boldmath$b$}$ $\textstyle =$ $\displaystyle \bar{\mbox{\boldmath$v$}}_T - A^T \bar{\mbox{\boldmath$u$}}_T$  

となり、線形重回帰分析によって得られる線形写像と同じものとなる。つまり、線形 重回帰分析によって得られる最適な線形写像は、実は、非線形重回帰分析によって得 られる最適な非線形写像を最小2乗線形近似したものに他ならないといえる。また、 この時達成される $\mbox{\boldmath$x$}$ $\tilde{\mbox{\boldmath$x$}}$ の平均2乗誤差は、
\begin{displaymath}
\varepsilon_A^2 = \int \int \mbox{\boldmath$v$}^T \tilde{\m...
...$v$}}_T
- \mbox{tr}(\Sigma_{UV}^T \Sigma_U^{-1} \Sigma_{UV})
\end{displaymath} (141)

である。一方、線形重回帰分析により達成される最小2乗誤差 $\varepsilon_L^2$ および非線形重回帰分析によって達成される最小2乗誤差 $\varepsilon_N^2$ は、それぞれ、
$\displaystyle \varepsilon_L^2$ $\textstyle =$ $\displaystyle \int \mbox{\boldmath$v$}^T \mbox{\boldmath$v$} p(\mbox{\boldmath$...
...bar{\mbox{\boldmath$v$}}_T - \mbox{tr}(\Sigma_{UV}^T \Sigma_U^{-1}
\Sigma_{UV})$ (142)
$\displaystyle \varepsilon_N^2$ $\textstyle =$ $\displaystyle \int \mbox{\boldmath$v$}^T \mbox{\boldmath$v$} p(\mbox{\boldmath$...
... \tilde{\mbox{\boldmath$v$}})
d\mbox{\boldmath$v$} d\tilde{\mbox{\boldmath$v$}}$  

であるから、これらの最小2乗誤差の間には、
\begin{displaymath}
\varepsilon_L^2 = \varepsilon_N^2 + \varepsilon_A^2
\end{displaymath} (143)

という関係が成り立つ。これは、線形重回帰分析で達成される最小2乗誤差が、非線 形重回帰分析で達成される究極の最小2乗誤差と最適な非線形の写像を最小2乗線形 近似した時の2乗誤差とに分解できることを意味している。


next up previous
次へ: 近似としての判別分析および数量化2類 上へ: 線形近似としての線形データ解析手法 戻る: 条件つき確率の線形近似
Takio Kurita 平成14年7月3日