条件つき確率の線形近似

非線形のデータ解析手法では、二つの集合間の確率的な関係に基づいて、 それぞれの集合の要素に対する適切な表現が決められる。 そこで本質的な働きをしているのは条件付き確率 $p(\mbox{\boldmath$u$}\vert\mbox{\boldmath$v$})$ あるいは $p(\mbox{\boldmath$v$}\vert\mbox{\boldmath$u$})$ であり、また、 交差係数 $s(\mbox{\boldmath$u$}\vert\tilde{\mbox{\boldmath$u$}})$ あるいは $s(\mbox{\boldmath$v$}\vert\tilde{\mbox{\boldmath$v$}})$ である。 このことから推測されるように、線形手法と非線形手法との対応を見る ためには、条件つき確率の線形近似式が重要な役割を果たしていると考えられる [128,129]。

今、 $\mbox{\boldmath$v$}$ の値を固定して、平均２乗誤差

$$\varepsilon^2 = \int (L(\mbox{\boldmath$v$}\vert\mbox{\bold... ...\boldmath$u$}))^2 p(\mbox{\boldmath$u$}) d\mbox{\boldmath$u$}$$ (132)

を最小にするような $\mbox{\boldmath$u$}$ の一次式 $L(\mbox{\boldmath$v$}\vert\mbox{\boldmath$u$})$ を求めると、

$$L(\mbox{\boldmath$v$}\vert\mbox{\boldmath$u$}) = p(\mbox{\b... ...U}^{-1} (\mbox{\boldmath$u$} - \bar{\mbox{\boldmath$u$}}) + 1)$$ (133)

となる。ここで、 $\bar{\mbox{\boldmath$u$}}(\mbox{\boldmath$v$})$ は、 $\mbox{\boldmath$u$}$ の条件つき平均値 $\int \mbox{\boldmath$u$} p(\mbox{\boldmath$u$}\vert\mbox{\boldmath$v$}) d\mbox{\boldmath$u$}$ である。 この $L(\mbox{\boldmath$v$}\vert\mbox{\boldmath$u$})$ は、最小２乗誤差の意味で最適な条件付き確率 $p(\mbox{\boldmath$v$}\vert\mbox{\boldmath$u$})$ の線形近似であると考えられる。 また、条件付き確率と同様な関係

$$\int L(\mbox{\boldmath$v$}\vert\mbox{\boldmath$u$}) d\mbox{\boldmath$v$} = 1$$ (134)

$$\int L(\mbox{\boldmath$v$}\vert\mbox{\boldmath$u$}) p(\mbox{\boldmath$u$}) d\mbox{\boldmath$u$} = p(\mbox{\boldmath$v$})$$

$$\int L(\mbox{\boldmath$v$}\vert\mbox{\boldmath$u$}) p(\mbox{\boldmath$u$}) d\mbox{\boldmath$v$} = p(\mbox{\boldmath$u$})$$

が成り立つことも示せる。