next up previous
次へ: 重回帰分析による画像修復 上へ: 回帰分析(最小2乗法) 戻る: 回帰分析(最小2乗法)

重回帰分析と最尤推定

今、学習用データとして説明変数と目的変数に関する $N$ 個の観測値の組 $\{<\mbox{\boldmath$x$}_i,y_i>\vert i=1,\ldots,N\}$ が与えられているとする。この時、2つ の変量間の関係を説明するためのモデルとして

\begin{displaymath}
y = f(\mbox{\boldmath$x$},\mbox{\boldmath$\theta$}) + \varepsilon
\end{displaymath} (9)

を考えよう。ここで、 $\mbox{\boldmath$\theta$}$ はモデルのパラメータである。重回帰分 析では、学習データに対する平均2乗誤差(Least Mean Squared Error)
\begin{displaymath}
LMS = \frac{1}{N} \sum_{i=1}^N \varepsilon_i^2
= \frac{1}...
...^N (y_i - f(\mbox{\boldmath$x$}_i,\mbox{\boldmath$\theta$}))^2
\end{displaymath} (10)

を最小とするようなパラメータを推定結果とする。このような2乗誤差を最小 とするパラメータを求める推定方法は、最小2乗法と呼ばれている。 特に、 $f(\mbox{\boldmath$x$},\mbox{\boldmath$\theta$})$
\begin{displaymath}
z = f(\mbox{\boldmath$x$},\mbox{\boldmath$\theta$}) = \mbox{\boldmath$w$}^T \mbox{\boldmath$x$} + w_0
\end{displaymath} (11)

のように線形で表される場合は、線形回帰モデルと呼ばれ、平均2乗誤差 を最小とする最適なパラメータ $\mbox{\boldmath$w$}$ および $w_0$ は、それぞれ、
$\displaystyle \mbox{\boldmath$w$}$ $\textstyle =$ $\displaystyle \Sigma_X^{-1} \mbox{\boldmath$\sigma$}_{Xy}$  
$\displaystyle w_0$ $\textstyle =$ $\displaystyle \bar{y} - \mbox{\boldmath$w$}^T\bar{\mbox{\boldmath$x$}}$ (12)

で与えられる。ここで、$\Sigma_X^{-1}$ および $\mbox{\boldmath$\sigma$}_{Xy}$ は、 それぞれ、 $\mbox{\boldmath$x$}$ の分散共分散行列および $\mbox{\boldmath$x$}$$y$ の共分散ベク トルである。

最小2乗法は、誤差の分布を正規分布と仮定した場合の最尤推定と密接な関係 があることが知られている。今、誤差 $\varepsilon$ が平均 $0$で分散が $\sigma$ の正規分布に従うと仮定すると、学習データにモデルをあてはめた 時の誤差の尤度は、

\begin{displaymath}
L = \prod_{i=1}^N \frac{1}{\sqrt{2\pi\sigma^2}}\exp
\{ -\frac{\varepsilon_i^2}{2 \sigma^2} \}
\end{displaymath} (13)

となる。従って、その対数(対数尤度)は、
\begin{displaymath}
l = - \frac{N}{2} \log(2\pi\sigma^2) - \frac{1}{2\sigma^2}
\sum_{i=1}^N \varepsilon_i^2
\end{displaymath} (14)

となる。これを最大とするようなパラメータを求めることは、第2項の平均2 乗誤差を最小とすることと等価であるので、この場合には、最尤推定と最小2 乗法は同じものとなる。



Subsections

平成14年7月19日