重回帰分析と最尤推定

今、学習用データとして説明変数と目的変数に関する $N$ 個の観測値の組 $\{<\mbox{\boldmath$x$}_i,y_i>\vert i=1,\ldots,N\}$ が与えられているとする。この時、２つ の変量間の関係を説明するためのモデルとして

$$y = f(\mbox{\boldmath$x$},\mbox{\boldmath$\theta$}) + \varepsilon$$ (9)

を考えよう。ここで、 $\mbox{\boldmath$\theta$}$ はモデルのパラメータである。重回帰分 析では、学習データに対する平均２乗誤差(Least Mean Squared Error)

$$LMS = \frac{1}{N} \sum_{i=1}^N \varepsilon_i^2 = \frac{1}... ...^N (y_i - f(\mbox{\boldmath$x$}_i,\mbox{\boldmath$\theta$}))^2$$ (10)

を最小とするようなパラメータを推定結果とする。このような２乗誤差を最小 とするパラメータを求める推定方法は、最小２乗法と呼ばれている。 特に、 $f(\mbox{\boldmath$x$},\mbox{\boldmath$\theta$})$ が

$$z = f(\mbox{\boldmath$x$},\mbox{\boldmath$\theta$}) = \mbox{\boldmath$w$}^T \mbox{\boldmath$x$} + w_0$$ (11)

のように線形で表される場合は、線形回帰モデルと呼ばれ、平均２乗誤差 を最小とする最適なパラメータ $\mbox{\boldmath$w$}$ および $w_0$ は、それぞれ、

$$\mbox{\boldmath$w$} = \Sigma_X^{-1} \mbox{\boldmath$\sigma$}_{Xy}$$

$$w_0 = \bar{y} - \mbox{\boldmath$w$}^T\bar{\mbox{\boldmath$x$}}$$ (12)

で与えられる。ここで、$\Sigma_X^{-1}$ および $\mbox{\boldmath$\sigma$}_{Xy}$ は、 それぞれ、 $\mbox{\boldmath$x$}$ の分散共分散行列および $\mbox{\boldmath$x$}$ と $y$ の共分散ベク トルである。

最小２乗法は、誤差の分布を正規分布と仮定した場合の最尤推定と密接な関係 があることが知られている。今、誤差 $\varepsilon$ が平均 $0$で分散が $\sigma$ の正規分布に従うと仮定すると、学習データにモデルをあてはめた 時の誤差の尤度は、

$$L = \prod_{i=1}^N \frac{1}{\sqrt{2\pi\sigma^2}}\exp \{ -\frac{\varepsilon_i^2}{2 \sigma^2} \}$$ (13)

となる。従って、その対数(対数尤度)は、

$$l = - \frac{N}{2} \log(2\pi\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^N \varepsilon_i^2$$ (14)

となる。これを最大とするようなパラメータを求めることは、第２項の平均２ 乗誤差を最小とすることと等価であるので、この場合には、最尤推定と最小２ 乗法は同じものとなる。