次へ: 重回帰分析による画像修復
上へ: 回帰分析(最小2乗法)
戻る: 回帰分析(最小2乗法)
今、学習用データとして説明変数と目的変数に関する
個の観測値の組
が与えられているとする。この時、2つ
の変量間の関係を説明するためのモデルとして
![\begin{displaymath}
y = f(\mbox{\boldmath$x$},\mbox{\boldmath$\theta$}) + \varepsilon
\end{displaymath}](img48.png) |
(9) |
を考えよう。ここで、
はモデルのパラメータである。重回帰分
析では、学習データに対する平均2乗誤差(Least Mean Squared Error)
![\begin{displaymath}
LMS = \frac{1}{N} \sum_{i=1}^N \varepsilon_i^2
= \frac{1}...
...^N (y_i - f(\mbox{\boldmath$x$}_i,\mbox{\boldmath$\theta$}))^2
\end{displaymath}](img50.png) |
(10) |
を最小とするようなパラメータを推定結果とする。このような2乗誤差を最小
とするパラメータを求める推定方法は、最小2乗法と呼ばれている。
特に、
が
![\begin{displaymath}
z = f(\mbox{\boldmath$x$},\mbox{\boldmath$\theta$}) = \mbox{\boldmath$w$}^T \mbox{\boldmath$x$} + w_0
\end{displaymath}](img52.png) |
(11) |
のように線形で表される場合は、線形回帰モデルと呼ばれ、平均2乗誤差
を最小とする最適なパラメータ
および
は、それぞれ、
で与えられる。ここで、
および
は、
それぞれ、
の分散共分散行列および
と
の共分散ベク
トルである。
最小2乗法は、誤差の分布を正規分布と仮定した場合の最尤推定と密接な関係
があることが知られている。今、誤差
が平均
で分散が
の正規分布に従うと仮定すると、学習データにモデルをあてはめた
時の誤差の尤度は、
![\begin{displaymath}
L = \prod_{i=1}^N \frac{1}{\sqrt{2\pi\sigma^2}}\exp
\{ -\frac{\varepsilon_i^2}{2 \sigma^2} \}
\end{displaymath}](img64.png) |
(13) |
となる。従って、その対数(対数尤度)は、
![\begin{displaymath}
l = - \frac{N}{2} \log(2\pi\sigma^2) - \frac{1}{2\sigma^2}
\sum_{i=1}^N \varepsilon_i^2
\end{displaymath}](img65.png) |
(14) |
となる。これを最大とするようなパラメータを求めることは、第2項の平均2
乗誤差を最小とすることと等価であるので、この場合には、最尤推定と最小2
乗法は同じものとなる。
Subsections
平成14年7月19日