next up previous
次へ: Fisher のスコアリングアルゴリズム 上へ: パラメータ推定アルゴリズム 戻る: 最急降下法

パターンごとの最急降下

上述の最急降下法では、学習用のデータ集合全体に対する対数尤度の1次微分 $\nabla l$ を用いたパラメータを更新したが、各学習パターンごとに1次微分 $\nabla l_p$ を用いることも可能である。実際、誤差逆伝搬法では、2乗誤差を最 小とするようなパターンごとの最急降下によるパラメータ推定が行われている。対数 尤度を最大とするようなパラメータの更新式は、

\begin{displaymath}
\mbox{\boldmath$\theta$}^* = \mbox{\boldmath$\theta$} - \alpha \nabla l_p
\end{displaymath} (234)

となる。以下、この方法を SD 法と呼ぶことにする。



Takio Kurita 平成14年7月3日