最急降下法

最急降下法は最も簡単な最適化法であり、目的関数の１次微分に関する情報のみを用 いる。更新前のパラメータの推定値を $\mbox{\boldmath$\theta$} = (a_{11},\ldots,a_{JI},b_{11},\ldots,b_{KJ})^T$ とすると、最急降下法によるパラメータの更新式は、対数尤度の１次微分 $\nabla l$ を用いて、

$$\mbox{\boldmath$\theta$}^* = \mbox{\boldmath$\theta$} - \alpha \nabla l$$ (233)

で与えられる。ここで、 $\mbox{\boldmath$\theta$}^*$ は更新後のパラメータの推定値である。ま た、 $\alpha$ は、学習率と呼ばれるパラメータであり、降下量を制御するために用 いられる。