Fisher のスコアリングアルゴリズム

ニューロン１個のみからなるネットワークの場合と同様に、パラメータの更新式は、

$$\mbox{\boldmath$\theta$}^* = \mbox{\boldmath$\theta$} + \delta \mbox{\boldmath$\theta$}$$ (235)

におけるパラメータの修正ベクトル $\delta \mbox{\boldmath$\theta$}$ を、線形方程式

$$F \delta \mbox{\boldmath$\theta$} = \nabla l$$ (236)

を解くことにより求めることにすると Fisher スコアリングアルゴリズムとなる。以 下、このアルゴリズムを FS 法と呼ぶことにする。ただし、Fisher 情報行列 $F$ が 正則でない場合の動作を保証するために、$F$ そのもののかわりに $F + \beta I$ を用いることにする。ここで、$I$ は単位行列で、$\beta$ は、正則化のための定数 である。