上述の最急降下法では、学習用のデータ集合全体に対する対数尤度の1次微分 を用いたパラメータを更新したが、各学習パターンごとに1次微分 を用いることも可能である。実際、誤差逆伝搬法では、2乗誤差を最 小とするようなパターンごとの最急降下によるパラメータ推定が行われている。対数 尤度を最大とするようなパラメータの更新式は、