上述の FS 法では、Fisher 情報量を完全な形で用いているが、一般に、Fisher 情報 行列は の大きさの行列であり、大きなネットワークに対し てこれを計算するにはかなりの計算時間が必要である。また、式(4.38)は 個の未知変数をもつ線形方程式であり、これを解くにもかなりの時間が必 要である。従って、実用的なアルゴリズムのためには、なんらかの方法でこれらの計 算をさぼる必要がある。ここでは、ニューロンごとの Fisher 情報量、つまり、 Fisher 情報行列のブロック対角成分のみを用いて残りの部分は無視することにより 計算量を削減することを考える。
入力層から中間層のニューロン への結合荷重に関係する Fisher 情報行列の成
分は、
(237) |
(238) | |||
(239) |
(240) |
(241) | |||
(242) |
同様に、中間層から出力層のニューロン への結合荷重に関係する Fisher 情報
行列の成分は、
(243) |
(244) | |||
(245) |
(246) |
(247) | |||
(248) |
結合荷重の推定値 および は、これらの正規方程式を繰り返し解くこと により求められる。つまり、このアルゴリズムでは、各ニューロンがそのニューロン に関係する結合荷重を重み付き最小2乗法を繰り返すことにより推定しているとみ なすことができる。以下、このアルゴリズムを UFS 法と呼ぶことにする。
次に、これらの重み付き最小2乗法を解くための再帰計算式を導出する。これにより ここで提案したアルゴリズムと通常の誤差逆伝搬法との関係がより明確になる。
学習用のデータ集合
に対する結合荷重
の推定値
が得られているとき、新たに学習データ
を追加したデータ集合に対して最適な結合荷重の推定値
を計算するための再帰計算式は、
(250) |
同様に、
に対する再帰計算式は、
これらの計算式とクロスエントロピー基準を評価基準とする誤差逆伝搬法の結合荷重 の更新式(SD法)を比べると、提案したアルゴリズムでは学習率 のかわり に重み付き相関行列の逆行列の推定値を用いていることがわかる。