XOR 問題

まず、XOR （排他的論理和）問題 [149] の学習を試みた。ネットワークとして は、中間層が１層で、入力層・中間層・出力層のニューロン数が、それぞれ、２、２、 １個のものを用いた。また、初期パラメータは、区間 $[-0.5,0.5]$ の一様乱数によ り設定し、全ての学習法に対して同じものを用いた。

２乗誤差最小化基準を用いた誤差逆伝搬学習法（以下、BP 法と呼ぶ）と SD 法では、 ４種類の入出力パターンをランダムな順番で提示した。また、BP 法および SD 法の 学習率は、$\alpha = 1/4$ とした。以下の実験では、４種類の入出力パターンを一 巡することをサイクルと呼ぶものとし、何サイクルで学習が収束するかについて調べ た。

図 4.4: XOR 問題に対するパラメータの学習

図4.4 (a) および (b) に、パラメータ学習の様子を示す。ここで、縦軸 は平均２乗誤差、横軸はサイクルである。図4.4 (a) から、対数尤度を最 大とする SD 法は、２乗誤差を最小とする BP 法よりも学習が速く収束している様子 がわかる。この結果は、Holt の結果[44]とも一致している。また、Fisher 情報量を利用する FS 法および UFS 法では、３０回程度の繰り返しで収束している。 これは、２０００回近くの繰り返しが必要であった BP 法と比べると、かなり少ない 繰り返し回数である。