next up previous
次へ: パターン識別 上へ: パラメータの学習実験 戻る: パラメータの学習実験

XOR 問題

まず、XOR (排他的論理和)問題 [149] の学習を試みた。ネットワークとして は、中間層が1層で、入力層・中間層・出力層のニューロン数が、それぞれ、2、2、 1個のものを用いた。また、初期パラメータは、区間 $[-0.5,0.5]$ の一様乱数によ り設定し、全ての学習法に対して同じものを用いた。

2乗誤差最小化基準を用いた誤差逆伝搬学習法(以下、BP 法と呼ぶ)と SD 法では、 4種類の入出力パターンをランダムな順番で提示した。また、BP 法および SD 法の 学習率は、$\alpha = 1/4$ とした。以下の実験では、4種類の入出力パターンを一 巡することをサイクルと呼ぶものとし、何サイクルで学習が収束するかについて調べ た。

図 4.4: XOR 問題に対するパラメータの学習
\begin{figure}\begin{center}
\psfig{file=bp.xor.eps,width=9cm}\\
(a) \\
\psfig{file=fs.xor.eps,width=9cm}\\
(b)
\end{center}\end{figure}

4.4 (a) および (b) に、パラメータ学習の様子を示す。ここで、縦軸 は平均2乗誤差、横軸はサイクルである。図4.4 (a) から、対数尤度を最 大とする SD 法は、2乗誤差を最小とする BP 法よりも学習が速く収束している様子 がわかる。この結果は、Holt の結果[44]とも一致している。また、Fisher 情報量を利用する FS 法および UFS 法では、30回程度の繰り返しで収束している。 これは、2000回近くの繰り返しが必要であった BP 法と比べると、かなり少ない 繰り返し回数である。



Takio Kurita 平成14年7月3日