3種類のアヤメから4種類の特徴を計測したFisherのデータ(各クラス50サンプル) に基づきアヤメの種類を識別するニューラルネットを構成する実験を行なった。学習 データとして全サンプルの内の75サンプル(各クラス25サンプル)を用い、残りの75 サンプルをテストデータとした。
Fisherのデータの特徴ベクトルの次元は であるので、識別のためのネットワー
クの入力層のユニット数は4個である。また、出力層のユニット数は 3 個である。
ネットワークの候補としては、中間層のニューロン数が1個から7個のネットワークを 考えた。学習アルゴリズムとして誤差逆伝搬法を用いて、各ネットワークに学習デー タを500回提示して学習した。学習による平均2乗誤差の減少の様子を図 4.6に示す。中間層のニューロン数が1個のネットワークを除いて、学習 データに対して平均2乗誤差のかなり少ないネットワークが構成されていることがわ かる。
隠れ層のユニット数 | 1 | 2 | 3 | 4 | 5 | 6 | 7 |
平均二乗誤差 | 0.0835 | 0.0027 | 0.0032 | 0.0026 | 0.0023 | 0.0023 | 0.0023 |
パラメータ数 | 11 | 19 | 27 | 35 | 43 | 51 | 59 |
AIC | 142.66 | 54.13 | 69.33 | 83.93 | 97.53 | 112.50 | 128.43 |
MDL | 84.08 | 49.08 | 65.95 | 82.52 | 98.59 | 115.34 | 132.58 |
誤識別数 | 3 | 4 | 4 | 4 | 4 | 4 | 4 |
各ネットワークの学習後のパラメータを用いてAICおよび MDLの値を計算した。表 4.1に、各ネットワークの学習データに対する平均2乗誤差、パラメー タ数、AIC、MDL、テストデータに対して誤まって識別されたサンプルの個数を示す。 AICおよび MDLともに、中間層のニューロン数が2個の3層のネットワークで最小となっ ている。従って、これらの基準では、このネットワークが最良のネットワークという ことになる。実際、中間層のユニット数をそれ以上増やしても、学習データに対する 平均2乗誤差は減少するが、誤識別数は減少していない。