next up previous
次へ: 組み合わせ最適化問題への応用 上へ: 階層型ニューラルネットワークの学習 戻る: 話者認識

本章のまとめ

本章では、階層型ニューラルネットの学習アルゴリズムと汎化性の問題について統計 的観点から考察した。まず、パラメータ(結合荷重)の学習の問題を最尤推定の枠組 から考察し、中間層が1層のネットワークの Fisher 情報行列を具体的に計算した。 また、Fisher 情報行列を利用したパラメータ推定アルゴリズムをいくつか示した。 特に、ニューロンごとの Fisher 情報量を用いるアルゴリズムは、階層型ニューラル ネットの学習が線形重回帰の繰り返しにより実現できることを示すものであり、階層 型ニューラルネットと多変量データ解析との類似性の一端を示すものである。

次に、赤池の AIC や Rissanen の MDLP などの情報量基準を用いて汎化能力の高い ネットワークを構成するための方法を示した。

これらの結果は、実際問題にニューラルネットを適用する際のネットワークの学習の ための具体的な手法を与えるとともに、ニューラルネットをより深く理解するために も役立つものと考えられる。


Takio Kurita 平成14年7月3日