ニューラルネットワークは人間の脳を真似た情報処理を実現しようとするもの で、最近のハードウェア技術の飛躍的な発展に支えられて、理論と応用の両面 からの研究が活発に行われている。特に、Rumelhart, Hinton, Williams らに よって階層型ニューラルネットワークに対する誤差逆伝搬学習法（Error Back Propagation Learning Method）[148,149]が提案されて以来、パター ン認識をはじめとする多くの分野で応用が試みられ、その有効性が認められつ つある。それに伴い学習アルゴリズムの改良・拡張に関する研究も数多く行わ れてきている[9,42,74]。
本章では、階層型ニューラルネットの学習アルゴリズムと汎化性の問題につい て、統計的観点から考察する。これらの問題は、ニューラルネットの研究にお いて、理論的にも実際的にも最も関心の高い課題である。
まず、パラメータの学習の問題を最尤推定の枠組から考察する。最初に、ニュー ロン１個のみからなる最も簡単なネットワークのパラメータの最尤推定につい て考察する。最尤推定では、Fisher 情報行列が重要な役割を演じるので、こ の場合の Fisher 情報行列を具体的に計算する。それはそのニューロンの入力 ベクトルの重み付き相関行列となる。次に、このFisher 情報行列を利用した パラメータの推定法を示し、結果的にそれが重み付き最小２乗法の繰り返しと みなせることを示す。次に、ニューロン１個のみからなるネットワークの結果 を一般の階層型ニューラルネットの場合に拡張し、ニューロン毎に重み付き最 小２乗法を繰り返す学習アルゴリズムを提案する[95,96]。 これは、階層型ニューラルネットの学習が線形重回帰の繰り返しにより実現で きることを示すものであり、階層型ニューラルネットと多変量データ解析との 類似性の一端を示唆するものである。
次に、汎化性の問題について考察する。一般にネットワークの自由度を大きく すると学習データに対してはいくらでも近似の精度を上げることができるが、 そうしたネットワークが必ずしも未知データに対して良い近似を与えるとは限 らない。従って、ニューラルネットを実際問題に適用する場合には汎化能力の 高いネットワークを構成する必要がある。ここでは、汎化能力の高いネットワー クを構成するために情報量基準を用いる方法を提案する [86,92]。