一般に、ネットワークが小さすぎると、その表現能力は低くなるので、課題を 十分に学習させことが出来なくなり、明らかに、未知データに対しても有効に 働くような汎化性を確保することは難しくなる。一方、4.1.3 節で述べたように、多層パーセプトロンは理論的には中間層のユニット数を多 くすると任意の関数を近似できる能力を持つので、原理的には中間層のユニッ ト数を多くすると学習データに対して平均２乗誤差のほとんどないネットワー クを構成すること可能であるが、中間層のユニット数を多くすることによって 学習データに対していくら近似を良くしても、必ずしもそのネットワークが未 知データに対しても良い近似を与えるとは限らない。
実際問題に多層パーセプトロンを応用する場合には学習データに対してだけで なく未知のデータに対しても有効に働くような汎化能力の高いネットワークを 構成することが非常に重要であるので、多層パーセプトロンの汎化能力に関す る研究もさかんに行われている。以下では、代表的な方法について紹介する。