多層パーセプトロン

図 5: 多層パーセプトロン

多層パーセプトロンは、パーセプトロンを層状に繋ぎ合わせたネットワークで す。1980年代に誤差逆伝搬法と呼ばれる学習アルゴリズムが提案されたことに より注目されるようになりました。それ以来、パターン認識だけでなくさまざ まな課題に適用され、その有効性が確かめらています。エアコンなどの家電製 品にも「ニューロ」とか「ニューロ・ファジー」とかという宣伝文句が使われ たのを記憶している人もいると思います。

例えば、$I$個の入力信号の組 $\mbox{\boldmath$x$}=(x_1,x_2,\ldots,x_I)^T$ に対して、 $K$個の出力信号の組 $\mbox{\boldmath$z$}=(z_1,\ldots,z_K)^T$ を出力する中間層が１層 の多層パーセプトロンは、

$$\zeta_{j} = \sum_{i=1}^I a_{ij} x_{i} + a_{0j}$$

$$y_{j} = S(\zeta_{j})$$

$$z_{k} = \sum_{j=1}^J b_{jk} y_{j} + b_{0k}$$ (45)

のような式で表すことができます。ここで、$y_{j}$は、$j$番目の中間層の ニューロンの出力です。また、$a_{ij}$ は、$i$番目の入力から中間層の$j$ 番目のニューロンへの結合荷重で、$b_{jk}$ は、中間層の$j$番目のニューロ ンから出力層の$k$番目のニューロンへの結合荷重です。図5にそ の概念図を示します。

このような多層パーセプトロンの能力、つまり、どのような関数が表現可能か に関して非常に強力な結果が得られています。それは、中間層が１層の多層パー セプトロンによって、任意の連続関数が近似可能であるというものです。もち ろん、任意の連続関数を近似するためには中間層のユニットの数を非常に多く する必要があるかもしれません。この結果は、多層パーセプトロンを入出力関 係を学習するために使うには、理論的には、中間層が1層のみのネットワーク で十分であることを示しています。