パーセプトロン

ここまでに、最急降下法の考え方を理解し、最小２乗法を用いてボール投げの 記録を予測する線形モデルを学習するプログラムを作成しました。ここでは、 この解説の本題であるニューラルネットの話題に入ります。その前に、ちょっ とだけニューラルネットに関する研究の歴史的な流れをみておきます。

図 3: 出力関数

1943年に、McCullochとPittsは、$M$個の２値($\pm1$)の入力の組 $<x_1,x_2,\ldots,x_M>$から２値の出力$y$を計算する神経細胞(ニューロン) を閾値論理素子

$$y = U(\sum_{i=1}^M a_i x_i + a_0)$$ (33)

でモデル化しました。ここで、出力関数として用いられている$U(\eta)$は、

$$U(\eta)=\left\{ \begin{array}{rl} 1, &\quad\mbox{if $\et... ...0$} \\ -1,&\quad\mbox{if $\eta \leq 0$} \end{array} \right.$$ (34)

のような閾値関数とします。図3(a)に閾値関数を示しま す。McCullochとPittsは、このようなニューロンをたくさん相互に結合したネッ トワークによって任意の論理関数が表現できることを示しました。また、1949 年には、Hebbが実際の神経回路を調べて、ニューロン間の結合の強さ(結合強 度)はニューロンの入力と出力が共にアクティブな場合に強化されるという Hebbの学習則を提案しました。

図 4: パーセプトロン

このような研究を背景として、1957年に心理学者のRosenblattは、世界初のパ ターン認識のための学習機械のモデルを提案しました。そのモデルは、パーセ プトロンとよばれ、その後の学習法の規範となっています。図 4にパーセプトロンの概念図を示します。パーセプトロン は、閾値論理素子をニューロンのモデルとしていて、網膜に相当する入力層、 そこからランダムに結線された連合層、そして連合層の出力を線形加重和とし て集めて出力を出す反応層の３層からなるニューラルネットワークモデルです。 このネットワークモデルでは、入力層への入力とその入力に対する望みの答え (教師の答え)が与えられると、連合層からの反応層への結合重みが逐次修正さ れます。Rosenblattの学習法は、まず、ネットワークに入力パターンを分類さ せてみて、その結果が教師の答えと違っていたら結合重みを修正するものでし た。入力を完全に識別できるような課題に対しては、この学習法を繰り返すこ とで入力パターンを識別できるようになります。しかし、完全には識別できな いような課題に対しては、いくら学習を繰り返しても解に到達できない可能性 があります。