単純パーセプトロン

図 2: 単純パーセプトロンの例

パーセプトロンは 1985年に Rosenblatt が提案した学習する識別機械である。 図2 にその例を示す。以下では多層パーセプトロンと区 別するためにこのネットワークを単純パーセプトロンと呼ぶものとする。単純 パーセプトロンでは、入力 $\mbox{\boldmath$x$}=(x_1,\ldots,x_I)^T$ に対する出力 $z$ は

$$z = f(\eta)$$

$$\eta = \sum_{i=1}^I a_i x_i + a_0 = \mbox{\boldmath$a$}^T \tilde{\mbox{\boldmath$a$}}$$ (59)

のように計算される。ここで、$a_i$ は、$i$番目の入力から出力への結合荷 重であり、$a_0$ はバイアスである。これらをまとめて、 $\mbox{\boldmath$a$}=(a_0,a_1,\ldots,a_I)^T$ のように表すものとする。また、入力特徴 ベクトルに定数項を加えたベクトルを $\tilde{\mbox{\boldmath$x$}}=(1,x_1,\ldots,x_I)^T$ と表す。出力ユニットの入出力関 数 $f$ は、Rosenblatt のオリジナルなモデルではしきい関数

$$f(\eta) = \left\{ \begin{array}{ll} 1 & \mbox{if $\eta \geq 0$} \\ 0 & \mbox{otherwise} \end{array} \right.$$ (60)

が用いられた。この他の入出力関数としてはロジスティック関数

$$f(\eta) = \frac{1}{1+\exp(-\eta)}$$ (61)

や線形関数

$$f(\eta) = \eta$$ (62)

がよく使われる。多変量データ解析的用語を用いれば、出力ユニットの入出力 関数が線形関数の単純パーセプトロンは、線形重回帰モデルであり、ロジスティッ ク関数の単純パーセプトロンは、ロジスティック回帰モデルである。つまり、 単純パーセプトロンは、多変量データ解析と密接に関係している。