線形しきい素子を用いた識別器

サポートベクターマシンは、線形しきい素子を用いた識別器であるが、 Rosenblatt が提案したパーセプトロンも、同様に、線形しきい素子を用いて、 訓練サンプルから学習する識別機械である。以下では多層パーセプトロンと区別 するためにこれを単純パーセプトロンと呼ぶことにする。サポートベクターマシ ンと同様に、単純パーセプトロンでは、入力 $\mbox{\boldmath$x$}=(x_1,\ldots,x_M)^T$ に 対する出力 $y$ を

$$y = f(\eta)$$

$$\eta = \mbox{\boldmath$w$}^T \mbox{\boldmath$x$} - h = \tilde{\mbox{\boldmath$w$}}^T \tilde{\mbox{\boldmath$x$}}$$ (30)

のように計算する。ここで、$w_i$ は、$i$番目の入力から出力への結合荷重で あり、$h$ はバイアスである。以下では、簡単のために、これらをまとめて、 $\tilde{\mbox{\boldmath$w$}}=(h,w_1,\ldots,w_M)^T$ のように表すものとする。また、入力 特徴ベクトルに定数項を加えたベクトルを $\tilde{\mbox{\boldmath$x$}}=(-1,x_1,\ldots,x_M)^T$ と表す。出力ユニットの入出力関数 $f$ は、Rosenblatt のオリジナルなモデルではしきい関数

$$f(\eta) = \mbox{sign}(\eta) = \left\{ \begin{array}{ll} 1 ... ... $\eta \geq 0$} \\ 0 & \mbox{otherwise} \end{array} \right.$$ (31)

が用いられた。この他の入出力関数としては線形関数

$$f(\eta) = \eta$$ (32)

やロジスティック関数

$$f(\eta) = \frac{\exp(\eta)}{1+\exp(\eta)}$$ (33)

がよく使われる。多変量データ解析の用語を用いれば、出力ユニットの入出力 関数が線形関数の単純パーセプトロンは、線形重回帰モデルであり、ロジスティッ ク関数の単純パーセプトロンは、ロジスティック回帰モデルである。

図 5: 出力ユニットの入出力関数