next up previous
次へ: 単純パーセプトロンの学習 上へ: 識別のための線形手法と汎化性 戻る: 識別のための線形手法と汎化性


線形しきい素子を用いた識別器

サポートベクターマシンは、線形しきい素子を用いた識別器であるが、 Rosenblatt が提案したパーセプトロンも、同様に、線形しきい素子を用いて、 訓練サンプルから学習する識別機械である。以下では多層パーセプトロンと区別 するためにこれを単純パーセプトロンと呼ぶことにする。サポートベクターマシ ンと同様に、単純パーセプトロンでは、入力 $\mbox{\boldmath$x$}=(x_1,\ldots,x_M)^T$ に 対する出力 $y$

$\displaystyle y$ $\textstyle =$ $\displaystyle f(\eta)$  
$\displaystyle \eta$ $\textstyle =$ $\displaystyle \mbox{\boldmath$w$}^T \mbox{\boldmath$x$} - h = \tilde{\mbox{\boldmath$w$}}^T \tilde{\mbox{\boldmath$x$}}$ (30)

のように計算する。ここで、$w_i$ は、$i$番目の入力から出力への結合荷重で あり、$h$ はバイアスである。以下では、簡単のために、これらをまとめて、 $\tilde{\mbox{\boldmath$w$}}=(h,w_1,\ldots,w_M)^T$ のように表すものとする。また、入力 特徴ベクトルに定数項を加えたベクトルを $\tilde{\mbox{\boldmath$x$}}=(-1,x_1,\ldots,x_M)^T$ と表す。出力ユニットの入出力関数 $f$ は、Rosenblatt のオリジナルなモデルではしきい関数
\begin{displaymath}
f(\eta) = \mbox{sign}(\eta) = \left\{ \begin{array}{ll}
1 ...
... $\eta \geq 0$} \\
0 & \mbox{otherwise}
\end{array} \right.
\end{displaymath} (31)

が用いられた。この他の入出力関数としては線形関数
\begin{displaymath}
f(\eta) = \eta
\end{displaymath} (32)

やロジスティック関数
\begin{displaymath}
f(\eta) = \frac{\exp(\eta)}{1+\exp(\eta)}
\end{displaymath} (33)

がよく使われる。多変量データ解析の用語を用いれば、出力ユニットの入出力 関数が線形関数の単純パーセプトロンは、線形重回帰モデルであり、ロジスティッ ク関数の単純パーセプトロンは、ロジスティック回帰モデルである。

図 5: 出力ユニットの入出力関数
\begin{figure}\begin{center}
\psfig{file=thresh_func.ps,width=50mm}\\
(a) し..
...ile=logistic.ps,width=50mm}\\
(c) ロジスティック関数
\end{center}\end{figure}



平成14年7月18日