next up previous
次へ: Kullbak-Leiber情報量との関係 上へ: ニューロン1個のみからなるネットワークの場合 戻る: ニューロン1個のみからなるネットワークの場合

尤度

図 4.1: ニューロン1個のみのネットワークの例
\begin{figure}\begin{center}
\psfig{file=images/fig-4.1.eps,width=80mm}\end{center}\end{figure}

4.1にニューロン1個のみからなるネットワークの例を示す。 ニューロンは、入力信号 $\mbox{\boldmath$x$} = (x_{1},\ldots,x_{I})^T$ を受け取り、 次式により入力和 $\eta$ と 出力値 $z$ を計算するものとする。

$\displaystyle \eta$ $\textstyle =$ $\displaystyle \sum_{i=1}^{I} a_i x_{i}$ (199)
$\displaystyle z$ $\textstyle =$ $\displaystyle f(\eta) = \frac{exp(\eta)}{1 + exp(\eta)}$ (200)

ここで $a_i$ は、第 $i$ 番目の入力からの結合荷重である。また、しきい値 については、常に $1$ を出力する仮想入力との結合と考え、結合荷重に含め て扱うものとする。シグモイド関数の性質から、ニューロンの出力値は、明ら かに $0 \leq z_p \leq 1$ の範囲の値となる。

今、学習のためのデータ集合を $\{<\mbox{\boldmath$x$}_p,t_p>\vert p=1,\ldots,P\}$ とする。 ここで、教師信号 $t_p$ は、$0$$1$ の2値で与えられるものとする。

ネットワークに入力 $\mbox{\boldmath$x$}$ を与えたときのニューロンの出力 $z$ を、入 力 $\mbox{\boldmath$x$}$ のもとで教師信号 $t$$1$ である確率の推定値と考えると、 学習データに対するネットワークの尤度は、

\begin{displaymath}
L = \prod_{p=1}^P z_p ^{t_p} (1 - z_p)^{(1 - t_p)}
\end{displaymath} (201)

で与えられる。従って、対数尤度は、
\begin{displaymath}
l = \sum_{p=1}^P \{t_p \ln z_p + (1 - t_p) \log (1 - z_p) \}
\end{displaymath} (202)

となる。これを最大とするパラメータがネットワークの最尤推定値である。



Takio Kurita 平成14年7月3日