尤度

図 4.1: ニューロン１個のみのネットワークの例

図4.1にニューロン１個のみからなるネットワークの例を示す。 ニューロンは、入力信号 $\mbox{\boldmath$x$} = (x_{1},\ldots,x_{I})^T$ を受け取り、 次式により入力和 $\eta$ と 出力値 $z$ を計算するものとする。

$$\eta = \sum_{i=1}^{I} a_i x_{i}$$ (199)

$$z = f(\eta) = \frac{exp(\eta)}{1 + exp(\eta)}$$ (200)

ここで $a_i$ は、第 $i$ 番目の入力からの結合荷重である。また、しきい値 については、常に $1$ を出力する仮想入力との結合と考え、結合荷重に含め て扱うものとする。シグモイド関数の性質から、ニューロンの出力値は、明ら かに $0 \leq z_p \leq 1$ の範囲の値となる。

今、学習のためのデータ集合を $\{<\mbox{\boldmath$x$}_p,t_p>\vert p=1,\ldots,P\}$ とする。 ここで、教師信号 $t_p$ は、$0$ か $1$ の２値で与えられるものとする。

ネットワークに入力 $\mbox{\boldmath$x$}$ を与えたときのニューロンの出力 $z$ を、入 力 $\mbox{\boldmath$x$}$ のもとで教師信号 $t$ が $1$ である確率の推定値と考えると、 学習データに対するネットワークの尤度は、

$$L = \prod_{p=1}^P z_p ^{t_p} (1 - z_p)^{(1 - t_p)}$$ (201)

で与えられる。従って、対数尤度は、

$$l = \sum_{p=1}^P \{t_p \ln z_p + (1 - t_p) \log (1 - z_p) \}$$ (202)

となる。これを最大とするパラメータがネットワークの最尤推定値である。