尤度

図4.3のようなネットワークでは、入力信号 $\mbox{\boldmath$x$} = (x_{1},\ldots,x_{I})^T$ に対して、次式に従って出力信号 $\mbox{\boldmath$z$} = (z_{1},\ldots,z_{K})^T$ が計算される。

$$\zeta_{j} = \sum_{i=1}^I a_{ji} x_{i}$$ (216)

$$y_{j} = f(\zeta_{j}) = \frac{exp(\zeta_{j})}{1 + exp(\zeta_{j})}$$ (217)

$$\eta_{k} = \sum_{j=1}^J b_{kj} y_{j}$$ (218)

$$z_{k} = f(\eta_{k}) = \frac{exp(\eta_{k})}{1 + exp(\eta_{k})}$$ (219)

ただし、 $a_{ji}$ は、第 $i$ 番目の入力から中間層の第 $j$ 番目のニューロンへの 結合荷重であり、$b_{kj}$ は、中間層の第 $j$ 番目のニューロンから出力層の第 $k$ 番目のニューロンへの結合荷重である。

図 4.3: 階層型ネットワークの例

学習のためのデータの集合を、ニューロン１個のみのネットワークの場合と同様に、 $\{<\mbox{\boldmath$x$}_p,\mbox{\boldmath$t$}_p>\vert p=1,\ldots,P\}$ とする。また、教師信号は対応するクラ スの要素は $1$ でそれ以外の要素は $0$ の $K$ 次元の２値ベクトルで与えられる ものとする。

今、出力の各要素の条件付き独立性を仮定すると、学習データに対するネットワーク の尤度は、

$$L = \prod_{p=1}^P \prod_{k=1}^K z_{pk}^{t_{pk}} (1 - z_{pk})^{(1-t_{pk})}$$ (220)

で与えられる。従って、対数尤度は、

$$l = \sum_{p=1}^P \sum_{k=1}^K \{ t_{pk} \log z_{pk} + (1-t_{pk}) \log (1-z_{pk}) \}$$ (221)

となる。これの符号をかえるとクロスエントロピーと呼ばれている基準となる [144]。