Fisher 情報量

ニューロン１個のみのネットワークの場合と同様に、式（4.23）のパラメー タに関する１次および２次微分を計算すると以下のようになる。

• １次微分
  

  $$\frac{\partial l}{\partial a_{ji}} = \sum_{p=1}^P \sigma_{pj} \nu_{pj} x_{pi}$$ (222)

  $$\frac{\partial l}{\partial b_{kj}} = \sum_{p=1}^P \delta_{pk} y_{pj}$$ (223)

  
  
  ここで、 $\sigma_{pj} = \sum_{k=1}^K \delta_{pk} b_{kj}$, $\nu_{pj} = y_{pj}(1-y_{pj})$, および, $\delta{pk} = t_{pk} - z_{pk}$ であ る。これらをまとめて、 $\nabla l = \sum_{p=1}^P \nabla l_p$ と書くことにする。

• ２次微分
  

  $$\frac{\partial^2 l}{\partial a_{ml} \partial a_{ji}} = \left\{ \begin{array}{l} \sum_{p=1}^P x_{pl} \nu_{pj} (1-2 y_{pj}... ...mj} \nu_{pj} x_{pi} \\ \mbox{\ \ \ \ \ \ \ \ \ \ otherwise} \end{array}\right.$$ (224)

  $$\frac{\partial^2 l}{\partial a_{ml} \partial b_{kj}} = \left\{ \begin{array}{l} \sum_{p=1}^P x_{pl} \nu_{pj} \delta_{pk}... ...} \omega_{pk} y_{pj} \\ \mbox{\ \ \ \ \ \ \ \ \ \ othewise} \end{array}\right.$$ (225)

  $$\frac{\partial^2 l}{\partial b_{nm} \partial a_{ji}} = - \sum_{p=1}^P y_{pm} \omega_{pn} b_{nj} \nu_{pj} x_{pi}$$ (226)

  $$\frac{\partial^2 l}{\partial b_{nm} \partial b_{kj}} = \left\{ \begin{array}{l} - \sum_{p=1}^P y_{pm} \omega_{pk} y_{pj}... ...\ \ \ \ \ if $n=k$} \\ \\ 0 \mbox{\ \ \ \ \ \ \ otherwise} \end{array}\right.$$ (227)

  
  
  ただし、 $\delta_p = \sum_{k=1}^K \delta_{pk}$, $\chi_{pmj} = \sum_{k=1}^K b_{km} \omega_{pk} b_{kj}$, および、 $\omega_{pk} = z_{pk} \left( 1-z_{pk} \right)$である。

ここで、対数尤度の微分に関する関係

$$0 = \mbox{E}(\frac{\partial l_p}{\partial z_{pk}}) = \frac{\mbox{E}(t_{pk}) - z_{pk}}{z_{pk}(1-z_{pk})}$$ (228)

を用いると、Fisher の情報行列の要素は、

$$F_{a_{ml}a_{ji}} = \sum_{p=1}^P x_{pl} \nu_{pm} \chi_{pmj} \nu_{pj} x_{pi}$$ (229)

$$F_{a_{ml}b_{kj}} = \sum_{p=1}^P x_{pl} \nu_{pm} b_{km} \omega_{pk} y_{pj}$$ (230)

$$F_{b_{nm}a_{ji}} = \sum_{p=1}^P y_{pm} \omega_{pn} b_{nj} \nu_{pj} x_{pi}$$ (231)

$$F_{b_{nm}b_{kj}} = \left\{ \begin{array}{ll} \sum_{p=1}^P y_{pm} \omega_{pk} y_{pj} & \mbox{if $n=k$} \\ 0 & \mbox{otherwise} \end{array}\right.$$ (232)

となる。すなわち、パラメータ $a_{ij}$ に関係する部分は、入力 $\{\mbox{\boldmath$x$}_p\}$ の 重み付き相関となり、パラメータ $b_{kj}$ に関係する部分は、中間層の出力 $\{\mbox{\boldmath$y$}_p\}$ の重み付き相関となり、パラメータ $a_{ij}$ と $b_{kj}$ に関係 する部分は、 $\{\mbox{\boldmath$x$}_p\}$ と $\{\mbox{\boldmath$y$}_p\}$ の重み付き相関となる。