Fisher 情報量

最尤推定においては、Fisher 情報行列が重要な役割を演じる。一般に、デー タ $z$ がパラメータ $\theta_1,\ldots,\theta_M$ をもつ密度関数 $f(z,\theta_1,\ldots,\theta_M)$ をもつ分布に従うとき、

$$F_{ij} = - E \left( \frac{\partial^2}{\partial \theta_i \partial \theta_j} \log f(z,\theta_1,\ldots,\theta_M) \right)$$ (205)

を Fisher 情報量と呼び、行列 $F = [ F_{ij} ]$ を Fisher 情報行列という。 Fisher 情報量は不変推定量の分散と密接に関係している。

ここでは、図4.1のニューロン１個のみのネットワークの Fisher 情報量を具体的に計算する。そのために、まず、式 (4.4) の 対数尤度の１次および２次微分を計算すると以下のようになる。

• 1次微分

  
  

  $$\frac{\partial l}{\partial a_i} = \sum_{p=1}^P \delta_p x_{pi}$$ (206)

  
  
  ここで $\delta_p = t_p - z_p$ である。

• 2次微分

  
  

  $$\frac{\partial^2 l}{\partial a_l \partial a_i} = - \sum_{p=1}^P \omega_p x_{pl} x_{pi}$$ (207)

  
  
  ただし、 $\omega_p = z_p (1 - z_p)$ である。これらをまとめて行列表現す ると
  

  $$\nabla l = \sum_{p=1}^P \delta_p \mbox{\boldmath$x$}_p = X^T \mbox{\boldmath$\delta$},$$ (208)

  $$\nabla^2 l = - \sum_{p=1}^P \omega_p \mbox{\boldmath$x$}_p \mbox{\boldmath$x$}_p^T = - X^T W X$$

  
  
  となる。ただし、 $X^T = [\mbox{\boldmath$x$}_1,\ldots,\mbox{\boldmath$x$}_P]$, $W = diag(\omega_1,\ldots,\omega_P)$ および $\mbox{\boldmath$\delta$}=(\delta_1,\ldots,\delta_P)^T$ である。

これらを用いて、パラメータ $\mbox{\boldmath$a$}$ に対する Fisher 情報行列、すなわち、 Hessian 行列の期待値のマイナスは、

$$F = -E(\nabla^2 l) = X^T W X$$ (209)

となる。これは、入力ベクトル $\{\mbox{\boldmath$x$}_p\}$ の $\omega _p$ で重み付けた 相関行列である。そのときの重み $\omega _p$ は、図4.2に示すよう な２次関数で、ニューロンの出力が確定している（ $0$ あるいは $1$ に近い） 場合には小さくなり、出力が不確定な（ $0.5$ に近い）場合には大きくなる。 従って、Fisher 情報行列は、主に、出力が不確定な入力ベクトルの相関行列 であると考えることができる。

図 4.2: 重み $\omega _p$