next up previous
次へ: Fisher のスコアリングアルゴリズム 上へ: ニューロン1個のみからなるネットワークの場合 戻る: Kullbak-Leiber情報量との関係

Fisher 情報量

最尤推定においては、Fisher 情報行列が重要な役割を演じる。一般に、デー タ $z$ がパラメータ $\theta_1,\ldots,\theta_M$ をもつ密度関数 $f(z,\theta_1,\ldots,\theta_M)$ をもつ分布に従うとき、

\begin{displaymath}
F_{ij} = - E \left( \frac{\partial^2}{\partial \theta_i \partial \theta_j}
\log f(z,\theta_1,\ldots,\theta_M) \right)
\end{displaymath} (205)

を Fisher 情報量と呼び、行列 $F = [ F_{ij} ]$ を Fisher 情報行列という。 Fisher 情報量は不変推定量の分散と密接に関係している。

ここでは、図4.1のニューロン1個のみのネットワークの Fisher 情報量を具体的に計算する。そのために、まず、式 (4.4) の 対数尤度の1次および2次微分を計算すると以下のようになる。

これらを用いて、パラメータ $\mbox{\boldmath$a$}$ に対する Fisher 情報行列、すなわち、 Hessian 行列の期待値のマイナスは、

\begin{displaymath}
F = -E(\nabla^2 l) = X^T W X
\end{displaymath} (209)

となる。これは、入力ベクトル $\{\mbox{\boldmath$x$}_p\}$$\omega _p$ で重み付けた 相関行列である。そのときの重み $\omega _p$ は、図4.2に示すよう な2次関数で、ニューロンの出力が確定している( $0$ あるいは $1$ に近い) 場合には小さくなり、出力が不確定な( $0.5$ に近い)場合には大きくなる。 従って、Fisher 情報行列は、主に、出力が不確定な入力ベクトルの相関行列 であると考えることができる。

図 4.2: 重み $\omega _p$
\begin{figure}\begin{center}
\psfig{file=omega.eps,width=9cm}\end{center}\end{figure}



Takio Kurita 平成14年7月3日