next up previous
次へ: 階層型ネットワークの場合 上へ: ニューロン1個のみからなるネットワークの場合 戻る: Fisher のスコアリングアルゴリズム

初期パラメータの推定

上記のアルゴリズムは、繰り返しアルゴリズムであるためパラメータの初期値が必要 である。これは、例えば、以下のような簡単な方法で推定することが可能である。

今、結合重みがすべて $0$ 、つまり、 $\mbox{\boldmath$a$} = \mbox{\boldmath$0$}$ とする。このとき、 $W = \frac{1}{4} I$, $\mbox{\boldmath$\eta$} = \mbox{\boldmath$0$}$ および $\mbox{\boldmath$\delta$} = \mbox{\boldmath$t$} - \frac{1}{2} \mbox{\boldmath$1$}$ である。従って、これらを (4.16) の計算式に代入すると、初期パラメータの推定値 $\mbox{\boldmath$a$}_0$ は、

\begin{displaymath}
\mbox{\boldmath$a$}_0 = 4 (X^TX)^{-1} X^T (\mbox{\boldmath$t$} - \frac{1}{2} \mbox{\boldmath$1$})
\end{displaymath} (215)

となる。これは、初期パラメータを入力から教師信号 $\mbox{\boldmath$t$}-\frac{1}{2}\mbox{\boldmath$1$}$ への線形回帰により求めることに対応している。



Takio Kurita 平成14年7月3日