RBFネットワーク

図 4: RBFネットワークの例

最後に、Radial Basis Function (RBF) ネットワークについて簡単に紹介して おく。Radial Basis Function (RBF) ネットワークは図4に示す ように、中間層の基底関数の出力を線形結合することによってネットワークの 出力を計算するようなネットワークである[33]。中間層の基底関 数としては、普通、

$$y_j=\exp\left[-\frac{(\mbox{\boldmath$x$}-\mbox{\boldmath$a... ...box{\boldmath$x$}-\mbox{\boldmath$a$}_j)}{2\sigma^2_j}\right]$$ (106)

のようなガウス関数が使われる。ここで、$y_j$ は中間層の $j$ 番目のユニッ トの出力である。また、 $\mbox{\boldmath$a$}_j$ は $j$ 番目のユニットのパラメータベク トル（ユニット $j$ の中心）であり、$\sigma^2_j$ は $j$ 番目のユニット の正規化パラメータである。従って、中間層の基底関数は入力がその中心に近 い場合にのみ大きな出力を出す。出力層の $k$ 番目のユニットの出力 $z_k$ は

$$z_k = \mbox{\boldmath$b$}_k^T\mbox{\boldmath$y$}$$ (107)

のように中間層の出力の線形結合により計算される。ここで、 $\mbox{\boldmath$b$}_k$ は 中間層から出力層の $k$ 番目のユニットへの結合荷重である。

RBFネットワークは、多層パーセプトロンと同様に、中間層のユニット数が多 ければ任意の連続関数を近似する能力を持つ。また、中間層の入出力関数がシ グモイド関数である多層パーセプトロンでは中間層の出力が入力空間の無限に 大きな領域で大きな値を持つが、RBFネットワークでは入力空間の局所的な領 域でのみ大きな値を持つ。なお、RBFネットワークは、3.2.2 節の核関数に基づく確率密度関数の推定方法と密接に関連している。