gatingネットワーク

図7に示すような複数の識別器を統合して向きに依存しない顔 認識を実現するためのネットワークでは、各識別器は入力画像が誰の顔であるか の結果を推定し、、それらの推定値を、gatingネットワークの出力に応じて、ど の識別器の結果を重要視するかを反映させた形で統合してネットワーク全体の推 定結果とする。このネットワークが有効に働くためには、gatingネットワークが 入力画像の顔の向きに応じて正しく反応するように学習される必要がある。ここ では、図9のような恒等写像を実現する砂時計型のニュー ラルネットワーク(autoencoder)を用いる。中間層のニューロン間に競合を入れる ことで向きに撰択的に反応するような自己組織化が生じる。

今、 $\mbox{\boldmath$x$}=(x_1,\ldots,x_N)^T \in R^N$, $\mbox{\boldmath$g$}=(g_1, \ldots ,g_H)^T \in R^H$, and $\mbox{\boldmath$z$}=(z_1, \ldots ,z_N)^T \in R^{N}$ を、それぞれ、入力特徴ベク トル、中間層のニューロンの出力、出力層のニューロンの出力とする。 この時、中間層の$h$番目のニューロンの出力$g_{h}$は、他のニューロンとの ``softmax''により、

$$g_h = \frac{\exp(\gamma_h)}{\displaystyle{1+\sum_{j=1}^{H-1}\exp(\gamma_j)}} \hspace{5mm} h = 1, \ldots, H-1,$$

$$g_H = \frac{1}{\displaystyle{1+\sum_{j=1}^{H-1}\exp(\gamma_j)}}$$ (72)

のように計算される。 ここで、 $\gamma_h = \mbox{\boldmath$v$}_h^T\mbox{\boldmath$x$}$である。ここで、 $\mbox{\boldmath$v$}_h$ は、入力層 から中間層の$h$番目のニューロンへの結合荷重である。同様に、出力層の$n$番目のニュー ロンの出力$z_{n}$は、 $z_n = \mbox{\boldmath$w$}_n^T \mbox{\boldmath$g$}$である。ここで、 $\mbox{\boldmath$w$}_n$ は、中間層から出力層の$n$番目のニューロンへの結合荷重である。

このネットワークの学習は、入力 $\mbox{\boldmath$x$}$ と出力 $\mbox{\boldmath$z$}$との二乗誤差

$$E = \frac{1}{2}\sum_{n=1}^{N}(x_n - z_n)^2$$ (73)

が最小となるようなパラメータが求められる。