向きに依存した識別器

各識別器には、図8に示すようなmultnomiallogit model [68]を用いる。

ここでは、 $\{C_1,\ldots,C_K\}$の$K$人の顔の識別問題を考えよう。

学習における教 師信号は、正解のクラス$C_j$に対応する要素$t_j$のみが$1$で、それ以外の 要素が全て$0$の２値ベクトル $\mbox{\boldmath$t$}=(t_1, \ldots ,t_K)~T \in \{0,1\}^K$ のように表されるとする。

Multinomial logit modelでは、識別器の$k$番目の出力は、入力ベクトル $\mbox{\boldmath$x$}$とパラメータベクトル $\mbox{\boldmath$a$}$との線形結合 $\eta_k = \mbox{\boldmath$a$}_k^T \mbox{\boldmath$x$}$の''softmax''として、

$$p_k = \frac{\exp(\eta_h)}{\displaystyle{1+\sum_{j=1}^{K-1}\exp(\eta_j)}} \hspace{5mm} k = 1, \ldots, K-1,$$

$$p_K = \frac{1}{\displaystyle{1+\sum_{j=1}^{K-1}\exp(\eta_j)}},$$ (74)

のように計算される。このとき、パラメータ $A=\{\mbox{\boldmath$a$}_1,\ldots,\mbox{\boldmath$a$}_{K-1}\}$ は、入力層から出力層への結合荷重と みなすことができる。

このニューラルネットワークの確率モデルは、

$$P(\mbox{\boldmath$t$}\vert\mbox{\boldmath$x$};A) = \prod_{k=1}^K p_k^{t_k} .$$ (75)

となる。両辺の対数を取ると、multinomial logit modelの対数尤度

$$l = \log P(\mbox{\boldmath$t$}\vert\mbox{\boldmath$x$};A)$$ (76)

$$= \sum_{k=1}^{K-1} t_k \eta_{k} - \log\left\{1 + \sum_{m=1}^{K-1} \exp(\eta_m)\right\}.$$ (77)

となる。これは、ネットワークの出力と教師信号とのcross-entropyとみなす ことができる。

最急降下法に基づく学習アルゴリズムは、対数尤度の勾配から求めることがで き、

$$\Delta \mbox{\boldmath$a$}_k = \alpha \frac{\partial l}{\pa... ...x{\boldmath$a$}_k} = \alpha (t_k - p_k) \mbox{\boldmath$x$},$$ (78)

となる。ここで、 $\alpha$ は学習係数である。