隠れにロバストな識別器

顔画像の検出や認識では、サングラスやマスク等で顔の一部分が覆い隠されるこ とがある。このような部分的に隠れを含む画像に対しても誤り無く認識できるこ とが望ましい。上述の隠れ部分を含む画像から元の画像を想起できる自己連想メ モリの機能を基本モジュールとして組み込むことで、部分的に隠れを含む画像に 対しても安定に認識可能な識別器を構成することが狩野である。

上述の3層のパーセプトロンに訓練画像データ集合を学習させると、その中間層 のニューロンは、主成分分析と等価な表現を持つことになる。すなわち、訓練画 像の情報をなるべく保存するような低次元の表現を獲得している。そこで、図 10に示すように、中間層のニューロンの出力を特徴 ベクトルとみなし、その特徴を用いて識別器を構成する。

識別器としては、他クラスの識別問題のための最も簡単なニューラルネットモデ ルのひとつである multinomial logit modelを用いる。ここで、$K$個のクラス $\{C_1,\ldots,C_K\}$を識別する場合を考える。また、中間層には$H$個の線形 ニューロンがあり、教師信号としては、正解のクラス$C_k$に対応する要素 $t_k$ のみが$1$で、それ例外の要素がすべて$0$の2値ベクトル $\mbox{\boldmath {$t$}}=(t_1,\ldots,t_K)^T \in \{0,1\}^K$ を用いるとする。

Multinomial logit modelでは、識別器の$k$番目の素子の出力$p_{jk}$は、対応する結 合加重 $\mbox{\boldmath {$v$}}_k=\left\{v_{k1},\ldots,v_{kH}\right\}$と中間層のニュー ロンの出力ベクトル $\mbox{\boldmath {$y$}}_{j}$との線形結合 $\eta_{jk} = \mbox{\boldmath {$v$}}^T_k\mbox{\boldmath {$y$}}_{j}, \left(k=1,\ldots,K-1\right)$の''softmax'' として、

$$p_{jk} = \frac{\exp\left(\eta_{jk}\right)}{1+\sum^{K-1}_{i=1}\exp\left(\eta_{ji}\right)}$$ (96)

$$p_{jK} = \frac{1}{1+\sum^{K-1}_{i=1}\exp\left(\eta_{ji}\right)}$$ (97)

のように計算される。

今、訓練サンプルを $\left\{(\mbox{\boldmath {$x$}}_j,\mbox{\boldmath {$t$}}_j)\right\}_{j=1}^N$とす ると、この訓練サンプルに対する対数尤度は、

$$l_{2} = \sum^{N}_{j=1}\sum^{K-1}_{k=1}t_{jk}\eta_{jk} - ... ...(1+\sum^{K-1}_{i=1}\exp\left(\eta_{ji}\right)\right) \nonumber$$

となる。

この基準と前述の自己連想メモリの学習のための基準を統合して、全ネットワークの評価基準を

$$l = l_{2} + \lambda l_{1},$$ (98)

のように定義する。 ここで、$\l _{1}$と$l_{2}$との間の影響を調整するパラメー タである。この評価関数を最大化するような結合荷重の更新式は、

$$\Delta v_{kh} = \alpha \sum^{N}_{j=1}\left(t_{jk}-p_{jk}\right)y_{jh}$$

$$\Delta w_{mh} = \alpha \lambda \sum^{N}_{j=1}\left(x_{jm}-z_{jm}\right)y_{jh}$$

$$\Delta u_{hn} = \alpha \sum^{N}_{j=1} \sum^{K-1}_{k=1}\left(t_{jk}-p_{jk}\right)v_{kh} x_{jn}$$

$$+ \alpha \lambda \sum^{N}_{j=1} \sum^{M}_{m=1}\left(x_{jm}-z_{jm}\right)w_{mh} x_{jn}$$ (99)

となる。