上述の顔認識・顔検出手法では、顔は正面を向いていると仮定していた。しかし ながら、ロボットとの対話や監視などの多くの実時間での応用では、正面顔だけ でなく向きの異なる顔画像の認識が必要となる。３次元対象の見えは向きに依存 してかなり変化するため、向きに依らない３次元対象の認識は必ずしも容易では 無い。例えば、形の上ではある人の横顔はその人の正面顔よりも他の人の横顔に 似ている。一方、人間の視覚系は、このような向きによって大きく変化する３次 元対象を比較的容易に認識する能力を持っている。その仕組みを模倣することで、 機械による向きに依らない認識が実現できると考えられる。
３次元対象を認識するように訓練されたサルのIT(inferotemporal cotex)野の
ニューロン活動を記録すると、３次元対象の向きに選択的に反応するニューロ
ンが見つかることが報告されている[84]。これらの向きに選択的に
反応するニューロンは、向きの変化に対してかなり系統的な反応を示すことが
確認されている。顔の識別タスクに対しても、同様に、顔の向きに選択的に反
応するニューロンがIT野で見つかっており、それらのニューロンの方向選択性
はかなり広く、かなり広い角度に対して反応することが知られている
[86,34]。Perrett等[86]は、正面、上下左右
の５つの典型的な向きの顔に対する選択性を調べ、
位の範囲で
反応することを示した。
これまでに、こうした対象の向きに対する選択性を示す生体の視覚系を説明する 工学的モデルもいくつか提案されている。例えば、Poggio等[87]は RBF(Radial Basis Functions)ネットワークを用いて、比較的小数の典型的な見 えの補間により、３次元対象の任意の見えを生成できることを示した。また、 Bartlett等[15]は、入力パターンの時間的な関係を捉えることに より、向きに依存しない顔の表現がどのように形成されるかを示すネットワーク モデルを提案した。さらに、Ando等[5]は、 複数の恒等写像を実現す る砂時計型のニューラルネットワーク(autoencoder) を統合したネットワークを 用いて、向きに依存しない顔の表現の学習を試みている。これらの手法は、顔の 向きに依らない表現の自己組織化にはむいているが、顔画像の識別課題では、一 般に学習データには誰の顔であるかのラベルが付いており、認識率を上げるため にはそれらの情報も利用した識別器を構成すべきである。
ここでは、著者等が提案した向きに依存する複数の識別器を統合して向きに依存 しない顔画像の認識を実現する方法[60,61]を紹介す る。図7に、複数の識別器を統合して向きに依存しない顔認識 を実現するためのネットワークの構造を示す。このネットワークでは、gating ネットワークにより、与えられた入力画像の向きに応じて複数の識別器の中から 適切な識別器を選択することで、入力画像の向きに依らない顔画像の認識を実現 する。各識別器には、 multnomial logit model [68]を用いた簡単 な識別器(図8)を採用した。一般化線形モデル(generalized linear model)と呼ばれる統計モデルの一つであるmultinomial logit modelを用 いて、顔の向きに依存した識別器を構成する。Multinomial logit modelは、多 クラスの識別問題のための最も簡単なニューラルネットワークモデルのひとつで ある。また、gating ネットワークには、恒等写像を実現する砂時計型のニュー ラルネットワーク(autoencoder)を用いた(図9)。gating ネットワークの中間層のニューロン間に競合を入れることで、入力画像の顔の向 きに応じた撰択が自己組織的に学習可能となる。
