現在のビジョンシステムの能力は、人間の視覚と比べると柔軟性・頑健性・適応 性などの点でまだまだ劣っている。人間の視覚は、現在のビジョンシステムとは かなり異なった仕組みに基づいて素晴らしい能力を発揮している。このような人 間の視覚系で行われている特徴抽出法を模倣すると、実環境下での顔画像認 識の精度が向上すると期待される。
網膜は、眼底にはりついている透明な神経組織であり、外界の視覚情報を受けと り、局所的な情報処理の結果を神経パルス列に符合化して視覚中枢に送り込む働 きをしている。網膜からの情報は、中継ぎである外側膝状体(lateral geniculate nucleus)を経て後頭部にある視覚野へ伝えられる。Fieldは、風景や 顔などの人工物を含まない自然画像の局所的な自己相関を調べ、そのパワースペ クトルが空間周波数の2乗に反比例することを示した[27]。Atik等は、 神経節細胞の出力のパワースペクトルは、低周波域では、平坦（コンスタント） になることを示した[12]。これは、元の空間で考えると、自己相関を 空間的に無相関化していることに対応し、入力情報から空間的な冗長性を取り除 いている(whitening)と解釈できる。逆に、高周波域では、whiteningによりノイ ズが増幅されることを防ぐために高周波成分を抑制するような働きがある。
外側膝状体からの情報は、6層構造をした大脳皮質の視覚第一次野(V1)の4C層へ 伝えられる。V1のニューロンは、受容野により規定される方向を持った直線状の コントラストに対して強く反応する。このような方向選択性を持ったニューロン は単純細胞と呼ばれている。これに対し、光刺激の位置が方位に垂直方向に対象 ずれても反応の強さが変化しない複雑型細胞と呼ばれるニューロンも存在する。 Olshausen と Fieldは、いくつかの基底ベクトルの線形結合により入力画像をな るべく近似し、しかもその結合係数がなるべくスパースになるような基準で基底 ベクトルを求めると、V1の単純型細胞の特性と似たものが得られることを示した [74]。一方、Bell と Sejnowskiは、独立成分分析(ICA)を用いて Olshausen と Fieldと同様な結果が得られることを示した[16]。
以上のような結果から、少なくとも、網膜や第一次視覚野などの初期視覚では、 入ってきた情報からなるべく多くの情報を取り込み、しかも取り込んだ情報に 含まれる冗長性を取り除くような情報処理を実現するための自己組織化が行な われていると解釈できる。これは、入力情報を取り込むという機能を実現する ための最も自然な動作原理であると考えられる。
著者等は、網膜のガングリオン細胞の受容野特性に類似したコントラストフィル タ[12,75]と第一次視覚野の単純型細胞の受容野特性に類似 したGaborフィルタ[20]を用いた顔検出・認識手法を提案した [40,41,58,59,42]。