カーネル判別分析

カーネル判別分析では、画像 $\mbox{\boldmath$x$}$ に対するスコア(固有空間での表現)を $N$個の訓練サンプルに対応するカーネルベースの線形結合として、

$$\mbox{\boldmath$y$} = \sum_{i=1}^N \mbox{\boldmath$a$}_i K(\mbox{\boldmath$w$}_i, \mbox{\boldmath$x$}) ,$$ (65)

により構成する。この時、$K$ はカーネル関数であり、 $\mbox{\boldmath$a$}_i$ は、$i$番目 の訓練サンプルに対応するカーネルベースに対する係数ベクトルである。

今、 $\mbox{\boldmath$k$}(\mbox{\boldmath$x$}) = (K(\mbox{\boldmath$x$}_1,\mbox{\boldmath$x$}),\ldots,K(\mbox{\boldmath$x$}_N,\mbox{\boldmath$x$}))^T$ を $N$ 個の訓練サンプルに対応するカーネルベースをならべたベクトルとする と、上式(65)は

$$\mbox{\boldmath$y$} = A^T \mbox{\boldmath$k$}(\mbox{\boldmath$x$})$$ (66)

のように書ける。ここで、 $A^T=[\mbox{\boldmath$a$}_1,\ldots,\mbox{\boldmath$a$}_N]$ は、結合係数ベ クトルをならべた行列である。

線形の場合と同様に、判別基準

$$J = \mbox{tr}(\hat{\Sigma}_W^{-1} \hat{\Sigma}_B)$$ (67)

を考え、これを最大とする係数行列を求めることを考える。ここで、 $\hat{\Sigma}_W$ および $\hat{\Sigma}_B$ は、それぞれ、スコアの空間での 平均グループ内共分散行列と平均グループ間共分散行列である。この判別基準を 最大とする係数行列 $A$ は、固有値問題

$$\Sigma^{(K)}_B A = \Sigma^{(K)}_W A \Lambda \ \ \ (A^T \Sigma^{(K)}_W A = I),$$ (68)

の解として求まる。ただし、行列 $\Sigma^{(K)}_W$ および $\Sigma^{(K)}_B$ は、カーネルベースベクトルにより定義された平均クラス内分散共分散行列およ び平均クラス間分散共分散行列である。

以上の定式化では、$N$個の訓練サンプルから$N \times L$次元の行列の要素を 推定しなければならないので、必ずしも安定な推定結果が得られるとは考えにく い。これを安定化させるための最も簡単な方法として、平均クラス内分散共分散 行列に

$$\tilde{\Sigma}^{(K)}_W = \Sigma^{(K)}_W + \alpha I$$ (69)

のように、対角要素に小さな値を加える方法(正則化法)が知られている。この方 法で、数値計算が安定化される。また、これは、各カーネルベースに独立なノイ ズを加えることと等価な効果を持つ。

Liu等は、顔認識実検によりカーネル判別分析と線形判別分分析およびカーネル 主成分分析とを比較し、カーネル判別分析の優位性を示した[65]。ま た、Yang等は、カーネル判別分析、カーネル主成分分析、独立性分分析、サポー トベクターマシンを比較し、カーネル法の優位性を示している [111]。栗田等は、判別基準を顔と顔以外の対象の識別のために変 更することで、カーネル判別分析を顔検出に応用した[62]。