最小２乗線形判別写像による認識

線形判別分析は、同じクラス内の $\mbox{\boldmath$x$}$ は互いに近く、異なるクラス間の $\mbox{\boldmath$x$}$ は互いに遠くという要請を同時に満たすような線形写像を構成するが、最 小２乗線形判別[121,128]を用いると、クラス間の分離をあらかじめ固定 した上で、クラス内の分散を小さく押え込む写像が構成できる。その結果、固有値問 題を解くことなく、単に逆行列を計算するだけですみ、追加学習や逐次学習の実現も 容易となる。

線形判別分析の場合と同様に、特徴ベクトルの $K$ クラスのサンプル集合が与 えられているとする。また、各クラスの代表ベクトルを $\mbox{\boldmath$z$}_k \ \ (k=1,\ldots,K)$ とする。クラス代表ベクトルとしては、例えば、$K$ 次元空間の基 本正規直交底 $\mbox{\boldmath$e$}_k$ に取ればよい。つまり、クラス $C_k$ の代表 ベクトルを、第 $k$ 番目の要素のみ $1$ で、残りの要素は全て $0$ の $K$ 次元の ベクトルとする。

最小２乗線形判別では、新特徴 $\mbox{\boldmath$y$} = A^T \mbox{\boldmath$x$} + \mbox{\boldmath$b$}$ と $\mbox{\boldmath$z$}_k$ との平均２乗誤差

$$\varepsilon^2 = \sum_{k=1}^K \omega_k \mbox{E}_{C_k} \Vert \mbox{\boldmath$y$} - \mbox{\boldmath$z$}_k \Vert^2$$ (370)

が最も小さくなるように係数行列および定数項を決定する。 最適な係数行列および定数は、一意に定まり、

$$A = \Sigma_X^{-1} \Sigma_{XZ}$$

$$\mbox{\boldmath$b$} = \bar{\mbox{\boldmath$z$}}_T - A^T \bar{\mbox{\boldmath$x$}}_T$$ (371)

で与えられる。ここで、$\Sigma_X$ および $\Sigma_{XZ}$ は、 それぞれ、次式で定義される $\mbox{\boldmath$x$}$ の分散共分散行列および $\mbox{\boldmath$x$}$ と $\mbox{\boldmath$z$}_k$ との共分散行列である。

$$\Sigma_X = \sum_{k=1}^K \omega_k \mbox{E}_{C_k} (\mbox{\boldmath$x$} - \bar{\mbox{\boldmath$x$}}_T)(\mbox{\boldmath$x$} - \bar{\mbox{\boldmath$x$}}_T)^T$$

$$\Sigma_{XZ} = \sum_{k=1}^K \omega_k \mbox{E}_{C_k} (\mbox{\boldmath$x$} - \bar{\mbox{\boldmath$x$}}_T)(\mbox{\boldmath$z$}_k - \bar{\mbox{\boldmath$z$}}_T)^T$$

$$\bar{\mbox{\boldmath$z$}}_T = \sum_{k=1}^K \omega_k \mbox{\boldmath$z$}_k$$ (372)

クラス代表ベクトルを基本正規直交底に取ると、最小２乗線形判別は Bayse 決定則 の線形近似になっている[128]。つまり、 $\mbox{\boldmath$y$}$ の各要素は、 $\mbox{\boldmath$x$}$ のもとで対応するクラスである確率（Bayes の事後確率）の線形近似となる。 従って、この場合には、未知画像の識別は、例えば、 $\mbox{\boldmath$y$}$ の最大の要素に対応 するクラスに決定すればよい。