正規分布の場合

次に、クラス $C_k$ に属する対象を計測して特徴ベクトル $\mbox{\boldmath$x$}$ が観測 される確率密度分布が $p(\mbox{\boldmath$x$}\vert C_k)$ が、平均 $\mbox{\boldmath$\mu$}_k$、共分散行列 $\Sigma_k$ の多変量正規分布

$$p(\mbox{\boldmath$x$}\vert C_k)={\frac{1}{(\sqrt{2\pi})^M \... ...a_k^{-1}(\mbox{\boldmath$x$}-\mbox{\boldmath$\mu$}_j) \Bigr\}$$ (10)

に従う場合について、具体的に、最適な識別関数を求めてみよう。ただし、記 号 $\mbox{\boldmath$x$}^T$、 $\vert\Sigma_k\vert$、 および $\Sigma_k^{-1}$ は、それぞれ、 $\mbox{\boldmath$x$}$ の転置、行列 $\Sigma_k$ の行列式、および行列 $\Sigma_k$ の逆 行列である。

ベイズ識別方式では、事後確率を最大とするクラスに決定する識別方式が最適 であるが、事後確率の大小の比較のためには、対数を取って考えても結果は変 わらない。また、 $p(\mbox{\boldmath$x$})$ の項は、各クラスで共通であるため、それを無 視すると、事後確率の対数は実質的に $\mbox{\boldmath$x$}$ の2次関数

$$g_k(\mbox{\boldmath$x$})=\log P(C_k) -\frac{1}{2}\{(\mbox{... ...boldmath$x$}-\mbox{\boldmath$\mu$}_k)+\log\vert\Sigma_k\vert\}$$ (11)

を考えれば良いことになり、この値が最大のクラスに識別すれば良いことにな る。このような関数 $g_k(\mbox{\boldmath$x$})$ を2次の識別関数と呼ぶ。

さらに、クラスが２つで各クラスの共分散行列が等しい場合( $\Sigma_1 = \Sigma_2 = \Sigma$)には、2次の項も相殺して、

$$\phi(\mbox{\boldmath$x$})=g_1(\mbox{\boldmath$x$})-g_2(\mbo... ...igma^{-1}\mbox{\boldmath$\mu$}_2) + \log \frac{P(C_1)}{P(C_2)}$$ (12)

のように $\mbox{\boldmath$x$}$ に関して1次の関数となる。これは、線形識別関数と呼ば れている。線形識別関数は、形の簡単さもあり、実際の応用で広く利用されて いる。

また、各クラスの共分散行列が等しく、しかも等方的( $\Sigma_k = \sigma^2 I$)な場合には、事後確率の対数は、実質的に

$$g_k(\mbox{\boldmath$x$}) = \log P(C_k) - \frac{\vert\vert\m... ...oldmath$x$} - \mbox{\boldmath$\mu$}_k\vert\vert^2}{2 \sigma^2}$$ (13)

のようになる。これは、先見確率 $P(C_k)$ が等しい場合には、特徴ベクトル $\mbox{\boldmath$x$}$ と各クラスの平均ベクトル $\mbox{\boldmath$\mu$}_k$ との距離が最も近いクラ スに決定する識別方式となる。つまり、各クラスの平均ベクトル $\mbox{\boldmath$\mu$}_k$ をテンプレートと考えると、特徴ベクトル $\mbox{\boldmath$x$}$ と各クラ スのテンプレートとのマッチングにより識別する方式となる。