ベイズ決定理論は、期待損失最小の意味で最適な識別方式を与えるが、そのた めには、事前に各クラスと特徴ベクトルとの間の確率分布構造が完全にわかっ ていなければならない。しかし、実際の応用では、背後の確率的構造があらか じめ完全にわかっていることは稀で、それらをデータから推定する必要があり、 推定結果を利用してベイズ決定方式に基づく識別器を設計することになる。
確率密度分布の推定には、大きくわけて3つの方法がある[1]。 第1の方法は、比較的少数のパラメータをもつパラメトリックモデル (parametric models)を用いて確率密度分布を表現し、そのモデルをデータに 当てはめ、データに尤もよく合うパラメータを推定する方法である。この方法 は、比較的簡単で、最もよく利用される方法であるが、モデルが真の分布を表 現しきれない場合には問題がある。第2の方法は、特定の関数型を仮定しない で、データに依存して分布の形を決めるノンパラメトリックモデル (non-parametric models)を用いる方法である。この方法は、逆に、パラメー タの数がデータとともに増大し、扱い難くなってしまうおそれがある。第3の 方法は、これらの手法の中間的なもので、複雑な分布を表現するためにパラメー タの数を系統的に増やせるようにすることで、パラメトリックモデルよりも一 般的な関数型を表現するセミパラメトリック(semi-parametric)な手法である。 その代表的なモデルとしては、混合分布モデル(mixture distribution models)がある。また、階層型ニューラルネットワークもセミパラメトリック モデルの一種と考えることができる。
以下、それぞれについて、その代表的な方法について解説するが、ここで指摘 しておきたいのは、有限のデータから確率密度分布を推定する問題はそれほど 簡単では無いということである。特に、高次元の空間での有限のデータからの 推定はかなり難しい。