核関数に基づく方法

核関数に基づく方法では、領域 $R$ の体積 $V$ を固定して、データから $K$ を決定する。今、領域 $R$ として、点 $\mbox{\boldmath$x$}$ を中心とする辺の長さが $h$ の超立方体(hyper cube)を考えよう。この時、領域 $R$ の体積は、

$$V = h^M$$ (29)

となる。原点を中心とする辺の長さが $1$ の超立方体は、核関数

$$H(\mbox{\boldmath$u$}) = \left\{ \begin{array}{lll} 1 &... ...j=1,\ldots,M \\ 0 & \mbox{otherwise} & \end{array} \right.$$ (30)

を用いて表すことができる。従って、 $H(\frac{(\mbox{\boldmath$x$}-\mbox{\boldmath$x$}_i)}{h})$ は データ点 $\mbox{\boldmath$x$}_i$ が $\mbox{\boldmath$x$}$ を中心とする一辺 $h$ の超立方体の内側 にある時にのみ $1$ となり、それ以外の場合は $0$ となる。このような核関 数 $H(\mbox{\boldmath$u$})$ は、Parzen の窓関数(Parzen window)と呼ばれている。この 核関数を用いると、$N$ 個のデータのうち領域 $R$ 内に入るデータの個数 $K$ は、

$$K = \sum_{i=1}^N H\left(\frac{(\mbox{\boldmath$x$}-\mbox{\boldmath$x$}_i)}{h}\right)$$ (31)

のように表せる。求めたい確率密度分布 $p(\mbox{\boldmath$x$})$ は、式 (29)および式(31)を式(28)に代入す ることにより、

$$\tilde{p}(\mbox{\boldmath$x$}) = \frac{1}{N} \sum_{i=1}^N \... ...t(\frac{(\mbox{\boldmath$x$}-\mbox{\boldmath$x$}_i)}{h}\right)$$ (32)

により推定できる。ただし、Parzen の窓関数を用いた推定法では推定された 密度分布は滑らかでは無い。これを滑らかにするためには、核関数として滑ら かなものを利用する必要がある。滑らかな核関数として、一般に、多変量正規 分布に基づく核関数が良く用いられる。この場合には、求めたい確率密度分布 $\tilde{p}(\mbox{\boldmath$x$})$ は、

$$\tilde{p}(\mbox{\boldmath$x$}) = \frac{1}{N} \sum_{i=1}^N \... ...\boldmath$x$}-\mbox{\boldmath$x$}_i\vert\vert^2}{2h^2}\right\}$$ (33)

のように推定される。

このような核関数に基づく方法では、領域の大きさを $h$ 変更することによ り推定される密度分布の滑らかさが制御できる。もし推定される密度分布が滑 らかさを大きくしすぎると、バイアスが大きくなり良い推定結果が得られなく なる。一方、滑らかさが十分で無い場合には、密度分布が個々の学習データに 強く依存するようになり、推定結果の分散が大きくなってしまう。従って、良 い推定結果を得るためには、滑らかさのパラメータを適切な値に決めることが 重要となる。

学習データに対する尤度は、モデルの良さを測る基準であるが、滑らかさの値 が小さいほど尤度の値が大きくなってしまうので、滑らかさのパラメータを決 めるための基準としては適当ではない。つまり、滑らかさを制御するためには 尤度以外の評価基準が必要となる。滑らかさのパラメータを決定する目的は、 未知の真の確率密度分布 $p(\mbox{\boldmath$x$})$ に出来るだけ近い確率密度のモデルを $\tilde{p}(\mbox{\boldmath$x$})$ を求めることである。そのためには、二つの確率密度分 布間の距離尺度が必要となるが、一般には、Kullback-Leibler の距離尺度

$$L = - \int p(\mbox{\boldmath$x$}) \log \frac{\tilde{p}(\mbox{\boldmath$x$})}{p(\mbox{\boldmath$x$})} d\mbox{\boldmath$x$}$$ (34)

を用いることが多い。これは、真の分布がわからないため実際には計算でき ないが、これを近似的に計算することにより、滑らかさのパラメータを決定す る方法が考えられている。