最尤法

最尤法では、学習データから導かれる尤度(likelihood)を最大とするようなパ ラメータを探索する。求めたい確率密度関数が $P$ 個のパラメータ $\mbox{\boldmath$\theta$} = (\theta_1,\ldots,\theta_P)$ を用いて $p(\mbox{\boldmath$x$}; \mbox{\boldmath$\theta$})$ のように表されているとする。$N$ 個の学習用データの集合 $X = \{\mbox{\boldmath$x$}_1,\ldots,\mbox{\boldmath$x$}_N\}$ が与えられた時、これらのデータが確 率分布 $p(\mbox{\boldmath$x$}; \mbox{\boldmath$\theta$})$ の独立なサンプルである尤もらしさ(尤度) は、

$$L(\mbox{\boldmath$\theta$}) = \prod_{i=1}^N p(\mbox{\boldmath$x$}_i; \mbox{\boldmath$\theta$})$$ (14)

で定義される。

最尤法では、この尤度を最大とするようなパラメータ $\mbox{\boldmath$\theta$}$ を求め る。実際には、尤度の対数(対数尤度)をとって、

$$l(\mbox{\boldmath$\theta$}) = \sum_{i=1}^N \log p(\mbox{\boldmath$x$}_i; \mbox{\boldmath$\theta$})$$ (15)

を最大とするパラメータを求めることが多い。

一般には、最適なパラメータ(最尤解)は、数値計算法を用いて求められるが、 多変量正規分布モデルの場合には、最尤解を解析的に求めることができ、

$$\hat{\mbox{\boldmath$\mu$}} = \frac{1}{N} \sum_{i=1}^N \mbox{\boldmath$x$}_i$$ (16)

$$\hat{\Sigma} = \frac{1}{N} \sum_{i=1}^N (\mbox{\boldmath$x$}_i - \hat{\mbox{\boldmath$\mu$}}) (\mbox{\boldmath$x$}_i - \hat{\mbox{\boldmath$\mu$}})^T$$ (17)

となる。これは、平均ベクトル $\mbox{\boldmath$\mu$}$ の最尤推定 $\hat{\mbox{\boldmath$\mu$}}$ は、 サンプル平均ベクトルとなり、共分散行列 $\Sigma$ の最尤推定 $\hat{\Sigma}$ は、ベクトルの積 $(\mbox{\boldmath$x$}_i - \hat{\mbox{\boldmath$\mu$}}) (\mbox{\boldmath$x$}_i - \hat{\mbox{\boldmath$\mu$}})^T$ のサンプル平均となることを表しており、直観とも非常 に良く合う結果である。