混合分布モデル(Mixture Model)

確率密度分布 $p(\mbox{\boldmath$x$})$ が、$O$ 個の確率密度分布 $\{p(\mbox{\boldmath$x$}\vert j); j = 1,\ldots,O\}$ の重み付き線形結合

$$p(\mbox{\boldmath$x$}) = \sum_{j=1}^{O} \omega_j p(\mbox{\boldmath$x$}\vert j)$$ (40)

によってモデル化できるとする。このような分布は、混合分布(mixture distribution)と呼ばれている。また、重み係数 $\omega_j$ は、混合パラメー タ(mixinig parameter)と呼ばれており、条件

$$\sum_{j=1}^O \omega_j = 1, \hspace*{5mm} 0 \leq \omega_j \leq 1$$ (41)

を満たすものとする。同様に、各確率密度分布 $p(\mbox{\boldmath$x$}\vert j)$ は、

$$\int p(\mbox{\boldmath$x$}\vert j) d\mbox{\boldmath$x$} = 1$$ (42)

を満たすものとする。

以下では、確率密度分布として、平均 $\mbox{\boldmath$\mu$}_j$、共分散行列 $\Sigma_j = \sigma_j^2 I$ の正規分布

$$p(\mbox{\boldmath$x$}\vert j) = \frac{1}{(2\pi \sigma_j^2)^... ...$} - \mbox{\boldmath$\mu$}_j\vert\vert}{2 \sigma_j^2} \right\}$$ (43)

の場合を例にパラメータの推定法について説明する。