正規混合分布に対する EM アルゴリズム

各対象の確率分布が正規分布としてあらわされる正規混合分布

$$p(x;\theta) = \sum_{i=1}^k \xi_i \phi(x; \mu_i, \sigma_i^2),$$ (84)

の場合には、さらに $\psi_i$ も陽に解けて、 EM アルゴリズムの各繰り返し ステップは以下のように書ける。ここで $N$ 個のサンプル $x_1,\ldots,x_N$ があったとしよう。

1. 各サンプル $x_j$ に対する、観測できない変数 $z$ の条件付き確率
   

   $$w_{zj} ^{(t)} \equiv p(z\mid x_j; \theta^{(t)})$$

   $$= {\xi_z^{(t)}\phi(x_j;\mu_z^{(t)},{\sigma_z^2}^{(t)})\over \displaystyle\sum_{i=1}^k\xi_i^{(t)}\phi(x_j;\mu_i^{(t)},{\sigma_i^2}^{(t)})},$$ (85)

   
   
   を計算する。
2. 重み確率を次の式で更新する
   

   $$\xi_i^{(t+1)}= {1\over N} \sum_{j=1}^N w_{ij}^{(t)}$$ (86)

   
   

3. 各正規分布のパラメータを以下の式で更新する
   

   $$\mu_i^{(t+1)}= {1\over N\xi_i^{(t+1)}} \sum_{j=1}^N w_{ij}^{(t)}x_j,$$ (87)

   
   
   
   

   $${\sigma_i^2}^{(t+1)}= {1\over N\xi_i^{(t+1)}} \sum_{j=1}^N w_{ij}^{(t)}x_j^2 - {\mu_i^{(t+1)}}^2.$$ (88)

   
   

この更新式を見ると、正規分布の各パラメータが $w_{zj}^{(t)}$ で重みづけされた 平均と分散になっていることがわかる。