隠れ変数とEM アルゴリズム

複数の対象があって、それぞれが確率分布の形であらわされているとする。複 数の対象全体はその(重み付きの)和

$$p(x;\theta) = \sum_{i=1}^k \xi_i p_i(x;\psi_i)$$ (82)

で表現することができるとする。ここで $k$ は対象の個数、$p_i(x;\psi_i)$ は $i$ 番目の対象の確率分布、$\xi_i$ はその重みをあらわす。この形の分 布は(有限)混合分布と呼ばれている。最尤推定では、$x$ のサンプル点に基づ いて、尤度を最大にするようなパラメータ $\theta$ を求めることが目的であ るが、一般にこのままでは複雑すぎて解けない。

そこで、もし仮に、各サンプル点がどの対象に属しているかがわかったとすれ ば、あとはそれぞれの対象ごとの確率分布の推定を行えばよくなる。どの対象 に属しているかというのを観測できない変数(または隠れた変数)とみなすと以 下で述べるように EM アルゴリズムが適用可能となる。

今、観測される変数を $x$、観測できない変数を $z$ とすると、EM アルゴリ ズムは、次の 2 つのステップの計算を $t = 0,1,2,\ldots$ に対して繰り返 し行なう。まず、パラメータを適当な値 $\theta=\theta^{(0)}$ に初期化し ておく。

1. (E(xpectation) step) $(x,z)$ の対数尤度の(与えられたデータ $x$ とパラメータ $\theta^{(t)}$ に対する)条件つき期待値を計算する。つまり、
   

   $$Q(\theta\mid\theta^{(t)}) = {\rm E}[\log p(x, z; \theta) \mid x, \theta^{(t)}]$$ (83)

   
   
   を計算する。
2. (M(aximization) step) $Q(\theta\mid\theta^{(t)})$ を最大にする $\theta$ を $\theta^{(t+1)}$ とおく。

この各繰り返しステップで得られるパラメータは尤度を単調に増加させること が知られている。

混合分布の場合に EM アルゴリズムを適用すると、$\xi$ に関しては $Q$ の 最大化が陽に解けて、$\psi_i$ は各対象に関する重み付きの最適化問題とな り、対象ごとに独立に解くことができる。