次へ: EM アルゴリスム
上へ: セミパラメトリックな手法
戻る: 混合分布モデル(Mixture Model)
各確率密度分布が式(43)の正規分布に従う場合の混合分布
では、パラメータとして、重み係数
、 各確率密度の平均
および分散
を推定する必要がある。学習用の
個 のデータ
から最尤法でこれらのパラメータ
を推定することを考える。与えられたデータに対する対数尤度
は、
![\begin{displaymath}
l = \log L = \sum_{n=1}^N \log p(\mbox{\boldmath$x$}_n) = \...
...\sum_{j=1}^O \omega_j p(\mbox{\boldmath$x$}_n\vert j) \right\}
\end{displaymath}](img122.png) |
(44) |
のようなる。
対数尤度
を最大とするようなパラメータは、非線形最適化手法を用いて
求めることができる。ただし、パラメータの選び方によっては、対数尤度が無
限大になってしまうので、それを避けるための工夫が必要となる。対数尤度
はパラメータに関して微分可能な連続関数であるので、パラメータ
および
で偏微分すると
となる。ただし、
![\begin{displaymath}
P(j\vert\mbox{\boldmath$x$}_n) = \frac{\omega_j p(\mbox{\boldmath$x$}_n\vert j)}{p(\mbox{\boldmath$x$}_n)}
\end{displaymath}](img127.png) |
(47) |
である。一方、混合パラメータ
は、条件(41)を
満たす必要がある。補助パラメータ
を用いて
![\begin{displaymath}
\omega_j = \frac{\exp(\gamma_j)}{\sum_{k=1}^O \exp(\gamma_k)}
\end{displaymath}](img129.png) |
(48) |
のように定義すると、混合パラメータ
は条件を満たすようになる。
これは softmax 関数と呼ばれている。対数尤度
を補助パラメータ
で変微分すると、
![\begin{displaymath}
\frac{\partial l}{\partial \gamma_j} = \sum_{k=1}^O \frac{\...
...}^N \left\{ P(j\vert\mbox{\boldmath$x$}_n) - \omega_j \right\}
\end{displaymath}](img130.png) |
(49) |
となる。対数尤度の微分に関するこれらの結果を利用して、尤度を最大とする
パラメータ(最尤解)を非線形最適化手法により求めることができる。
また、対数尤度の微分を
とおくことにより、最尤解に関して、
のような関係が成り立つことがわかる。これは、最尤解が各要素への帰属度
を表す事後確率
を重みとして計算されることを示している。
次へ: EM アルゴリスム
上へ: セミパラメトリックな手法
戻る: 混合分布モデル(Mixture Model)
平成14年7月19日