Kullbak-Leiber情報量との関係

一方、この場合の Kullback-Leibler 情報量（Divergence）は、

$$D = \sum_{p=1}^P \{ t_p \log \frac{t_p}{z_p} + (1 - t_p) \log \frac{(1-t_p)}{(1-z_p)} \}$$ (203)

$$= \sum_{p=1}^P \{ t_p \log t_p + (1-t_p) \log (1-t_p) \}$$

$$- \sum_{p=1}^P \{ t_p \log z_p + (1-t_p) \log (1-z_p) \}$$ (204)

となる。ここで、第１項は、ネットワークのパラメータには、無関係な量であ り、第２項は対数尤度 $l$ と等しくなる。つまり、最尤法でパラメータを推 定をすることは、Kullback-Leibler 情報量を最小とするようなパラメータを 求めることと等価になる。