次へ: Kullbak-Leiber情報量との関係
上へ: ニューロン1個のみからなるネットワークの場合
戻る: ニューロン1個のみからなるネットワークの場合
図 4.1:
ニューロン1個のみのネットワークの例
|
図4.1にニューロン1個のみからなるネットワークの例を示す。
ニューロンは、入力信号
を受け取り、
次式により入力和 と 出力値 を計算するものとする。
ここで は、第 番目の入力からの結合荷重である。また、しきい値
については、常に を出力する仮想入力との結合と考え、結合荷重に含め
て扱うものとする。シグモイド関数の性質から、ニューロンの出力値は、明ら
かに
の範囲の値となる。
今、学習のためのデータ集合を
とする。
ここで、教師信号 は、 か の2値で与えられるものとする。
ネットワークに入力
を与えたときのニューロンの出力 を、入
力
のもとで教師信号 が である確率の推定値と考えると、
学習データに対するネットワークの尤度は、
|
(201) |
で与えられる。従って、対数尤度は、
|
(202) |
となる。これを最大とするパラメータがネットワークの最尤推定値である。
Takio Kurita
平成14年7月3日