ロジスティック回帰モデル

パーセプトロンで用いた閾値関数は、入力が正の場合と負の場合で出力が急に 変化するような不連続の関数ですので解析的な取り扱いが簡単ではありません。 ADALINE モデルでは、パーセプトロンの閾値論理素子の線形の部分のみの線形 モデルを用いました。しかし、線形のモデル化では、複数のニューロンを結合 しても全体のモデルが線形となってしまい、非線形の関係を表現することがで きません。また、実際のニューロンに近いモデルを作ると言う観点でも好まし くありません。そこで、最近のニューラルネットワークでは、閾値関数の変わ りに入力が負から正へ変化する時、その出力も滑らかに変化する出力関数

$$S(\eta) = \frac{\exp(\eta)}{1+\exp(\eta)}$$ (38)

が用いられるようになっています。この関数はロジスティック関数と呼ばれて います。図3(c)にロジスティック関数の例を示します。 このロジスティック関数を出力関数として用いた最も簡単なモデル

$$y = S(\sum_{i=1}^M a_i x_i + a_0)$$ (39)

は、ロジスティック回帰モデルと呼ばれています。

次にこのロジスティック回帰モデルのパラメータの推定法について説明します。 ADALINEモデルでは、平均２乗誤差が最小となるようなパラメータを推定しま したが、ここでは最尤法と呼ばれている方法でパラメータを推定してみます。 例題としては、先程のアヤメの識別問題を考えることにします。