正則化法としてのサポートベクターマシン

図 7: 評価基準の比較

ソフトマージン法で識別誤りを許すようにしたサポートベクターマシンの目的関 数の式(16)を多少変形すると

$$L(\mbox{\boldmath$w$},\mbox{\boldmath$\xi$}) = \sum_{i=1}^N \xi_i + \lambda \sum_{j=1}^M w_{j}^2$$

$$= \sum_{i=1}^N [1-t_i \eta_i]_{+} + \lambda \sum_{j=1}^M w_{j}^2$$ (73)

のようになる。ここで、$[x]_{+}$は、$x$の正の部分のみを取る関数である。 図7 (a) に、$[1-x]_{+}$のグラフを示す。このグラフからもかる ように、第1項は、$t_i \eta_i$ が$1$より大きい場合(つまり、平面H1あるいはH2 に達するまで)は、ずっと$0$をとり、$1$ より小さくなるとしだいに大きな値を とるようになる。この評価関数で、第1項は、モデルとデータとの食い違いを評 価する関数であり、第2項は、いわゆる正則化項で、パラメータに対するペナル ティである。

同様に、リッジ回帰の場合の評価関数も$t_i$の値が$0$か$1$かで場合分けして、 変形すると

$$Q = \sum_{i=1}^N (1 - t_i \eta_i)^2 + \lambda \sum_{j=1}^M w_{j}^2$$ (74)

のようになる。この場合も、第1項は、モデルとデータとの食い違いを評価する 関数であり、第2項は、パラメータに対するペナルティである。第1項の関数$(1 - x)^2$を図7 (b) に示す。この関数は、$t_i \eta_i$が$1$より 大きいか小さいかにかかわらず、$t_i \eta_i$が$1$から離れるとともに大きな 値を出力するようになる。この関数では、$t_i \eta_i$が$1$以上になるような 正しく識別されているようなサンプルに対しても$1$から離れるにつれて大きな ペナルティを与えてしまう。これは、識別課題の場合には、最小2乗基準は必ず しも良くないことを意味している。

さらに、Weight Decayを行うロジスティック回帰についても、同様に、教師信号を $u_i \in (0,1)$から $t_i \in (-1,1)$に変換して、評価関数を変形すると、

$$Q = \sum_{i=1}^N \log \{1+\exp(t_i \eta_i) \} + \lambda \sum_{j=1}^M w_{j}^2$$ (75)

のように書ける。ここでも、第1項は、モデルとデータとの食い違いを評価する 関数であり、第2項は、パラメータに対するペナルティである。第1項の関数 $\log \{1+\exp(t_i \eta_i) \}$をグラフにすると、図7 (c) のようになる。この関数は、サポートベクターマシンの第1項の関数とその 形状は似ているが、 $t_i \eta_i = 1$で不連続ではない。重回帰の評価関数(2乗 誤差基準)とは違って、$t_i \eta_i$が$1$以上となるような正しく識別されてい るようなサンプルへのペナルティは小さくなる。

これらの3つの評価関数を比較すると、非常に良く似ていることが分かる。特に、 第2項のパラメータに対するペナルティの入れ方は同じである。これは、汎化能 力の向上の工夫としては同じものを使っていることを意味している。第1項の訓 練データとモデルとのズレの評価方法は異なるが、サポートベクターマシンとロ ジスティック回帰の評価関数は非常に良く似ていることが分かる。サポートベク ターマシンは、2クラスの識別課題を前堤に導出されたが、ロジスティック回帰 は、必ずしも2クラスの識別課題を前堤にしているわけではなく、多クラスの問 題を扱うように定式化することは難しくない。