非線形手法への拡張

これまで紹介した主成分分析、判別分析、サポートベクターマシン、ロジスティッ ク回帰は、全て線形あるいは準線形の手法である。したがって、本質的に非線形で複雑な識別課 題に対しては、必ずしも良い性能の識別器を構成できるとは限らない。本質的に 非線形な問題に対応するための方法として、特徴ベクトルを非線形変換して、そ の空間で線形の識別を行う「カーネルトリック」と呼ばれている方法が知られて いる。この方法を用いることでサポートベクターマシンの性能が飛躍的に向上し た。それがサポートベクターマシンを有名にした大きな要因である。

一般に、線形分離可能性はサンプル数が大きくなればなるほど難しくなり、逆に、 特徴空間ベクトルの次元が大きくなるほど易しくなる。例えば、特徴ベクトルの 次元が訓練サンプルの数よりも大きいなら、どんなラベル付けに対しても線形分 離可能である。しかし、高次元への写像を行うと、次元の増加に伴い汎化能力が 落ちてしまう。また、難しい問題を線形分離可能にするためには、訓練サンプル と同程度の大きな次元に写像しなければならないので、結果的に膨大な計算量が 必要となってしまう。

今、元の特徴ベクトル $\mbox{\boldmath$x$}$を非線形の写像 $\phi(\mbox{\boldmath$x$})$によって変換し、 その空間で線形識別を行うことを考えてみよう。例えば、写像$\phi$として、入 力特徴を２次の多項式に変換する写像を用いるとすると、写像した先で線形識別 を行うことは、元の空間で２次の識別関数を構成することに対応する。一般には、 こうした非線形の写像によって変換した特徴空間の次元は非常に大きくなりがち である。しかし、主成分分析、判別分析、サポートベクターマシン等では、幸い にも、目的関数や識別関数が入力パターンの内積のみに依存した形になっており、 内積が計算できれば最適な識別関数を構成することができる。つまり、もし非線 形に写像した空間での二つの要素 $\phi(\mbox{\boldmath$x$}_1)$と $\phi(\mbox{\boldmath$x$}_2)$の内積が

$$\phi(\mbox{\boldmath$x$}_1)^T \phi(\mbox{\boldmath$x$}_2) = K(\mbox{\boldmath$x$}_1, \mbox{\boldmath$x$}_2)$$ (61)

のように、入力特徴 $\mbox{\boldmath$x$}_1$と $\mbox{\boldmath$x$}_2$のみから計算できるなら、非線形写 像によって変換された特徴空間での特徴 $\phi(\mbox{\boldmath$x$}_1)$や $\phi(\mbox{\boldmath$x$}_2)$を 陽に計算する代わりに、 $K(\mbox{\boldmath$x$}_1, \mbox{\boldmath$x$}_2)$から最適な非線形写像を構成 できる。ここで、このような$K$のことをカーネルと呼んでいる。このように高 次元に写像しながら、実際には写像された空間での特徴の計算を避けて、カーネ ルの計算のみで最適な識別関数を構成するテクニックのことを「カーネルトリッ ク」と呼んでいる。

実用的には、$K$は計算が容易なものが望ましい。例えば、多項式カーネル

$$K(\mbox{\boldmath$x$}_1,\mbox{\boldmath$x$}_2) = (1 + \mbox{\boldmath$x$}_1^T \mbox{\boldmath$x$}_2)^{p}$$ (62)

Gaussカーネル

$$K(\mbox{\boldmath$x$}_1,\mbox{\boldmath$x$}_2) = \exp \left... ...$}_1 - \mbox{\boldmath$x$}_2 \vert\vert^2}{2 \sigma^2} \right)$$ (63)

シグモイドカーネル

$$K(\mbox{\boldmath$x$}_1,\mbox{\boldmath$x$}_2) = \mbox{tanh... ...ft(a \mbox{\boldmath$x$}_1^T \mbox{\boldmath$x$}_2 - b \right)$$ (64)

などが使われている。