M-estimator

M-estimator は、最も良く利用されるロバスト推定手法のひとつであり、最小 ２乗法で用いられる最小２乗(LMS)基準

$$LMS = \mbox{min}\ \sum_{i}\ \varepsilon_i^2$$ (73)

の代わりに、それをちょっとだけ変形した評価基準を用いる。ここで、 $\varepsilon_i$はデータと推定値との誤差である。最小２乗基準はすべての 誤差を均等な重みで扱っているため、ひとつの大きな例外値によって大きな影 響を受けてしまう。そこで、M-estimator では、これを例外値には小さな重み を与えるように変形し、

$$M = \mbox{min}\ \sum_{i} \rho(\varepsilon_i)$$ (74)

を評価基準とする。ここで、$\rho(x)$ は、$x=0$ で唯一の最小値を持つ 正定値偶関数である。この基準は、もし $\rho(x)=x^2$ ならば、平均2乗誤差 基準と同じになり、その意味で最小2乗法の拡張になっている。

関数 $\rho$ によってモデルからずれたデータに対してどれくらいの重みが与 えられるかを見るためには、$\rho$ の微分 $\Psi(x) = \frac{\partial \rho(x)}{\partial x}$ を取ってみればよい。$\Psi$ は、influence function と呼ばれている。平均2乗誤差基準に対する infuluence function は、図11 (b)のようになり、データがモデルから離れる につれてその影響が線形に増大する。一方、図11(c)のよ うな Geman と McClure の $\rho$ 関数では、データがモデルからある程度離 れるとその影響はほとんどなり、$0$ に近づく(図11(d))。

図 11: Examples of $\rho$ and $\Psi$ functions.

M-estimator による推定のためのアルゴリズムは、式(75) を最小化する最適化問題として定式化することができ、重み付き最小2乗問題 となる。ただし、このアルゴリズムは、$\rho$ 関数によっては必ずしも最適 解に収束することは保証されないので、良い初期値から出発する必要がある。