ノイズの付加による汎化能力の向上

最後に、学習用のデータやネットワークにノイズを付加することにより、学習 結果の汎化性を向上させようとする試みについて紹介する。例えば、赤穂 (1992)では、正則化の観点から観測データを補間するような多数の学習用デー タを生成することにより汎化能力の高いットワークを構成する方法が提案され ている。また、栗田ら(1993)は、中間層の各ユニットの入力 $\zeta_{j}$ に、 平均 $0$ 分散 $\sigma$ の正規ノイズを付加した場合の誤差逆伝搬学習アル ゴリズムの平均的な振舞について解析している。中間層の各ユニットにノイズ を付加することによって、２乗誤差は平均的に

$$\mbox{E}\{ \tilde{\varepsilon}_{emp}^2\} \approx \varepsilo... ... \frac{1}{2} \sum_{j=0}^J \sum_{k=1}^K (b_{jk} \nu_j \sigma)^2$$ (105)

のように増加する。全体としてこの２乗誤差を小さくするためには、第２項も 小さくする必要があり、$b_{jk}$ と $\nu_j$ の絶対値をともに小さくする必 要がある。$\nu_j$ を小さくするためには、中間層の各ユニットの出力 $y_j$ が $0$ か $1$ に近い値をとる必要があるので、結局、中間層の各ユニットの 出力は $0$ か $1$ の確定的な値をとり、中間層から出力層への結合荷重の絶 対値は小さくなるように学習が進むと期待できる。これにより、ネットワーク が構造化され、汎化能力も向上すると期待できる。Murrayら(1993)は、ネット ワークの結合荷重にノイズを加える場合について、同様な考察を行っている。