コンピュータビジョンでは、例えば、画像の領域分割における分割数の
決定、オプティカルフローの推定のためのモデルの決定、正則化手法における
正則化パラメータ の決定などのように、複数のモデルの中からデー
タをうまく説明するモデルを選択しなければならないことがある。また、モデ
ルのパラメータを精度良く推定するためにもデータをうまく説明するモデルを
データに即して決定することが必要となる。
重回帰分析において、平均2乗誤差は学習データに対するモデルのあてはまり
の良さを評価する基準であると考えられる。しかし、モデル
の自由度を大きくすると学習データに対する平均2
乗誤差をどんどん小さくすることができる。そのモデルが学習データに対して
いくら良くあてはまったとしても、必ずしも未知のデータに対しても良くあて
はまるとは限らないので、平均2乗誤差をモデル選択の基準として用いること
はできない。未知データに対しても有効に働くようなモデル、つまり、データ
の背後の確率統計的関係をうまく捉えたモデルを決定するためには、モデルの
自由度に関するバイアスをもたないようなモデルのあてはまりの良さに関する
評価基準が必要となる。