回帰分析あるいは最小２乗法は、ある変量(説明変数)とその変量に対する望み の結果(目的変数、教師信号)が学習データとして与えられた時、説明変数から 目的変数を予測するモデルを推定する統計手法であり、最も基本的で、最も広 く用いられている手法である。
画像処理の分野では、ともすれば個々の課題を解決するために直観的でアドホッ クな手法を提案し、それらの手法の評価も人が処理結果を見て判断するなどの ように主観的で不確かになりがちである。したがって、新たな課題に対して既 存の手法を組み合わせて画像処理手法を設計するためには、個々の画像処理手 法に関するかなりの経験とその課題に関する十分な知識が必要となる。しかし、 もし、システムが一般的でしかも適応的な構造をしており、処理結果の量的な 評価のための評価基準が与えられているなら、システム自らが課題に対して自 動的に最適な処理手順を設計したり、要求された変更に関して自動的に適応し たりできるようになると期待できる。回帰分析はそのような自動化のための最 も基本的な手法として使うことができる。