人間は、経験を通して外界の多様な情報を知識として要約し、それを利用することに より、さまざまな状況や問題に対して柔軟かつ適応的に対処していくことができる。 本来、情報処理技術は、このような人間の高度で柔軟な知的情報処理能力を機械によ って実現することを目指す試みである。
知的情報処理の機械による実現の試みは、まず、必要な情報が完全に与えら れ、しかも、対象を完全に記述できるような問題に対して、フォン・ノイマン型計算 機上で処理手順をプログラムとして陽に記述する方式として発達した。そうした完全 情報の逐次計算による厳密処理は、ハードウェア技術の驚異的な発展とソフトウェア 技術の進歩に支えられて、今日の情報処理技術の主要な部分を占めるに至っている。 人工知能の研究は、主に記号表現と形式論理を用いて、そうした人間の知的情報処理 のうちの厳格で形式的な側面を機械化する試みとみることができ、完全情報の厳密処 理の典型といえる。人工知能の研究では、論理の演繹的側面と知識表現に関して多く の成果が得られている。特に、その応用としての知識工学やエキスパートシステムは、 医療診断などの実際問題での利用が試みられている。
しかし、我々が日常的に解決しなければならない多くの問題では、情報が完全には与 えられないで、しかも、与えられた情報が曖昧であることが少なくない。また、問題 を明確に定義することが難しく、アルゴリズムを明示的に書き下せないような課題を 対象としなければならないことも多い。こうした不完全な情報を総合的に処理する必 要のある課題に対して計算機を利用する試みも古くから行われている。例えば、パター ン認識、多変量データ解析、ニューラルコンピューティングなどの研究は、その典型 例である。しかしながら、現状では、そうした試みも人間の情報処理能力と比べると まだまだ見劣りする。今後、より人間に近い高度で柔軟な知的情報処理を目指して情 報処理技術の拡大と高度化を図るためには、こうした課題を旨く処理するための手法 を確立することが重要である。以下では、こうした課題に対する情報処理を「柔らか な情報処理」と呼ぶ[130,133,136]。
パターン認識は、連続的分散的情報表現（パターン）と離散的局所的情報表現（概念） との接点にあり、本来、並列的で総合的な判断を必要とし、パターン情報の持つ曖昧 さや不確かさを扱わなければならない。また、事例から個々のパターンの特徴と概念 との確率統計的な対応関係を学習する帰納的側面と未知のパターンを知識に基づき識 別する演繹的側面の両方を含んでいる。その意味において、人間の持つ柔軟な知的情 報処理の機械による実現のための基礎として、「パターン認識」を見直そうという提 案がなされている[109,130,133,136]。パターン認識の初期の 理論では、誤り最小識別（Bayes 識別）の理論などの統計的決定理論の応用が行なわ れた。その後、研究は専門分化し、特定の課題に対する実際的な手法の開発が勢力的 におこなわれ、最近では、知識の利用などの人工知能的手法との統合も試みられてい る。
多変量データ解析は、観測された多数のデータをその相互関係を考慮に入れて同時に 統合的に取り扱い、データの持つ情報を効率よく要約し、我々の直観的総合的判断に 有用な形にまとめるための手法である[165]。つまり、曖昧な情報を旨 く集約して有効な情報を取り出すための手法であり、「柔らかな情報処理」を実現す るためにも有効であると考えられる。多変量データ解析手法は、これまで主に曖昧な 対象を扱う必要のある人文・社会科学の分野で利用され発展してきた。具体的な応用 の場面に応じて種々の手法が開発されているが、一般には単にデータを解釈するため の補助手段として使われることが多い。従って、今後は、そうした手法を知的情報処 理システムに積極的に組み込んで工学的な応用を図ることが重要である。
ニューラルコンピューティングの研究は、人間の脳を真似た情報処理を実現しようと するものである。それは、並列分散学習型の情報処理の可能性と人間に近い柔軟な情 報処理の可能性を示すものとして興味深い。最近、ハードウェア技術の飛躍的な発展 にも支えられて、再び活発な研究が行われている[7]。特に、パーセプト ロンの拡張としての階層型ニューラルネットは、誤差逆伝搬学習法が提案されて以来、 パターン認識や制御などのさまざまな問題に応用されている。それは、認識や制御に おける望ましい入出力関係を、例からの学習により手軽に実現するための実際的な手 段を与えてくれるので、「柔らかな情報処理」を実現するための基本的な手法として 重要であると考えられる。
こうした「柔らかな情報処理」の実現を目指す試みにおいては、統計的手法が非常に 重要な役割を担っている。例えば、パターン認識では、統計的決定理論、線形判別分 析、クラスタリングなどの統計的手法は、初期の頃から理論および実際的応用で中心 的な役割を演じてきた。また、多変量データ解析は、まさに、統計的手法の応用であ る。ニューラルコンピューティングにおいても、階層型ニューラルネットは、ネット ワークの制約のもとで非線形の多変量データ解析を行なっているとみなすことができ、 統計的手法と密接に関係している [8,10]。
本論文では、「柔らかな情報処理」を実現するための統計的手法の理論と応用につい て論じる。
基礎理論として、まず第２章では、多変量データ解析手法を一般の非線形写像を許す ように拡張する。多変量データ解析手法の多くは、与えられたデータに対してある評 価基準のもとで最適な線形変換を求めるという形で定式化されている。この線形変換 という制約を取り去って、多変量データ解析手法を一般の非線形に拡張することを考 えると、データ解析手法の各々が本質的にどのようなデータ処理を行なっているのか、 あるいは、データの持つ確率的な構造をどのように抽出しているのかについて明らか にできる。また、線形モデルによる定式化では不明確な各々の手法の相互の関係も明ら かになる。その結果、多変量解析手法の意味がより深く理解でき、手法を応用する際 に役立つことが期待できる。さらに、階層型ニューラルネットワークはネットワーク の制約のもとで非線形の多変量解析を行っていると考えられるので、非線形の多変量 解析に関する考察は、ネットワークの制約を取り去った究極の目標についての示唆を 与えるもとの考えることができる。大津は、こうした観点から、変分法を用いて一般 の非線形写像のもとで最適な非線形判別分析を求め、それがパターン認識における誤 り最小識別（Bayes 識別）の理論と密接に関係していることを示した [121,122,123,128]。さらに、重回帰分析についてもパターン認識 の文脈で非線形に拡張し、最小２乗判別との関連を示した[128,129]。こ こでは、まず、アンケート調査などの質的データを取り扱う多変量データ解析手法で ある数量化理論の各手法を非線形に拡張する。そこでは、大津が交差係数と呼んだ二 つの集合間の確率的な関係を表す統計量の固有値問題が重要な働きをしていることが 分かる。その結果に基づき、正準相関分析を含む一般の多変量データ解析手法を非線 形へ拡張し、より一般的な形で統一的な考察を試みる。さらに、線形の手法が非線形 手法のどんな近似になっているかについても考察する。
第３章では、複数個の特性に基づいて決められた対象間の距離や類似性の指標をもと
に、対象の集合をいくつかのグループに分類するための手法であるクラスタリングの
アルゴリズムについて論じる。クラスタリングを用いてデータを分類することにより、
データに含まれる構造や関係を明らかにすることができる。クラスタリングは、これ
まで主に生物学や植物学をはじめ医学、社会科学、地球科学、政治経済学等の分野で
利用されている。今後、「柔らかな情報処理」のための基本的な道具として、ますま
す多くの分野で直接的あるいは補助的に使われるものと考えられる。ここでは、まず、
最も簡単なクラスタリングの例としてヒストグラムの分割問題について考察する。こ
れは、例えば、濃淡画像を２値化し対象領域と背景に分離するしきい値を選定する問
題に応用できる。ここでは、この問題を最尤推定の枠組で考察する。その結果、濃淡
画像の２値化のためのしきい値選定法として最も有名な大津の判別および最小２乗基
準に基づくしきい値選定法と Kittler 等の最小誤差しきい値選定法を統一的に同じ
枠組で扱えるようになる。これらの手法は、ダイナミックプログラミングを用いて容
易に多値化（多クラス）の問題へ拡張することができる。それらは１次元のデータの
適応的量子化法とみなすことができ、データ圧縮における最も基本的な手法のひとつ
となる。次に、一般の多次元データのクラスタリングのアルゴリズムについて考察す
る。この場合には、クラスタリング手法は、一般に、階層的なクラスタリングと非階
層的クラスタリングの大別して考えることができる。クラスタリング手法を実際問題
に適用する場合には、その計算速度が問題となる。特に、階層的クラスタリングでは、
二つのクラスター間の距離を全て調べる必要があるため大量のデータのクラスタリン
グは難しいと考えられている。ここでは、階層的クラスタリン
グアルゴリズムをクラスター間の類似度をヒープに蓄えることにより高速化する方法
を提案する。ヒープを用いることにより、必要な記憶領域はデータ数 
に対して、
となるが、計算時間は従来法の 
から 
に高速化
される。これにより従来法に比べてより多くの対象のクラスタリングが可能となる。最
後に、データが逐次的に与えられるような場合のクラスタリングのアルゴリズムにつ
いて考察する。ここでは、データを１回だけ処理して、２乗誤差が最小となるように
各クラスターの代表ベクトルを決定するアルゴリズムを提案する。ここでも、階層的
クラスタリングの高速化と同様にヒープを用いてアルゴリズムを高速化する。このア
ルゴリズムは、例えば、データ圧縮のための適応的ベクトル量子化に応用できる。
第４章では、階層型ニューラルネットの学習に関連する問題を統計的観点から論じる。 階層型ニューラルネットは、望ましい入出力関係を例からの学習により実現するため の実際的な手段を与えてくれる。それは、誤差逆伝搬学習法が開発されたことにより、 パターン認識をはじめとして多くの応用分野への適用が試みられている。それに伴い、 学習アルゴリズムの改良・拡張に関する研究も数多く行なわれてきている。ここでは、 階層型ニューラルネットのパラメータの学習を最尤推定の観点から考察する。まず、 ニューロン１個のみからなる最も簡単なネットワークのパラメータの最尤推定につい て考察し、Fisher 行列を具体的に計算し、それがニューロンの入力の重み付き相関 行列となることを示す。また、Fisher 行列を利用したパラメータの推定法を示し、 それが、結果的に重み付き最小２乗法の繰り返しとみなせることを示す。さらに、単 一ニューロンの場合の結果を３層のニューラルネットの場合に拡張し、ニューロン毎 に重み付き最小２乗法を繰り返す学習アルゴリズムを提案する。これは、ニューラル ネットの学習が線形重回帰の繰り返しによって実現できることを示すものであり、ニュー ラルネットと多変量データ解析との類似性の一端を示唆するものである。次に、汎化 能力の高いネットワークを構成するための手法について考察する。階層型ニューラル ネットでは、ネットワークの自由度を大きくすると学習データに対してはいくらでも 近似の精度を上げることができる。しかし、そうしたネットワークが必ずしも未知デー タに対して良い近似を与えるとは限らない。従って、ニューラルネットを実際問題に 適用する場合には汎化能力の高いネットワークを構成することが必要となる。ここで は、汎化能力の高いネットワークを構成するために情報量基準を用いる方法を提案す る。
第２章、第３章、および第４章では、「柔らかな情報処理」のための統計的手法の内 でも特に多変量データ解析の理論、unsupervised な手法の例としてクラスタリング のアルゴリズム、および、supervised な手法の例としてニューラルネットの学習ア ルゴリズムに関して論じた。第５章以降では、これらの手法のより具体的な応用につ いて論じる。
第５章では、直接最適解を求めるのが難しい問題（組み合わせ最適化問題）に対して 準最適解を高速に求めるために統計的手法を利用する方法について考察する。ここで は、組合せ最適化問題の例として日程表を作成する問題を考えた。まず、数量化３類 あるいは主成分分析などの多変量データ解析手法を用いて、元のデータから大まかな 情報を抽出し、難しい問題を簡単な問題に帰着させて解く方法を提案する。具体的に は、数量化３類あるいは主成分分析を用いて１次元のスコアを求め、そのスコアをも とに日程表を構成する。さらに、同じ問題に対して階層的クラスタリングにより準最 適解を高速に求める方法を提案する。
第６章では、データ圧縮への応用について考察する。データ圧縮は、情報の伝達、蓄 積、利用等のための実際的な手段として重要な技術である。現在、我々が利用する情 報は画像や音声を含むマルチメディア情報へと拡大している。それに伴い、データ圧 縮への要求はますます大きくなって来ている。ここでは、カラー画像を小領域に分割 し、各領域をそれぞれ２色で近似することによりデータを圧縮する方法を提案する。 各領域を２色で近似するためには、領域内の各画素をどちらの色に割り当てるかを決 定しなければならない。ここでは、第５章と同様に、各画素の赤、緑、青の３次元 のデータから主成分分析によって１次元のスコアを求め、それに対するしきい値処理 によって各画素をどちらの色に割り当てるかを決定する。
第７章では、形の認識および分類への応用について考察する。平面図形の認識は、パ ターン認識における最も基本的な課題のひとつである。特に、形の本質的な情報を担 う外形（輪郭線）の記述は、認識や分類のために重要である。ここでは、形の相似変 換や始点の選び方に不変な、形の認識や分類のために好ましい特徴を構成するために 統計的手法を応用することを考える。輪郭線上の各輪郭点を複素表現し、輪郭点列に 複素自己回帰モデルを当てはめると、その係数（複素自己回帰係数）は輪郭線の回転 や始点位置の選び方によらない特徴となる。さらに、輪郭点の量子化法を工夫すると 平行移動や大きさに対しても不変にできる。これにより、輪郭を小数の特徴でモデル 化することが可能となり、相似変換に不変な形の認識が可能となる。また、複素自己 回帰モデルに基づいて複素 PARCOR 係数と呼ばれる量を定義する。これも、形の相似 変換に関して不変な特徴となる。さらに、これらの特徴を計算するための高速アルゴ リズムを提案する。最後に、複素自己回帰モデルに基づいて相似変換に関して不変な 距離を提案する。これは、形の自動分類や類似した形の検索のために有効である。
第８章では、コンピュータビジョンへの応用を考える。まず、２次元の画像の認識・ 計測について考察する。近年、各種産業分野において、画像の認識や計測に対する期 待が高まっている。特に、種々の応用に比較的簡単に使えて、しかも高速実時間で画 像の認識や計測が可能なシステムが望まれている。ここでは、高次局所自己相関特徴 と多変量データ解析を用いた並列学習的な画像計測・認識システムを提案する。高次 局所自己相関特徴は、画像枠内の対象の位置に関して不変で、しかも、加法性を満た す特徴であり、対象の認識や計測にとって好ましい特徴である。この特徴と多変量解 析手法による学習を組み合わせることにより、構造的に非常に簡単で高速なシステム が実現できる。次に、３次元世界の認識（コンピュータビジョン）のためのレンジデー タ（距離画像）の解析について考察する。近年、３次元世界の情報を直接収集するた めの有力な手段として、レーザを用いた高性能のレンジファインダが開発されている。 それにより、対象の距離に関する精密な情報が得られる。もし、この情報から対象の 局所的な曲率が計算できれば、その符号から対象を同じ性質を持つ局面に分割でき、 対象の識別などに利用することができる。対象の局所的な曲率は、通常、局所領域内 でレンジデータに２次曲面を当てはめて得られる１次と２次の偏微分の推定値から計 算される。しかし、この方法では、エッジ付近で偏微分の推定値が不正確となるため、 エッジ付近では不正確な曲率しか得られない。ここでは、局所的な曲率を重みつき最 小２乗法により計算する方法を提案する。重みは曲面上の最小軌道とその軌道上での 平均法線角度差に基づくもので、エッジの向こう側にあるデータには小さな重みが与 えられる。これによりエッジ付近でも比較的良い推定値が得られるようになる。
第９章では、画像データベースの検索への応用について考察する。データベースで扱 われる情報は、従来の文字・数値データから画像や音声を含むマルチメディアデータ へと多様化している。特に、人間にとって最も直感的にわかりやすい画像情報を蓄積・ 管理する画像データベースの必要性は、ますます増大するものと考えられる。画像デー タベースの検索においては、キーワードのみでは目標とする画像を表現することが難 しく、しかも、各画像に画像の内容を表現するような多くのキーワードを付与するた めには多くの労力が必要である。ここでは、商標・意匠図形を対象とする画像データ ベースの検索手法として、画像を直接キーとして似た図形を検索する手法について考 察する。データベースの利用者が感じる画像間の類似度は、一般には、利用者毎に異 なるので、利用者毎の主観的な類似性の評価を反映した類似画検索が望ましい。ここ では、多変量解析手法用いた例からの学習によって利用者毎の検索空間を構成し、類 似画検索を実現する。次に、絵画を対象とするデータベースにおける印象語からの検 索手法を提案する。ここでも、各利用者が絵画に対してもつ印象は利用者毎に異なる と考えられるので、正準相関分析を用いて印象語と画像特徴との相関関係を学習し、 利用者毎の検索空間を構成し、検索に利用する。
最後に、第１０章では、結論として本研究で得られた結果を要約し、また将来に対す
る課題について述べる。