印象語からの絵画データベースの検索

「ロマンチックで暖かい」というような視覚的印象は、利用者の好みや文化的 背景などの違いにより個人ごとに異なっていると考えられる。したがって、そ うした要求からの検索を実現するためには、システムはその利用者にとって 「ロマンチックで暖かい」とはどういうことなのか評価できなければならない。 ただし、データベースに蓄えられるすべての絵画に対して、利用者ごとの主観 的属性をあらかじめ登録することは困難である。そこで、栗田等 [35]は、各利用者に学習用の絵画に対して印象語を付けても らい、その結果から正準相関分析により絵画の色彩特徴と印象語の組の相関関 係を学習し、その利用者のための検索空間を構成する方法を提案した。

栗田等の実験用の絵画データベース(ART MUSEUM)には、印象派の風景画を中心 に約200枚の絵画が蓄えられており、概略画からの検索と絵画から受ける印象 からの検索を可能にしている。

ART MUSEUMでは、絵画の色彩に関する画像特徴として、局所自己相関に基づく 特徴を用いている。

今、カラー画像を

$$\{\mbox{\boldmath$f$}(i,j) = (r(i,j),g(i,j),b(i,j))^T \vert i \in I, j \in J \}$$ (70)

とする。ただし、$r(i,j)$，$g(i,j)$，$b(i,j)$ は、それぞれ、画素 $(i,j)$ における赤、緑、青成分を表す。このとき、カラー画像に対する $0$ 次の自己相関は、

$$\left( \begin{array}{c} \bar{r} \\ \bar{g} \\ \bar{b}... ... \frac{1}{IJ} \sum_{i \in I, j \in J} \mbox{\boldmath$f$}(i,j)$$ (71)

で定義される。これらは画像の赤、緑、青成分の平均値である。これにより3個の特徴が得られる。 また、$1$ 次の自己相関特徴は、変移方向を $\mbox{\boldmath$a$} = (a_i,a_j)$ とすると、

$$\left[ \begin{array}{ccc} \sigma_{r} & \sigma_{rg} & \sig... ...J} \mbox{\boldmath$f$}(i,j) \mbox{\boldmath$f$}(i+a_i,j+a_j)^T$$ (72)

で定義される。変移方向 $\mbox{\boldmath$a$}$ の取り方により、無数の可能性が考えられ るが、ここでも、簡単のため、それを $3 \times 3$ の局所領域に限定する。 局所領域のシフトにより同じになる変移方向を除くと、可能な変移方向のパター ンは、中心点を参照点として5種類に限定される。各パターンに対して、6個の 独立な特徴が計算されるので、合計30個の $1$ 次の局所自己相関特徴が得ら れる。したがって、$0$次と$1$次の特徴を合わせると、各画像から全体として 33個の特徴が得られる。

一方、色彩に対する印象を表現するには、言葉(印象語)を用いるのが最も基本 的かつ簡単である。効率的な印象語からの検索を可能にするためには、印象語 として色彩に対してもつ印象をうまく表現するような形容詞を選ばなければな らない。ART MUSEUMでは、色彩と色彩に対する印象語の関係について書かれて いるいくつかの文献[24,70]において、色に対してよく使わ れている言葉を参考にして、表1にあげる30個の形容詞を印象 語として用いている。

表 1: 絵画検索のための印象語

すがすがしい (clear)	華麗な (gogeous)
若々しい (fresh)	エスニックな (ethnic)
洗練された (refined)	躍動的な (dynamic & active)
モダンな (modern)	柔らかな (soft)
格調のある (authentic)	重々しい (heavy)
ダンディーな (dandy)	暖かい (warm)
クラシックな (classic)	クールな (cool)
ナチュラルな (natural)	地味な/落ち着いた (sober)
シックな (chic)	明るい/輝かしい (bright)
清雅な (elegant/tasteful)	静かな (quiet)
優雅な (elegant/relaxed)	固い (hard)
甘美な (romantic)	清潔な/新鮮な (clean)
かわいい (pretty)	スポーティー (sporty)
なごやかな (casual/relaxed)	日本的(Japanesqe)
楽しい (casual/pleasant)	田舎風の (country)

利用者は、これらの形容詞の中から検索したい絵画の視覚的印象を表すのに適 当と思われるものをいくつか選択することによって視覚的印象を表現する。そ れは、システムの内部では、対応する形容詞が選択されたかどうかによって $0$ か $1$ の値をもつ $30$次元のベクトルとして表現される。さらに、この ベクトルを $1$ の個数で正規化し、印象の表現ベクトル $\mbox{\boldmath$x$}$ とする。

何枚かの絵画に対する印象を利用者に答えてもらったデータに対して、正準相 関分析を適用すると、その利用者の印象ベクトルと画像特徴ベクトルとの相関 が最も大きくなるような写像が構成される。これにより、そのままでは比較す ることができなかった印象ベクトルと画像特徴ベクトルとの比較が可能となる。 もちろん、有効な検索のためには、正準相関分析のための学習用のデータはデー タベースに蓄えられる絵画の特性を充分反映するように選ばれていなければな らない。また、絵画の検索を高速に行うには、検索空間の次元 $L$ は小さ い方がよい。正準相関分析を用いると、印象ベクトルと画像特徴ベクトルの相 関の大きい(固有値の大きい)成分から順番に正準主成分が構成されるので、検 索空間の次元を減らすことができる。検索空間の次元は検索時間に直接的に関 係するので、この次元を減らすことは検索時間の短縮につながる。

一度，正準相関分析により各利用者の印象と絵画の色彩特徴との相関関係を学 習しておくと、利用者の主観的印象を表す印象ベクトル $\mbox{\boldmath$x$}$ に対する検 索空間での表現ベクトル $\tilde{\mbox{\boldmath$t$}} = \Lambda A^T (\mbox{\boldmath$x$} - \bar{\mbox{\boldmath$x$}})$ とデータベースに蓄えられている絵画に対する検索空間での 表現ベクトル $\mbox{\boldmath$t$}_k = B^T (\mbox{\boldmath$y$}_k - \bar{\mbox{\boldmath$y$}})$ の距離が近い絵 画を検索することができる。

図 10: 印象語からの検索結果

200枚の画像データに対し、三つの印象語をキーとした検索した結果を図 10に示す。図10(a)は、「クールな」、「すがすが しい」、「清潔な/新鮮な」という印象語で検索した絵画である。上段の左側 が第１候補として検索された絵画で、右側が第２候補である。下段は、左から 第３候補、第４候補の順番で表示してある。一方、図10(b)は、 「暖かい」、「甘美な」、「柔らかい」という印象語で検索した結果である。 この場合には、暖色系の色彩の絵画が検索されている。