類似画像検索システムのための可視化

1.はじめに

我々は，画像自体の持つ類似性に基づく画像検索を行うシステムを，特にユーザインタフェイスの問題に焦点を当て，開発している。我々のシステムの基本的な特徴は，画像検索の結果を，画像特徴量から構成される空間上に可視化する点にある。今回の報告では，この可視化表現に関する２つのモデルについて紹介する。

2.３次元的可視化とウォークスルー機能

このモデルでは，検索結果の分布が，画像特徴量から構成される３次元可視化空間中の時空間パターンとして表現される。図１は、その表示例で，右上のパネルに表示されているのがキー画像，背景に拡がるのが検索結果が表示される「可視化空間」である。この例では，約10万件のコンテンツから，類似度が高い上位2000件の検索結果がフ最も近いキー画像の周りに島を作るような形式で表示されている。

ここで得られる空間は、日常的に経験される空間とは異なる，画像データが張る情報空間という抽象的な世界を表現したものである。我々は，この特殊な構造を持った空間に通したウォークスルー方法も開発した。従来のウォークスルーでは，「自己中心的な首振り回転によって進行方向を決め，空間中を自由に動き回る」機能と「見る対象を中心とした回転によって，対象の概観を眺める」機能とが，通常，分離したものとして提供される。我々のシステム上では，ユーザは，「２種類の３次元オブジェクトを操作する」という形式で，この２つの機能を，統合的に，かつ，より高機能なものとして実行できる。

図１：３次元的可視化

3.意味軸を用いた可視化

このモデルでは、ユーザにとってより有効な可視化表現を与えるために、フリーキーワードを外的基準とする統計的学習を用いる。図２は，その表示例である。

図２：意味軸を用いた可視化

まず，システムは，事前に、キーワードが付与された画像の集合を学習データとして、任意の画像に対して、「あるキーワードを付与する適切さ」を推定するためのパラメータを学習する。実際のブラウジング・検索時には，ある画像群が与えられるとシステムは、各画像に対して．この「適切さ」の推定を行い、次に，得られた推定値の分布から，画像群全体を特徴付けるようなキーワードの集合，および，画像群内の差異を強調するようなキーワードの集合を求める。ユーザは，インタフェイス上に表示されたこれらのキーワード中から，自らが好ましいと思うものを各辺それぞれの座標軸として選択する・各画像の座標値は，選ばれたキーワードについての「適切さ」の推定値を表す。