人間による情報の索引付けおよび検索は、常に意味に基づいて行われる。これに対し、視覚情報の索引付けおよび検索のための既存の技術は「特徴」に基づいたものである。色やテクスチャなどの特徴測度を抽出し、この特徴側度に基づいて自己組織化および検索を行う。「特徴」に基づいた技術には、「オブジェクト」よりむしろ「特徴」により画像を比較するという欠点がある。たとえば、人間や石と似た色の犬がいた場合、その色の犬について照会を行うと、システムは人間と石を返してくる。本論文では、意味に基づいた視覚情報の索引付けおよび検索を試みた２つの研究について報告を行う。一方は、視覚オブジェクトを分類し、概念的な力テゴリを作成するものである。利用者は学習機能を用いて自分専用のカテゴリを作成し、画像および動画の保存、操作、検索を行うことができる。もう一方は、「視覚キーワード」を用いて、画像および動画の保存および検索を行うものである。「視覚キーワード」は、文書の検索におけるキーワードやn-grassのようなものである。視覚キーワードに基づいてベクトル空間を作成することで、意味による索引付けおよび検索を容易・に行うことができる。

図1.「建造物」の照会結果。概念的な照会を直接実行することができる。様々な形状、大きさ、色の建造物が検索されている。建造物と類似している「特徴」を持つていても、その他のオブジェクトは検索結果に入らない。

図2.画像による照会結果。画像を入力すると、画像の場面の構造から類似性が判別される。最初の画像には上から順に空、建造物、水がある。

結論と今後の課題

本論文では、意味に基づいた画像および動画の索引付けおよび検索を行うための２つの方法を紹介した。家のデジタル写真の索引付けおよび検索において、非常に有効な結果が得られた。今後の研究では、この方法を他の問題に一般化できるように、完全な技術的枠組みの開発を行う。