1．はじめに

CrossMediator とよぶ音声、画像、動画、テキストの相互検索システムをつかうためのマルチモーダルインタフェースの構築に向けて、ここでは、２つの個別技術を示す。その１つは、距離画像をつかうジェスチャ認識システムである。距離画像をつかうことで、動作者の背景依存を除去し、また、動作者のジェスチャとカメラとの距離情報に依存するジェスチャが認識できるものとなる。他の１つは、CrossMediatorのユーザが過去に使用した検索対話の時系列データから、この対話モデルを自動的に作成する方式を示す。このモデルにより、ユーザの好みに適応した検索対話システムが構成できる。

2．ジェスチャインタフェース

図１はユーザと距離観測カメラの様子を示している。これにより図２のような距離画像が観測できる。

Figure 1:ユーザとその距離画像観測の様子

Figure 2: 距離画像からの特徴抽出

3. ユーザモデルの学習

図３のような、ジェスチャや音声での動作指示によってユーザの意図を伝えるインタフェースにおける、検索入力ー出力の対データから、図４のようなユーザのネットワークモデルを自動作成する。

Figure 3:音声とジェスチャによるCrossMediatorの使用状況

Figure 4:学習したネットワークモデルの例

4．あとがき

CrossMediatorはここで示されたマルチモーダルインタフェースと結び付けられることで、その使い勝手の向上が想定されている。