多元情報を用いたヒューマンインタフェース

外川文雄

（シャープ株式会社応用システム研究所主任研究員）

新機能シャープ研究室では「多元情報を用いたヒューマンインタフェース」というテーマで研究を進めています。ここでは、直観的に使え、直感に訴える人にやさしい統合インタフェースを実現することを目標としています。具体的には、「声、表情、身振りなどを使って自然に対話できるマルチモーダルヒューマンインタフェース」をめざしています。この目標を達成するには、音声、画像の認識、言語処理、バーチャルリアリティを用いて異なる情報を最適に統合する技術が課題となります。そこでマルチモーダル・ヒューマンインタフェースを実現するにあたり、人と人の間で交わされる対話過程を模範とするアプローチをとります。そして対話の様々な動作や音声をデータベース化し、対話を解析してモデル化し、そのモデルを実験システムで検証するという３ステップを繰り返しながら研究を進めています。

図 1.目標遂行の方法

マルチモーダル対話解析

人は相手の音声内容のみならず、身振り、表情といったものも利用して対話をしています。そこで人と人の間で交わされる音声やジェスチャを詳細に記録・解析できるマルチモーダル対話解析システム（図２）を構築しました。

図 2.マルチモーダル対話解析システム

このシステムでは、将来の人間と機械とのインターフェースを前提とし、被験者はスクリーンに映し出された人と、スピーカからの音声を通して対話をします。図２は、受付担当者と被験者（訪問者）が対話している場面です。二人の対話の様子はカメラやマイクを通して光磁気ディスクに書き込まれ、音声および動作等の種類に応じて、フレーム（1/30sec.）単位でラベル付けが行えるようになっています。このように作成したマルチモーダル対話データベースを詳細に観察したところ、頭の振り・顔の向き、視線方向が話し手や聞き手の意図を表わしていること、また、これら頭の振りやあいづちのタイミングにおいて、二人が同期をとりながら、協調して対話をしていることがわかりました。こうして得られた解析結果をインタフェースの設計に役立てる方法を提案しています。

認識系統合モデル

マルチモーダルデータベースの対話解析結果を基に、意図を抽出するために、音声、頭の振り、顔の向きなどの認識系を統合した「音声と身振りによる認識系統合モデル」を構築しました。これはまず、対話システム（コンピュータ側）のキーワード発話時刻や発話終了時刻に基づいてレスポンスウィンドウという時間枠を設定します。そしてこのレスポンスウィンドウ内での各モード（発話単語、頭の振り）の生起に基づいて、ユーザの意図を識別するというものです。

図 3.において、マイク・センサ・カメラ等から入力された情報から発話単語、頭の振り、顔の向きを得ます。発話単語は、質問文中のキーワードとの概念の関連度に基づいて、肯定キーワード（「はい」等）、否定キーワード（「いいえ」等）、その他キーワードの３つにカテゴリ分けし、頭の振りは縦振りか横振りかの２種類に分けます。レスポンスウィンドウ内の、これらのデータの生起状況を、マルチモーダルデータベース中のデータと比較して、肯定、否定の意図を識別しています。

このように異なる情報を統合することによって意図の識別率が向上しました。

図 3.音声と身振りの認識系統合モデル

実験システム

認識系統合モデルを使って、音声のキーワード、顔の向き、頭の振りなどを統合した「商品紹介システム」を構築しました。ここでは、マルチモーダルな入力を使うことで、ユーザの負担が軽減され、より使いやすくなることが検証されてきています。また、対話過程において、相手との動作や声の同期が重要な働きをしていることから、動作に注目した一例として、声のリズムを抽出して応答タイミングをシステム側がユーザに合わせる「じゃんけんシステム」を構築しました。ここでは、対話過程におけるタイミングの重要性と、ユーザに適応することで楽しく使えることが分かりました。

平成７年度は、昨年度の認識系の統合モデルに、情報の呈示を行うための表現系を統合した対話モデルを構築します。また表示側と認識側が協調する新しい機能を実現していきます。対話解析では、感情の解析を進めていく予定です。

図 4.実験システムの様子