－電総研 情報統合対話ラボ－
音声と画像の統合による対話の研究
速 水 悟
（電子技術総合研究所 知能情報部）
■はじめに
所属の「情報統合対話ラボ」というのは仮称です。 電総研では、平成８年１０月より現在の研究室制にか
えて、ラボ制が導入される予定です。この「情報統合対話ラボ」も、正式には１０月に発足予定ですが、ラボ制の導入を前に実質的な活動を既に行っています。
これまで電総研では、音声、画像、自然言語といっ
たさまざまな研究分野別に各研究室で探索的に研究を 進めるとともに、分野を横断的にまたがる組織として、新情報計画室が設けられ、情報統合と学習に関する研
究が行われてきました。
ここで紹介するラボの研究は、これまでの分野別の研究と新情報計画室での研究成果を受け継ぎつつ、「情報統合と実世界性」により重点をおいて、対話における音声と画像情報の統合の研究を進めていこうとするものです。ＲＷＣ計画の前期から後期への転換点にあたって、電総研もラボ制が導入されることは、良いタイミングであるといえるでしょう。
■目的とねらい
人間と人工物（人工的なシステム）との自然な対話
を実現するためには、さまざまな技術的課題を解決していかなければなりません。ここで想定している人工物のイメージは、人間の顔や体をコンピュータグラフィックスで合成してさまざまな表情や身振りをさせる
とともに、人間の目、耳、口にあたる機能を画像認識、音声認識、音声合成によって行う擬人化エージェント
です。
技術的な目標は、音声認識、音声合成、画像認識、 画像合成を統合することによって、人間との自然な対
話を実現することです。
このような人間と自然に対話できる人工物が実現すれば、簡単な受付を行ったり、人を探してメッセージ
を伝えたりといった、従来は人間が行っていた業務を、人工的なシステムが代行することができるようになるでしょう。
■内容
相手に情報を伝達するのに、音声と画像情報を使う場面は、日常生活においてしばしば出現します。たとえば、声を出して相手に言葉を話すことで言語情報を
伝達し、身振りや表情によって非言語情報を伝達するということがよく言われます。また人間との情報伝達に用いられる画像情報の例としては、相手に物体を見せたり、指で差し示したりするというものもあります。
われわれは、人間と人工物との対話において、こうした音声と画像情報をどのように用いるかについて研究を行っています。
研究開発の課題としては、音声と画像を用いた対話において情報をどのように統合するか、言葉では伝えにくいことをどう扱うか、自然な対話をいかにして実現するかといったことがあります。
音声と画像情報の統合には、さまざまな形態があります。たとえば２つの種類の情報を統合することで、これまでにはない新しい機能を実現したり、情報をあわせて用いることで性能を高めたりすることなどが考えられます。
また人間の身振りや表情には、言葉で表わしたり他の人に伝えたりすることが難しいという性質があります。発話においても、韻律や時間的なタイミングは言葉では表わしにくいものです。こうした言葉では表わしにくい、他の人に伝えにくい情報をうまく扱っていくための技術が重要な課題の１つです。
もう１つ、言語情報を用いた対話においても、自然な対話を実現するためには、こうした対話を適切に扱うための研究が必要です。
■アプローチ
図１に示すのは、昨年度に開発した音声認識、音声合成、画像認識、画像合成を統合したマルチモーダル対話プロトタイプシステムの構成です。音声対話機能、顔および物体認識機能、顔表情と上半身の表出系を統合したものです。これらの機能によって、人物を識別してシステムから話しかけたり、不在にするときに帰る予定時刻を伝言させたり、電子メールの着信を知らせるようにさせるなどのことが可能となっています。
音声と画像を用いた人間との自然な対話の実現のためには、システムの挙動を開発者がすべて記述するのでなく、音声と画像が対話においてどのように使用されるのかについて、音声と画像の情報を統合した対話によってシステムに教えることが必要になると考えます。つまり、音声と画像を互いに教師信号として、音声を用いて画像の使用について教えたり、画像を用いて音声の使用について教えたりすることが必要になるでしょう。
われわれは、これを「インターモーダル学習（
intermodal
learning）」と呼んで、音声と画像情報を用いて自然な対話を実現するための、カギとなる概念であると考えています。その際に音声と画像を記号化して扱うだけでなく、パターンのまま扱って対話することを可能にすることが重要です。
また人間の身振りや表情、物体を見せる仕草などを扱うためには、動画像の認識技術を開発する必要がありますし、音声との統合を行うためには「時間」を適切に扱っていくことが重要です。
現在、このような音声と画像を統合した対話について、情報統合手法の理論的解析、テストベッドとしての実験システムの構築、実データによる有効性の評価を行うとともに、自然な対話のための対話処理についての研究を行っています。
実データによる有効性の評価のためには、こうした対話における音声と画像情報を大規模に集積することが必要です。これに対して、データベースワークショップの下にマルチモーダルデータベース委員会を組織し、関係研究機関の協力のもと、ＲＷＣマルチモーダルデータベースを作成中です。
こうした大規模な実データによる実証的な研究によって、本当に使い物になる技術を目指したいと考えて
います。
図１ マルチモーダル対話プロトタイプシステムの構成
|
