マルチモーダル機能領域における研究開発状況

3つの実証システムのうちの1つ、マルチモーダルシステム領域の主査をさせていただいております坂上です。基本計画の「目的」にありますように、情報世界と人間との接面にあって音声や画像などを合わせた通常の自然な対話様式、モダリティでコンピュータの利用を可能にする次世代ヒューマンインタフェースの研究開発を行うこと、これを題目にしています。非常に大それたことというのは、よく分かっており、なかなか大変だと思っていますが、これを目指して頑張っております。

■ マルチモーダル対話システム
　この分野は初めての方もいらっしゃると思いますので、我々が電総研で2年ほど前に電子秘書というプロトタイプシステムを開発した際のビデオを持ってきましたので、まずそれをご覧にいれたいと思います。
　コンピュータの前に座っただけでそれが誰かを認識し、自然な会話で簡単な受け答えをするマルチモーダル対話システム（以下、ビデオの音声：カタカナはエージェントの声（図1））

図１.エージェント（仮想人物）

コンニチハ、イトウサン
こんにちわ。
これから出かけたいんだけど。
ナンジニ　モドリマスカ
4時に戻ります。
ワカリマシタ
さようなら
サヨウナラ　イトウサン

（しばらくして別の人がやってくる）

コンニチワ　ハセガワサン
伊藤さんはどこ？
ヨジニ　モドリマス
ありがとう

　このようなシステムを2年ほど前に開発いたしました。マルチモーダル対話システムと称する、見て聞いて笑顔で話しかけるコンピュータです。機能としては、顔を認識し誰であるかを判別する機能、不特定話者の音声を理解する機能、それから合成音声で喋る機能、そして顔を持って表情を変える機能があります。もともとは音声対話システム、渋谷の道案内システムというものを考えていた音声ベースの研究でしたが、それをマルチモーダルにしたものです。要するに四角いコンピュータにはなかなか人間も話しかけにくい。そうしているうちに、顔を付けたらいいのではないか、更にはユーザが誰であるかを認識できたらいいのではないかというところで、よりフレンドリーな対話ができるようになってきた、というシステムです。

　実はこのシステムは、顔認識をするというのが非常に重要なポイントになっています。実際にあるユーザの顔を例えば100枚覚えさせて、そこから特徴量を抽出する。実際には電総研の大津部長がずいぶん前に考えられた25次元の高次自己相関特徴という特徴です。細かいことは省略いたしますが、こういった非常に汎用的な特徴を使うことによって汎用認識システムができます。だから顔だけでなく、何でも見せて覚えさせて認識することができる。この枠組みが学習ということでありまして、実世界知能にこのまま発展させていきたいなと思います。これが1つのブレークスルーですね。何に対してでも使える認識アルゴリズムがこれで1つできたので、これをもっと一般的に拡張していって、マルチモーダルインタフェース、マルチモーダルシステムの基本的なコアとして、さらにその周りを発展させていこうかなと考えております。

図２

■ 目指すイメージ
　実際に世の中では、音声認識とか顔認識など、いろいろと皆さん研究されています。コンピュータと人間とのインタフェースというのは、私も学生時代にトグルスイッチでやったこともありますし、それがだんだんボタン、カード、キーボード、最近ではマウスとかグラフィック・ユーザインタフェースに発展していきました（図2）。

　音声認識というものもIBMの音声認識ソフトを始めかなり実際にコンピュータに使われ始め、多分これからもどんどん発達していくと思いますが、恐らくその伸びる方向は、右の方向に進むだけであろうと思います。要するに操作方法を習熟する手間が減るぐらいの伸びで、縦の上の方に行く軸に関してはもうひと頑張り必要ではないかと考えています。上に行く軸というのは何かと言いますと、要するに明示的に指示をしなくても情報がコンピュータに伝わるという軸です。縦の方向にいくためには、いわゆるインタフェースと言っても優秀な人に「例の件よろしく頼むよ」というような感じのインタフェース。あるいは言わなくてもユーザの顔付きをみて何をしたらいいかをコンピュータが理解して、勝手に、というと怖いですが適切な処置をしてくれる、そういったものの軸、そちらの方向の進歩が必要だろうと思います。我々のいうマルチモーダルインタフェース、マルチモーダル機能というのはそちらの軸への発展を願って、最終的にはコンピュータと人間がお互い仲良くコミュニケーションできる世界を目指していこうと思っています。　最終的にはどんなイメージか。実はこのマルチモーダル機能領域は、各分散研、電総研、TRC、それからアドバイザーとして今日この後のセッションで座長をされる白井良明先生に顧問として加わっていただきまして議論を進めております。最終イメージがどのようなものかというのはショートレンジでも考えていかなくてはいけないし、さらにその先のことも考えていかなくてはいけない。いまは、何となくこんなイメージを皆で持っています（図3）。

図３.オフィスにおけるマルチモーダル対話システムのイメージ

　私が描いた絵なのでやや画像研究に片寄った雰囲気もありますが、こういうイメージを持っています。オフィスで、あらゆるものがごちゃごちゃ散らばっているのを何とかしたいなという発想があります。テレビカメラが2台とは限りませんが、コンピュータは端末としてあるように見えますが、気持ちとしては部屋全体がテレビカメラでその人間を何となく見守っているという、そんな感じのシステムです。

　例えば、この人が何か四角いもの、どこかから届いたものか何かをこちらに置いたとする。そうすると私だとすぐ置いた場所を忘れますので、コンピュータが「おや、見たこともない四角いものをしまいこみましたね、それは何ですか、覚えておきます」と言う。ユーザはそれを見せて「これはアレだよ、コレだよ」と言葉で言ってやる、そんな感じです。そうすると、別の日、「これぐらいの箱どこへ行ったっけ、四角い箱どこへ行ったっけ」と言うと、コンピュータのほうは「忘れっぽいですね」と。「棚の右上ですよ」と言う。そのときに例えば、エージェントが実世界に対して指をさしてくれるなんていうことができたらいいかなと。そんなイメージを持っています。

■ アプローチ
　では実際に何をやっていかなくてはいけないかというと、本当のことを言うとやらなければいけないことはとてつもなくたくさんあります。ただ、限られた時間、限られた予算、限られた人材で最適の効果を出していこうということで、前期の探索的な研究のあと、後期はかなり絞り込みをしています。基本的には、まずは人間の発する情報をコンピュータが分からなくてはいけない。そこで必要なのはマルチモーダルの情報統合です。人間の発する情報というのは動き、顔、表情、音声、あらゆるものがあります。いずれにしても1個のモダリティだけの情報ですべてを理解してやろうということよりは、いろいろな情報を掻き集めてより確かなものがコンピュータに伝わるような状況にしないといけない。そのマルチモーダル情報統合というのが1つの枠組みであろうと考えています。

　それともう1つ、先ほどのイメージ図にもありましたが、ただ単にコンピュータに情報が流れ込む、それも大事ですが、人間の場合もやはり、対話するふたりは存在している場所全体に関する共通の情報というものを共有しています。そこのところをうまくやらないといけないのではないかなと考えています。例えば、この部屋にどういうものがあって、他に誰がいるとか、そんな簡単なことから始まり色々なレベルのことがありますが、そういった人間とコンピュータとの情報の共有が必要ではないか。ここで重要なことは、マルチモーダルですので、音声、画像、いろいろなモダリティを使いますが、何と何を使って何かをやらなくてはいけないという手順を全部事前にプログラムするという発想はリアルワールド的な発想ではないのではないかということです。要するに、いろいろなモードの情報を使うときにそれを有効に使う手法というのはシステムが自然に学んでいかなくてはいけない。ここにもたぶん学習という側面が入ってくると思います。そういう意味で実世界知能の基本的な枠組みである情報統合、それと学習、この2つが我々の領域の中でもしっかりとした2本の柱になっているのではないかと思っています。

　もう少し整理しますと、究極的に言えば人間が発する情報の把握、ここにはマルチモーダルの情報統合ということが大きく関わってきます。それから環境の把握。人間と同じようにコンピュータも環境を把握して人間と情報を共有するという意味です。その2つが基本的に大きな課題ではないかなと思っています（図4）。

図４.マルチモーダルシステムへのアプローチ

　では、実際にここで我々のワーキンググループの中で電総研、各分散研、TRCがどのように研究を分担しているかに少しずつ入っていきます。人間の発する情報の把握に関しては、基本的にはいろいろな情報を統合する技術ですが、どのような統合のやり方があるか。これはあらゆる情報の統合があると言ってしまえばそれまでですが、ちょっと絞って考えてみます。

　図4の一番上の手指・非手指というのは手話理解を想定した話です。手話の場合の手の動き、それからそれ以外の顔の表情とか首の動き、そういったものをすべて統合して今まで以上に認識率の高い手話通訳ができる、そういうことを目指してやろう。1つの手話、手の動きだけというのではなく、人間がやっているのと同じように他の情報もいろいろ使ってやろうという考え方です。

　2番目は、言語・非言語。非言語というのはノンバーバル・インフォメーションですね。要するに言葉ではない情報。人間の対話における非言語な情報というと、例えばうなずきだとか相槌だとか、そういったものがあります。これは単独で何もしないでただうなずいているのではなく、基本的に言語情報とくっつけて議論しなくてはいけない。そういう意味で言語と非言語の統合というものを考えていかないといけない。

　それから3つ目は音声とジェスチャ。そもそも人間は話すときに直立不動で話すのではなく、いろいろなジェスチャをしますが、当然音声とジェスチャは密接な関係がある。それを2つ合わせて受け手は理解しています。いずれにしても複数の情報を統合して人間からの情報を把握するという枠組みをやっていかないといけないと思っています。

　それぞれ手指・非手指に関しては日立。それから言語・非言語に関してはシャープ。音声・ジェスチャに関してはTRCの岡さんのところで研究されておりまして、この後のセッションで発表があると思います。

　それから環境の把握。人間が存在している周りのことも分かった上で言っていることを理解しなくてはいけないということですので、どちらかと言うともっぱら学習的な側面が強い技術です。部屋の中では、例えば3次元の形状や、いろいろな所に存在している物をシステムが理解する。例えば後ろを人が歩いたら誰か後ろを通ったということを人間と同じようにシステムが理解する。そんなことをやっていこうということです。大事なことは、部屋の中に存在する物とかすべてを認識するための情報を人間がいちいちエディタで準備していったのでは大変なことになる。何をしなくてはいけないかというと、認識したいものが現われたらコンピュータにそれを見せて覚えさせ、「これ覚えてね」という感じで認識させる。そこがリアルワールド的な発想かなと思っています。そのときに学習によって覚えさせる。先ほどの顔認識のときに見せて覚えさせたのと同じような発想が使えないかなと考えています。単に画像の認識のようなことになってしまうとマルチモーダルという全体の御題目から離れてしまいますので、覚えた物が何かというときに、それと音声信号との対応をとる必要があるのではないかという発想があります。この部分が実はインターモーダル学習というテーマになっています。電総研で開発されていますし、後ほど理論アルゴリズム基盤の発表のときにまたちょっと触れられるかもしれません。

■ 研究体制
　研究テーマ、分担に関して図にしてみたのがこれです（図5）。一番左はRWC以前です。例えば、画像認識、音声認識、自然言語認識、それから音声合成とかマルチモーダルのいろいろな個別の情報に関するそれなりの研究というものがあった。それがRWC前期の中でところどころ融合を始めている。例えば、先ほど紹介した電子秘書システムは前期の我々の成果の1つですが、音声認識と画像認識と音声合成、それからCGエージェントと書きましたが情報の表出というところで顔を作るというところ。そういった個別の要素をある意味で寄せ集めた感じになっています。

図５.マルチモーダル機能領域技術鳥瞰図

　RWCの後期はそれをもう少し深いところで繋いでいこうという考え方になります。1つのやり方としては、マルチモーダル情報の統合をもう少し組織的に、どことどこが統合できるのかということをしっかり詰めていこうということです。先ほど言ったように、言語・非言語、手指・非手指、音声・ジェスチャーといったところになります。それからこちらにあるのは、これも先ほど言ったように環境把握に関する基本的な技術で、学習による実空間中の人物や物体の認識。見せて覚えたものを、今度は何がどこにあるか、何がどこでどういう状態になっているかというのが分かるという研究です。それからもう1つ、広範囲型3次元受像画像センサと書きましたが、何がどこにあるかというときには、その入れ物の形も暗黙のうちに分かっていないといけないんですね。そういうところでステレオを利用した3次元の形状のセンサはどうしても必要だなと考えております。

　これらを繋ぐものとして、モード間の対応付けの学習ということでインターモーダル学習が非常に重要な切り口ではないかと思っています。このインターモーダル学習に関しては、まだ基本的、理論的な研究の段階です。今の時点ではリアルワールドではなくてトイワールドの実験しか行っておりませんので、これは実際に使う実世界対応にしていくときの問題点をあと残された少ない時間で少しでも解決し、広げていくのが重要なキーではないかなと思っています。

　図5には分担体制を書き加えました。インターモーダル学習は電総研の速水さんのラボ、先ほど言いましたように手指・非手指のところは日立、言語・非言語はシャープ、音声・ジェスチャはTRC、それから別格的に重要なテーマとして顔の表情の認識があるんですが、そこはシンガポール、ISSではなくて新名称KRDL、それから環境の把握に関しては電総研の私のところと三菱と三洋で、ヒューマンインタフェースのための画像処理技術ということで人物や物体の認識、状態の認識をやろうとしています。それから筑波大の大田先生、奈良先端科学技術大学院大学の横矢先生のところに、広範囲型3次元画像センサの部分を研究協力という形で分担してもらっています。それからNTTに、そもそも人間のマルチモーダル情報処理というのは頭の中で何をやっているかという基本的なところを研究していただいています。これももちろん今日発表があると思います。得られた知見がそのまま処理プログラムに反映するというわけではないかと思いますが大事なところとして押さえておく必要があるのではないかと考えております。

■ 画像技術の役割
　マルチモーダル機能の研究というのは、かなり昔から対話屋さんとか音声屋にとって、画像がどう関わるかが重要な話なんですね。昔から私は画像研究者で、画像のセンサなんていうのは滅多なことでは使えないという話もいろいろありました。これをマルチモーダルインタフェースに使うというにはそれなりの覚悟というか、問題意識があります。

図６.画像研究とその応用の歩み

　画像の歴史をここで振り返ってみますと（図6）、もともと例えば二値化とかエッジ抽出とかいう非常に単純な手法があり、それが皆さんご存じのように半導体製造におけるワイヤボンディング自動化などいろいろな産業へ応用されています。なぜ応用できたかというと、要するに例えばシャープペンシルの形を認識するというときに、こういう所（机の上）に置いてもだめなんで、ここ（OHPの上）に置くとくっきり写る。つまりバックライティングだとか照明に最大限の苦労をする。悪い言い方をすれば画像処理をしなくても済むようにすると画像処理が応用できるという感じになります。ご存じのように画像の研究は1980年頃までがこうだとすると、そのあとコンピュータビジョンと称される3次元とかモーションとかの研究がアカデミアの方で始まりまして、現在はたぶんこのへんかなと。そろそろ何に使えるかを考えていくと、おそらく実世界へのビジョンシステムであろうかなと思っています。これを脱産業と名付けました。そのときにやらなくてはいけないのは要するに、産業で照明の工夫とかをさんざんしたのに、こちらになると難しい手法を難しい場面で使わなくていけないので何か工夫しないと、とても使いものにならない、と思っております。これが何かというのは観念的な言い方をすると、ヘリコプターは別にして、シートを被せるという言い方を私はよくしていますが、ある程度のことはできたことにして先に進む。行き着く先に行くには地ならしをしなくてはいけないのだけれど、コンピュータビジョンの課題を1個ずつ潰していかないと山に登れないと思っているといつまでいっても登れないから、この部分にバーっとビニールシートを敷いて先に行ってしまおうという発想です。

　おそらく、このシートとしてやらなくてはいけないのはマルチモーダル対話システムと言っているように、対話性というのが大事かなと思ってます。今までのシステムは全自動を目指したのですべてコンピュータがやってしまわないといけない。だから間違いは許されなくて基本的に100％を目指さないといけない。でも、マルチモーダルシステムの中での画像技術というのはそんなことは望まない。間違えたらどこが間違えたか分かればいいし、場合によっては対話でコンピュータに間違っているよと教えてやればいい、そういった発想が大事だと思っております。体感的に100％なら良いわけです。例えば、「ほらこれだよ」とコンピュータにその形を見せるときも（図7）、普通ならステレオ対応付けを全面にわたって完璧に求めるというのがターゲットですが、リアルワールド的な発想で言えば、簡単に求めることのできる瓶の向こう側だけをちゃんと求める。あとは「反対側は分からないから見せてください。横の部分が分からないから見せてください。」とコンピュータにしゃべらせて人間が動かしてやる。そんな発想をやっていく必要があるかなと思っています。あともう1つは、ステレオ対応付けの場合だと全画面やるよりは、現状で使えるのは、大まかな対応をとって、この物体がどのへんにあるかなというのなら非常に安定に分かります。そういった安定な手法だけをうまく使ってやるというのも1つの手かなと思っています。

図７.対話的な画像技術

　最後に1つ、我々の最新の成果である、先ほどのシステムでイメージで言うと、「ほらこれ覚えてね」という感じのシステム。そんな感じのデモンストレーションのビデオをお見せします。これは顔認識のときには目の前にいる人が誰であるかということしか分からなかったけれど、実際にはふたり人がいたら、誰と誰か。ある人が何かを持っていたら、その人がコップを持って前にいるというようなことが分からないといけない。そのためには何とかして対象物がありそうな領域というのを抽出しないといけない。そのやり方として、荒っぽいステレオならば非常に安定できるからそれを使ってしまおうという発想です。この部分にリアルワールド的な発想があると思います。それによってこの固まりを見つけて、そうすると今度はそれが何かなというのは細かい画像を見て調べるということをやろうとしています。
　ここでビデオをご覧下さい（図8）。

図８.実時間複数物体認識システム

　一番上の右と左がステレオ画像です。これがコンピュータ側から見た手前にある物体です。そこに何があるかということで依田くんの顔と何かと何かと、3つの物体までリアルタイムで見つけることができます。また、人間にだけ反応するようにすることもできます。依田くんがいて、渡辺さんが来て、渡辺さんが出て、依田さんが出たと、そんなことも分かります。物体の組み合わせの場合だと依田くんという人の顔と、持っているコップというものを奥行き情報によって切り出して、それぞれが何であるかを認識し、コップが顔に向かって動いているということを使って依田くんが今コーヒーか何かを飲もうとしているというのが分かる。そんなことができるシステムになっています。リアルワールドでやる以上、ある程度実時間で動かないといけないという縛りもありますので、そのへんも大事なポイントだと思っています。また、背景に関してはステレオ情報を使いますのできれいに影響が取り除かれてしまいます。従って物の形を取り出すときにはその背景が何であってもだいじょうぶです。この手のシステムは、おうおうにして後ろが暗幕でないとだめだとかいろいろありますが、我々のシステムは普通の汚い実験室でもだいじょうぶです。

■ インターモーダル学習
　最後にもう1つ。インターモーダル学習に触れておきます。
　電総研でいまインターモーダル学習というのをキーワードにして研究しています（図9）。要するにモード間の対応付けを学習するということなんですが、ある物の画像信号とその属性の音声信号との対応をとるという研究です。要はコップとかペンだとか赤いとか、認識すればいいという問題ではなくて、音声の波形と、例えばコップならコップの画像信号との対応です。どういうタスクをやっているかというと、このコンピュータに対してこれを見せて声として「コップだよ」と言います。それからこれを見せて音声として「ペンだよ」と言います。それからこれを見せて「赤いんだよ」と言います。大きさとか形とか色とか、物体には属性がいろいろありますが、どの属性を言っているのかを指示せずに、ただ単にその属性の1つを声で音声信号として紹介する。そうするとシステムのほうはいろいろ聞いてぐちゃぐちゃと悩んで、そのあとでこれを見せるとシステムは「赤いコップだよ」と言ってくれる。そういったことをやろうとしています。どの属性か分からないというところに隠れ変数というものが出てきて、それをその状態で対応付けを学習するところにEMアルゴリズムを使うという枠組みです。これは先ほどの部屋の中の何がどこにあるかというタスクにうまく組み合わされるとおもしろいかなと思います。以上です。

図９.インターモーダル学習