■
研究の背景と目的
実世界知能技術の中での自律学習機能領域の研究のリーダーをしています電総研の松井と申します。我々のグループの研究の現状といたしまして、研究の目的、研究の項目、研究の実施体制、それから主に再委託大学の成果についてお話をします。その後、我々電総研での研究の内容をお話致します。それから来年以降の計画に触れたいと思います。
今朝ほどの田中先生のイントロダクションでパーソナルアンドネットワークという軸と、それから使い易さの抜本的解決、専門家のための情報機器から万人が使える情報機器へという方向性が示されまして、正に我々の考えている通りのことをご指摘いただいたと思います。その中で多様な情報に関しては自己組織化、多様なメディアに関してはマルチモーダル領域、それから我々自律学習の領域は勝手に学ぶという言葉で紹介されました。
確かに自律学習という言葉そのものは自律的に学習するということなのですが、より細かく言うと、オフィスにおける移動ロボットによる情報サービス・エージェント、すなわち自律的に移動しながら環境や人々の行動を学習するということです。つまり、自動的に何か学習していくというよりも自律的に動いて情報を集めるというところに1つのポイントがあります。オフィスの構造ですとか、人々の行動を学習しますが、そのときに重要になってくることは、いろいろな情報を統合的に扱うということです。また、ビジョンやボイスや対話や音やナビゲーションというようなことを統合的に扱うところがポイントになるかと思います。そういう点で先ほどの坂上さんの発表の部分とも大きくだぶりますが、移動するということ、それから移動に伴って生じる人とのインタラクションというところが違うところかと思います。
こんなものを何に使うかというところもありますが、1つ考えていますのは、先ほどの話にもあった、専門家のシステムから万人向きの情報機器へということで、どこでも使える安価な情報サービスシステムというものを考えています。WWWなどを使いますと地球の裏の情報にもすぐにアクセスできるわけですが、実は隣のオフィスで何が行われているのかもよく知らないということが今起こっているわけです。そういうことをサポートするためにロボットが自動的に動いていって、いろいろな人がどこで何をしているかという情報を収集してくれるシステムを考えています。そのために自律的にいろいろな環境に対応すること、それからいろいろな情報を統合的に使うことが研究の内容です。応用としては、道案内とか、人探しとか、スケジュールのアレンジなどを考えています。
学習ということを考えたときに常に作り込みとの比較が問題になります。普通はプログラムを初めからそのために作っておけばいいじゃないかとか、学習なんかするとよけい時間がかかってしまうだけで良い性能が出ないよ、とよく言われます。確かに静的な問題ではそういうことが言えますが、こと人間が関わってくる問題に関してはそうではなくて、学習が有効に働くであろうと思います。というのは、人間というのはダイナミックなものですから、何か言われると次に全然違う反応を返してきたり、突拍子もないことをしたりするわけです。そういう実世界の中に更に人間がいるということでいろいろなおもしろい現象が起こってきて、そのためにはどうしても学習的な機能が必要である、と考えています。
そこでオフィスロボットを応用として考えています。オフィスロボットというのは人間や環境に関する学習の能力が必要でしょうし、人間を相手にすれば泥棒を見つけるというようなことに関しても状況の変化に対応する機能が必要になる。それからミュージアムや公共施設での案内ロボットのようなものや自動車椅子。あと何年かすると高齢化社会で日本中老人が満ち溢れ、私などもその真っ直中に放り込まれるわけですが、そのときに声でお話をして人間の代わりに動いてくれるようなものがあればいいなということがあります。それからパーソナルナビゲーションシステム、カーナビのさらに小型のものというようなイメージもあります。
研究の項目としてはいろいろあり、ビジョンに関しては先ほどの坂上さんの発表にあったような物を見つけるということよりも、むしろ場所を見つけること、人を見つけて追跡していくというようなところが問題になります。それから実世界に溢れている音、声だけではなくいろいろな雑音的な音を有効に使おうということや対話の問題があります。それからナビゲーションの問題。信頼性の高いナビゲーションをするということ。それから自律的に探索をする計画。また、これら全体の学習とか確率的な事象の表現の問題。全体を統合して実現するインテグレーションの問題があります。
■
研究体制と各研究機関での研究の概要
現在はこのような（図1）体制で研究開発に臨んでおります。電総研を中心として、分散研への委託と、大学への再委託という体制です。東京大学には主に実時間ビジョンの部分、それからオーストラリア国立大学にはビジョンを使ってナビゲーションをするという部分、筑波大学には地図の作成の部分。また、大阪大学にはいろいろな状況でのセンサの使い分けの学習の研究をお願いしてあります。SNNはオプティカルフローに基づいたナビゲーション、あるいはビジョンを使ったロボットの位置同定の問題。SICSは動的なシミュレーションですとかロボットの知識、意識の問題。富士通は分散知能における学習の問題。それからMRIでは環境音の認識を研究しています。
図１.自律学習機能領域の研究対制
昨年度までの研究成果ですが、羅列するとビジョン、音響、ナビゲーション対話、地図学習、ラーニング、それからアーキテクチャなどが挙げられます。電総研の部分はあとから述べますので、まず分散研と再委託のところを簡単にご紹介いたします。
まずMRIでは音響に関する環境の認識の部分をお願いしています。ここでは空調の音ですとか物がぶつかる音などを、音声ではなく雑音的な音を認識します。音響信号からスペクトルが得られるわけですが、これをそのまま認識しようとしてもなかなかうまくいきません。それでこれを擬音の表現、例えばカンとかチンとかパンとかという音に一旦マッピングして、その上で認識をしようという方式をとっています。擬音語の母音において違いが生じてきます。例えばコンとカンとキンを比べると、キンが一番高い音で、コンが一番低い音として認識されます。それから音の継続時間に関していうと、チッとかチンとかチーンというような言葉として音の長さの違いが表われます。こういうものにマッピングした上での環境音の認識を研究してもらっているところです。問題は認識に少し時間がかかるところで、その部分を改善するためにDSPを使ったシステムを試作しています。
東京大学ではビジョンの研究をしていますが、東京大学の井上・稲葉研究室では何年も前から相関を使ったトラッキングビジョンの研究をしています。ビジョンの基本的な問題として、認識の前に物が動くのを発見する、動きを追跡する、ステレオのマッチングをとる、オプティカルフローを出すなどの問題があります。東大は、高速なテンプレートマッチングでこれらの問題を解決する方法を提案してきましたが、今回はそれに加えて色の情報を使うことで領域の区別をする、領域の分割をするという部分をやりました。これは動きの情報と色の違いの情報を統合的に使うことで、領域の分割ができるようになりました、ということです。オフィスの環境の中で人を見つけて追跡する上で、動きだけではなくて色は重要な情報ですので、それを使って信頼性の高いセンシングをしようということに繋がると思います。
次にオーストラリア国立大学のアレックス・ゼリンスキーの研究室ですが、同じくビジョンを使ってナビゲーションをするという研究をしています。オフィスの足元の画像を使って、どこが空いているかを見つけてそこに舵を切り、もし何もなければどんどん前にいくという行動をしたり、前に障害物があるので１回バックしてそれから左に曲がって空いたところに行くというような行動を生成したり、何か物を見つけたらそれをどんどん追跡していくというような行動をする、というような研究をしてもらっています。
SNNではオプティカルフローを使ったナビゲーションの研究をしています。元の画像からオプティカルフローを出し、この中で信頼のおけそうな部分を出すために1回画像の変換をします。そこから両方を使って、この部分はどうも信用できない、この部分はノイズであるということではね出して、自分を中心にしてどこにどう見えるはずかという予測の地図を描きます。それらを統合的に使って、この状態からどちらにステアリングを切ればいいか、どちらが空いているかというのを出すナビゲーションの研究をしています。
大阪大学の浅田先生のところでは、センサの使い分けの研究をしています。移動ロボットはその周囲からソナーによって得られる距離情報を得ます。これに基づいてロボットはいろいろな行動をとるわけですが、ある環境である行動をしたときにうまくいくということを学習します。同じことを別のところでやると必ずしもうまくいかないわけで、どこかで失敗します。行動がうまくいかなくなるということが検出されると、それで環境が変わったということを認識して、そこから別の学習を起動します。そのときに一から全部学習し直すのではなくて、今まで得た情報の中で、今の情報と似ているものはそのまま生かして、新しい情報をプラスして再学習するということで、強化学習の効率的な実行ができるようになるという研究をしています。
SICSのマーティン・ニルソン研究室では、ロボットが複数台いて、それが協調するという、このプロジェクトの中ではわりと先を見つめた研究ですが、2つのロボットが協力し合って何か作業するという場合に、相手がいったい何をしようとしているかということを推し図ったり、動的にそれをシミュレーションしてみたらどうなったからこうなんだろうというように相手の行動を推測するというような研究をしています。応用としてはドッキングですとか、受け渡しですとか、こういうモジュールを持ったロボットにするとか、再構成可能なシステムにすることを挙げています。
筑波大学の油田先生のところの研究をご紹介します。これはやまびこロボットの発展形で、今までの超音波センサに加えてレンジファインダーを備えています。3方向のより細かい距離画像を得る機能を備えています。こういう環境で得られる3方向の距離画像に対してクラスタリングを行い、さらに各々の系列に関して直線分の当てはめをするとこういう環境の記述の要素が得られます。これをさらに接続していって、あるいは何回も同じところに来たらどういう画像ができるかというとまた違うわけですので、それを重ね合わせて学習して、より完全な地図にしていくところが、来年期待されるところです。
■ 電総研RWIセンターでの自律学習機能の研究：事情通ロボット
図２.廊下で道を尋ねる事情通ロボット
さて、電総研では「事情通」というオフィスロボットの開発をしています（図2）。これはオフィスの環境で対話をしながら人の行動を学習したり環境の地図を学習したり、最終的には人探しをしたり、ということができるようになるロボットを目指しています。その中で要素となる研究をいくつかピックアップしてご紹介いたします。
顔認識、音響のビームフォーマ、それから全方位カメラを使った位置固定、ニューラルネットを使ったナビゲーションの学習、対話による地図学習などを順番にご紹介します。
顔認識の部分は、先ほどの坂上さんの発表にもありましたが、高次自己相関を用いています。顔認識はオフィスの中で人を見つけて近よるとか、人の判別をするために非常に重要な機能になります。以前の方法は、顔の位置の投影図内の平行移動に関しては強いですが、顔までの距離が変化したり、顔が回転するということでうまく認識できなくなるという問題がありました。それを補うために画像を極座標に変換し、動径距離についてはlogをとる変換をします（図3）。すると、顔が回転したり、大きさが変化したりしても、それらは変換画像中では平行移動に写像されるので、この中で高次局所自己相関をかけると顔の認識がうまくいくという結果が得られています。これはその結果ですが、顔の大きさが変わってもここにいるというのが分かりますし、回転しても顔の位置が分かります。
図３.距離、角度変化に依存しない顔認識のための画像のログ・ポラー変換
それから音響に関しては、ロボットがオフィスの環境で音声認識をするわけですが、先ほどの坂上さんのフィルムではマイクに向かって話をしていましたが、そういう状況では非常によく音声認識で当たるのですが、オフィス環境で離れたところから話しかけるとエコーがあったり周囲のノイズがあったりして必ずしも音声認識がうまくいきません。それでこのロボットにはDSPのボードが2枚積んでありまして、雑音除去の仕事をしてくれます。8個マイクロフォンがあり、どちらから音がするかを見極めてその方向にだけ指向性を振ります。それでノイズを除去して認識率を上げることができます。2つ目のDSPはVQコードを出すための音声認識の初期処理をします。これは実時間での音声認識をするために必要です。これはその結果得られたそのビューフォーマの性能を示す絵で、ある方向にだけ指向性が得られています。こちら側のノイズだけが削られるわけです。音声認識の結果、雑音が多い場合はかなり音声認識が改善されるという結果が得られています。
ロボットは自分がどこにいるかいつも不安で、自分の位置を見つけなければなりません。そのために予備的な実験として全方位カメラの画像を用いて、自分がどこにいるかを見つける実験をしました。全方位画像中で同じ円上の点列輝度の平均をとります。同心円の直径を変えて行くと、90次元のベクトルが得られます。ロボットの方向によらず輝度分布で、場所が違うと違ったグラフが得られますので、それを使って部屋の中での場所決めをしようというわけです。いろいろな場所の画像の90次元の特徴に座標値を割り当てておきます。それが終わったあとで別の絵の特徴を使ってやるとだいたい近いところと判別できる。さらにこの方法の良いところは、2つの場所の中間で得られた特徴に対して、画像の変化が連続的な場合は中間としての座標値が得られることです。言ってみれば多次元のベクトルを仮想的な座標系として使えるわけで、絵さえあればあなたがどこにいるかすぐに分かる。行ってみたこともないところでも連続性があればどこに行くか分かるという具合になっています。
それからナビゲーションに関しては、ニューラルネットワークを使った学習的なシステムを作ろうとしています。たくさんのニューラルネットにいろいろな行動を学習させます。各ニューラルネットは時系列を扱えるようにリカレントな帰還を加えておきます。行動というのは右に回って左に曲がったり真っ直ぐに行ったり、いろいろな要素行動があるわけですが、各行動に関してうまくなるネットワークと下手なままのネットワークというのができてきます。ある行動に対して専門家がだんだんできてくるわけです。これらを用いて実際の環境での行動をシミュレーションします。ここに書いてある0とか2とかというのはそこで使われるネットワークの番号です。ある状況ではあるネットワークが活性化し、ある状況では別のネットワークが活性化し、ということが順番に起こっていって、ある特定の時系列の行動を学習することができるようになります。
確率的な手法としてベイジァンネットワークを使った意志決定システムを作ろうとしています。ある状況でどういう行動をとるべきかを決定したり、人がどういう行動をとりそうかということを予測するために確率的ネットワークを利用しようとしています。その予備的な実験としてSQLを使ったデータベースから統計的な学習をして、確率ネットワークを構成するというシステムをWWW上でいま公開していまして、かなり多数のヒットを得ています。
最後に地図学習です。実環境でソナーを使うと図4(a)のような距離画像が得られます。このデータから、広いところ、狭いところを判別し、その連鎖として地図を表現するという方法をとっています。
図４. ソナーを用いた幾何的地図と対話で作成するトポロジカルな地図
この絵をずっと繋いでいったのが図4(b)です。廊下は真っ直ぐなはずなのに曲がってしまいます。これは機械が持っている測距計が正確でないためですが、これはどうしても避けられないエラーなので、こういう幾何学的情報だけに頼ったのではあまり信頼性の高いナビゲーションはできないことになります。
図５.対話による地図学習とナビゲーション
そこで我々は、場所の名前とどういう行動をしたらそこへ辿り着けるか、どのくらいの成功率で辿り着けるかということを記述した図4(c)のようなマップを作るようにしています。この地図に対して、人間が今どこにいるか、どこに行って欲しいのか、あるいは新しいノードができましたよと、新しい場所に来ましたよということを対話で教えてやることで、地図がだんだん大きくなり、移動の経験を積むに従ってだんだん自信を持って動けるような地図が構成されるという実験をしてきています。
例えば、図5の1の地点からナビゲーションを始めるとします。「私はどこにいますか」とロボットが聞くので人間が「あなたはどこにいますよ」ということを教えてあげて、ここに来た段階で「松井の部屋に行ってくれ」と指示します。松井の部屋は実はここなんですが、ロボットは見落としてここまで行ってしまいました。ここでロボットはさすがに距離が長すぎるのでおかしいなと思って「ここはどこですか」と聞くわけです。「中島さんの部屋の前ですよ」という答えを聞くと、遠くまで来すぎたのでここまで引き返せばいいということが分かって、ここに自動的に引き返してくるというような行動をとるようになります。
■
今後の計画
最後に今年と来年の研究の振り分けですが、一応、来年度の最後までを要素的な技術の開発に当てる計画です。今年はセンシング、ナビゲーション、対話、学習などの各技術をオフィスロボットというコンテキストの中でリファインします。それ以降は全体を統合したシステムの構築に向けて、マルチモーダル情報を総合的に利用し、ダイナミックに行動を選択生成できるオフィスロボットの開発に注力していきます。
