マルチモーダル機能／情報ベース機能つくば研究室では、岡室長を中心に、実世界の情報をそのままの形で人間が扱えるようにするシステムの研究などを行っています。 1999年6月号の月刊アドバタイジング（発行：株式会社電通）に、東京大学の堀教授とRWCP岡室長の対談という形で、RWCPの研究状況や今後、目指すものについてお二人がわかりやすく話して下さった記事が掲載されました。RWC研究の一端をご理解いただくのに相応しい内容ですので、株式会社電通と堀先生にご許可いただき、ここに再掲致します。 RWCの研究は具体的にどんなことに役立つのか？それによって人間の生活はどう変わるのか？「2次元の恋人より3次元の恋人」？それは一体……？？ざっくばらんなお二人の対談をお楽しみ下さい。

通商産業省は平成4年から10年計画で、リアルワールドコンピューティング（RWC）プロジェクトをスタートさせた。

RWCとは、「実世界の情報を処理する画期的な情報処理技術体系の開発を目指す」ものである。今回は、「つくば研究センタ」に岡隆一先生を訪問。RWCの研究の現況と目指す方向についてお訊ねした。難しそうに聞こえるプロジェクトだが、実に楽しいお話をうかがうことができた。

◆厖大な情報を人間がどう使いこなすか

堀：楽しいデモンストレーションをありがとうございました。専門的な質問をいっぱいしたくて、うずうずしているんですが（笑）、まずRWCの始まりから、一般の読者にもわかりやすくお願いします。

岡：通産省のプロジェクトは約27年前から出発していまして、最初の10年がパターン情報、次の10年が第5世代コンピュータ、そして現在のRWCは、通産省の3番目に大きなプロジェクトだと思います。時代の流れだと思いますが、新しい時代の要請に応じて、人間寄りの情報－サイエンティフィックな意味での生データ－をいかに人間に扱いやすいような形にするかが中心課題になっています。

堀：今日驚いたのは、あれだけの大きなプログラムがノートパソコンで動くということです。これで随分世界が変わっていくんでしょうね。

岡：研究の中心は基本的な方式を考えるということですね。次にそれを実装するという形をとります。一見、その研究が複雑に見えても、筋のいい方式であれば、ノートパソコンに載っけてもそこそこ動くものです。それが一つの技術の評価としてあると、私は思うんです。

堀：なるほど。ジェスチャや音声をノートパソコンが認識してくれるということになると、現在のアイコンとマウスに基づくコンピュータの利用とは随分違ったものになる。

岡：研究室レベルでできた話と、実際に家庭の奥さんや子どもたちが使って動くという段階の間には、一般に技術的な大きなギャップがありますね。家庭で使ってもうまい具合に動くようになれば、本当の意味で使いやすいインタフェースができたと言えます。特にこれからは、ジェスチャや音声をもっと気楽に使うインタフェースの利用が進むのではないかと思いますね。

堀：一つの目標は、創造性を促進することだとうかがいました。それと、マルチモーダルなインタフェースの進歩とは、今後どういうふうに関わっていくとお考えですか。

岡：現在のインターネット社会がどんどん広がっていくと、われわれが対処しなければならない情報量は莫大なものになる。また、情報の種類もテキストだけではなく、動画、音声、静止画　　像等々と広がってゆきます。これを使いこなせるかこなせないか、われわれが対面せざるを得ない決定的な問題を突きつけられていると思います。過ぎたるは及ばざるがごとしで、量が多いということは、何もないと同じになりかねない。情報を使いこなすということが、今後の情報のあふれる世界で生き残るということであり、何をしなくてはならないかということです。そこが技術開発の課題にもなってきていると思うんです。　　　そのための人間と大量な情報をつなぐインタフェースとしては、リアルタイムで、テキスト、音声、動画、静止画の情報が欲しい時に欲しいものが、さらに、それを曖昧な要求に基づいて提出してくれるものになってほしいわけです。そうでなければ、例えばインターネット上でいくら情報の量が増えても使えないということでは、何のためのインターネットかということになる。それをサポートしてくれる技術を開発していかなくてはいけない。そういうこれからの時代への予測と技術開発がマッチングしていることが重要ではないかと思いますね。

東京大学先端学際工学専攻教授　工学博士 堀　浩一 ほり・こういち　1956年生まれ。 東京大学大学院博士課程修了。東京大学助教授を経て、98年より現職。 89～90年フランスコンピエーニュ大学客員助教授。 人工知能を中心とした情報処理システムの基礎から応用にわたる広範囲 の研究・教育に従事。最近の個人的な興味の中心は創造活動支援システム。

堀：膨大な量のデータを使いこなしていくところから創造性も発揮されるだろうと。

岡：そうです。最近、立花隆さんが『文藝春秋』で、「知の爆発」という記事を書かれました。情報の濃縮－つまり人間が莫大な情報量を使いこなすには、濃縮された情報が必要であると立花さんは述べていますね。立花さんの話を私の言葉で言い換えますと、人間が情報を使いこなすのは情報の再生産のサイクルに入るためです。情報の再生産のサイクルは、知的な創造性の力で回るものだと思います。単に情報があるだけ、消費するだけで、再生産のために使う＝創造性の材料として使うのでなければ、情報は死んでしまうのではないでしょうか。

堀：先ほど見せていただいた画面で、1年分の新聞テキストが空間に並ぶ。それを見て、さらに新しい発想が生まれることもあるだろうし、そこから新しい情報をつくることもあるということになるわけですね。

岡：ええ、それがビジュアライゼーションの一つの目的だと思うんです。人間が手に負えないところをコンピュータが事前に処理して、提示してくれることも大事です。人間の創造力が発揮できるのは直感的に見られる部分だと思いますが、そこはやはり限られていますからね。　　　ビジュアライゼーションの目的は、単にビジュアライズするだけではなく、厖大な情報の海という仮想の世界を構築し、新しい視覚世界をつくることで見えないものを見えるようにしてくれることです。それが普通のサイエンスの現象の可視化とはちょっと違うところでしょうね。

堀：まさにそうですね。ああやって空間に組織化してみると、新聞記事に書いてないことまでが見えてくる。

岡：最終判断はもちろん人間がやるんです。ただ、人間は判断はうまいが、大量の情報のコントロール（操作）はできない。だから、そこはコンピ　　ュータに任せるし、コンピュータはその機能を提供する。そういう情報空間をいかに提供できるか。これが技術開発の目標だと思いますね。

堀：なるほど。その仲立ちのための基本技術をつくっていらっしゃるということですね。

◆松井のホームランが予測できる？

堀：今日、拝見していると、もう今にも商品化できそうだと思ったんですが。

岡：一部は商品化の申し込みがあって、そのための準備をしています。ただ、こういう技術は使ってみて、新しい使い方が再生産される。実際に市場に出た時に何が起こるかというのは、研究者の想像を超えるところがありますね。市場体験が新しい生命を与えていく、それが技術の流れかと思います。われわれが出すのは種で、その種の使い方については、世の中にはもっとたくさんの知恵があると思う。

堀：楽しみですね。その種から、例えばどんな花が咲きそうだと予想されていますか。

video Spotterのリアルタイム動画検索中の画面。 左上の画面が検索のための動画で、放送中のTV動 画像でもよい。上の中央の画面が検索された予測 動画像。下の画面は検索された他の動画像を示している。

岡：今、ご覧になった中で、ライブのビデオからの過去のビデオの検索がありましたね。この例についてお話しします。例えば、野球中継のTVを見ているとき、われわれはこれから何が起こるかを自分の過去の記憶や願望を交えて、頭の中で想像しながら見ている。それを、もしコンピュータが過去の莫大なデータからそういう予測をしてくれたらどうでしょう。巨人の松井が、ああ構えたらこう打ってホームランになる。　　　こういうことが本当に起こりそうだということを刻々と事前に示していくとします。その時、実際の結果は予測と異なることはもちろんあるのですが、どう違うかということが天気予報ではありませんが、一種の知的な楽しみとして見ることができる。あるいは音声で、ある人が同じことを言った時に、過去、どういうことが問題になったかということをデータベースから瞬時に出してくれる。それも日常のテレビで、ライブで動いている画像、音声から過去の巨大なアーカイブを使ってサポートしてくれる。そういう予測を超えた新しい情報の提供をライブでしてくれるのは非常に面白いし、逆に怖いところですね。

堀：すると、例えば、国会議員が何か答弁した時に、昔の公約でどう言ったかというのが即時に出てくる。これは怖い（笑）。

マルチモーダル機能つくば研究室長 兼　情報ベース機能つくば研究室長　工学博士 岡　隆一 おか・りゅういち　1945年生まれ。 東京大学大学院工学系研究科修士課程修了後、 通産省工業技術院電子技術総合研究所に入所。 59～60年カナダNRC客員研究員。 93年より新情報処理開発機構つくば研究センタ, TRC情報統合研究室に出向。現在に至る。

岡：いろんな意味で過去のアーカイブをリアルタイムで提供する。この状況はかなりインパクトがあるんじゃないかと思いますね。

堀：何もない状況で人間が考えるのと、リアルタイムに応答する外部世界があるということでは、質的にかなり違ってくる。人間って何かいいアイデアを思いついても、2～3分後には思い出せない時がある（笑）。

音声、テキスト、静止画、動画のデータについて、 互いに片方の入力から他方のものを検索するシステ ムの構成図。生データを自動的にデータベース化す ることが中心となり、画像認識や音声認識なども検 索の一環として用いられる。

岡：人間というのは、それほど結構微妙な瞬間瞬間を生きている。それを実時間、かつ大規模なデータベースがサポートしてくれるというのは、やはり質的に違う。しかも、私がここで言っている実時間というのは、人間が思考しながらしゃべっている瞬間瞬間と過去の全データとがつながるという意味で使っています。これが大事なところです。

堀：その場でですね。

岡：そうです。全体のシステムの出力としての結果が常にサポートしてくれる。単に部分的に速く計算をするのがリアルタイムじゃないんですね。全体のシステム、全機能が、フレームごとに濃縮して提示されている。こういう計算方式が人間と環境の関係の質の変化をもたらすものになるのではないでしょうか。

堀：すると、コンピュータ利用という場面に限らない、いろんなところで、いろんなもののつくり方が変わりそうですね。野球中継や相撲中継でも、編集して出てくるんじゃなくて、やっている最中に先場所の取組とか、32年前の大鵬・柏戸の一戦が今の取組とそっくりだといったことが出てくる。

岡：現在、アーカイブは電子図書館を含めてたくさんつくることは考えられている。確かに電子化して蓄えられてはいるけれども、それを再利用するのが難しい。人間が全部ラベル付けするのも大変だし、統一したラベル付けもできません。ラベル付けは非常に複雑で大量のボキャブラリーを要します。だから、生データのままで近いものを検索することのほうが、本質的な意味ではアーカイブの再利用の仕方だと思うんです。その意味で、今後の電子化の流れの中で、電子図書館をいかに情報の再生産の舞台として利用できるか。この問題と今の話はつながっていると思いますね。

堀：あとで使えるようにするためには、入れる時にいろいろ工夫しなきゃいけなかった。今の話でいけば、生データを入れておけば、検索を生同士でぶつけられる。

岡：そうです。その時に、旧来の意味での人工知能のようにラベリングを必ずしも経過しない。実際にラベリングされていることを前提とする検索は比較的易しい技術だと思います。しかし、あらゆる動画や音響信号や静止画についてラベリングすることは理論的には考えられますが、そのラベリングは神のみぞ知る機能になりますので、こういうことは通常は想定できない。したがって、生のままだけれども全体としては近

　　いということで、引き出す。それもリアルタイムで。近さによる検索ですね。“位相”が検索の世界で本当に役立っているという状況ですね。

堀：なるほど。

岡：すると、従来の単なる認識ビジネスではない、検索ビジネスが、新たな方向として生まれるのではないかと思います。

堀：テレビなどでも、田中角栄さんのあくびしている写真がほしいといったことが実際にあるらしいですね。今はどうしているかというと、「あくびした」とか、「たばこを吸った」とか、一生懸命ラベル付けをしているんですよ。それを一々しなくても探せる。

岡：現在、細かい表情までは無理ですが、動画像は、時系列で情報をとりますので、静止画で細かくやるよりは情報量が取れる。動画像で取ると、結構分解能力の高い内容が取れるという実験結果もあるので、精密さを追う意味でも、いろいろな意味で動画像は一つのアプローチだと思います。

◆全身運動をともなうテレビゲームに

堀：ラベリングの必要がなく、そのまま記録された過去がデータベースになって、それが今の時間で利用できる。すると、われわれは一瞬一瞬過去をつくり出しているわけですから、その意味で、ビジネスだけじゃなく、家庭生活も随分違ってくる。

岡：よく言われるように、コンピュータはそれを使うことが目的ではなくて、それを使って何かがやりたいわけです。そのやりたいことに100％のエネルギーを使うべきで、そのための道具としてのコンピュータにエネルギーを使うのは邪道なんです。リアルタイムで話が進めば、われわれの関心はそのやりたいことに向いていく。そして、コンピュータの存在を忘れて、何かをやる。しかしそこにコンピュータのサポートがあることによって、事態がうまくいく。この本来の目的を、技術的にどうやって保証していくか。そうでないと、コンピュータの操作に気を取られて、思考していることがおろそかになってしまう。

堀：前号で、建築家の隈研吾さんが、建築をいかに消すか、とおっしゃっていましたが、コンピュータ研究者の目標もコンピュータを消すことにある。　　　今日のお話で、もう一つ気づいたのは、子どものテレビゲームの世界で、それに変わるもっと創造性を育てる世界があり得るんじゃないかということです。

岡：最近、手でボタンを押す、足でパネルを踏んで動くというふうになってきている。あれは、部屋の中に籠もっていることから、全身を使う身体運動に行くほうが人間の精神の健康につながるということだと思うんです。テレビゲームが、キーボードを触るだけじゃなくて、身体全体を使うことになれば、スポーツと変わらなくなって親も文句を言わなくなる（笑）。その意味で、全身運動のジェスチャで機械と対話する。そういうのを考えると、新しいゲームが生まれそうですね。

Incremental Path Methodによるデータの自己組織化。 動画や音声やテキストなどの時系列データを自動的に ネットワークのデータベースにすることができる。こ の図では、TVの画面像がネットワークデータベースに なっている様子を示している。

堀：小さな端末を持って公園に出て、鳥を見ると、パッとリアルタイムで検索する。すると、あの鳥がどういう鳥かを教えてくれる。いろんな新しい世界が開けそうな気がしますね。 岡：身体運動や行動に移るほうが、ゲームとしても自然なインタフェースの流れだと思うんですよ。問題は、それがいかに通常のパソコンくらいで実現できるか。高額では実現性がありませんからね。

堀：そうなると、子どものクリエイティビティーもさらに高まる世界が生まれる。

岡：その時に、一人の人間と一つの機械じゃなく、また、自閉症的なゲームじゃなくて、大勢の子どもと一人の子どもの間に機械がある－そういうコミュニティー的な、人間関係を含めたゲームじゃないといけませんね。

堀：仮想世界に閉じこもるんじゃなくて、まさにリアルワールドに、もう一遍子どもたちが飛び出していくように。

岡：そうです。2次元の相手としか恋ができない（笑）若者がいる。面白いから、その2次元の世界にはまっているんですね。同じ面白さを、3次元の生の世界にチャネルを開けば、人はより現実的な感覚を獲得する方に移っていく。無理やり移すんじゃなくて、そういう面白さを実現する。そのインタフェースを開発することが大事ですね。もっとも3次元の恋人はバーチャルではないので、若者には血と汗と涙をたくさん流してもらわなければならない（笑）。

堀：これからの先生の夢は……。

岡：10年計画のうち、7年の紆余曲折を経て、個別技術をそれなりに開発してきました。いろんな統合したものをやって、それを実装して、一種のデモンストレーションをやりたいというところに現在きています。ただし、現在はそういう統合する芽が出てきた段階だと思うんです。できれば、これからコンピュータに載っているこれらの手法の底に流れているアルゴリズムの基本アーキテクチャを確たるものとしたい。

　　　そうじゃないと、一時の流行に終わってしまう。今のところは、われわれの研究を表すものとして「記号とパターンの統合」という言葉の表現が先行していて、これからはほんとの意味での数学的な新しい内容を持たなければいけないと思っています。

堀：コンピュータ社会がますます楽しくなりそうです。本日は、ご多忙のところをありがとうございました。

After Interview 堀　浩一

　コンピュータを使えなければ今の世の中は生き残れないと脅され、使いたくもないコンピュータを使っている人は、少なくないかもしれない。インターネットの世界に触れたことのない人は今の人間ではない、と思いこませるような宣伝がなされることもある。どうしてこういい加減な脅しをかける連中が世の中に多いのだろうと腹立たしく思っていた。今回の対談を読んでいただくと、技術者は、脅しをかけるなどもってのほか、できればコンピュータの存在そのものを消すことをめざして、研究開発を行なっているのだということがわかっていただけるのではないかと思うが、いかがであろうか。

　コンピュータが目に見えない存在になって、しかし陰でこっそり人間の手助けをすべく一生懸命仕事をしている、という世界がどのような世界になるのかは、まだよくわからない。コンピュータの組み込まれた炊飯器や洗濯機は、すでにそういう世界の一部ではあるが、人間の知的活動に関わる領域で、そのような世界が広がっていくとどうなるだろうか。

　岡氏や私は、人間がより楽しく創造的な活動をできるように、その実現をめざしているが、使い方によっては、独裁者に悪用される可能性などもあったりするのかもしれない。工学の基本目標は人類の幸福であって、研究者は楽観的に幸福をめざして技術開発を行なっている。岡氏の技術は、非常に筋の良いものであり、使いかたさえ間違えなければ、人類の幸福に貢献することになるであろう、と思う。創造的な仕事を行なっている方々がいろいろな使い方を試して下さることに期待したい。