実世界知能理論・アルゴリズム基盤領域における研究開発状況

　理論アルゴリズム基盤領域のとりまとめを担当している電総研の麻生と申します。領域全体の研究状況についてご報告させていただきます。各分散研での個別の研究内容については、明日それぞれ発表がありますので、電総研/RWIセンターでの研究については、他よりも少しだけ詳しくご説明したいと思います。最後に、昨年度の主な成果や今後の進め方について述べてまとめたいと思います。

■ RWI理論アルゴリズム基盤研究の狙い
　まず、研究の背景ですが、リアルワールド（実世界）というのはスタティックではなく閉じていない、今朝のプレナリーセッションでもお話がありましたが、アンエクスペクタブル、チェンジャブルなわけです。そうしたリアルワールドの中で人間は複数のモダリティの情報を統合的に処理しながら過ごしています。リアルワールドインテリジェントシステム（RWI）というのは、そういう実世界の中で人間と共存し一緒に働くことができるような、知的なシステムであると考えますと、人間が日常的に扱っているのと同等のいろいろな種類の情報を統合的に扱うということが不可欠になります。従って、「情報統合」ということが1つのキーテクノロジーになるわけですが、ここで情報統合といった場合に、画像、音声、触覚、ロボットのソナーなどのいろいろな種類のパターン的な情報を統合するだけではなくて、そういうパターン的な情報と、言語的な情報と、両方を扱わなければいけません。このような多種類の情報を統合的に扱うシステムの動作を初めから完全にプログラムで記述するのは非常に難しいわけですから、情報統合のためには学習がどうしても必要であろうと思います。学習というのは結局プログラムをジェネレートするようなプログラムを書くということですから、一種のメタ・プログラミングなわけですけれども、そういうことによって実際にプログラムを書く量を減らすとともに、システムが使われる現場に適応できるようにすることがどうしても必要ということで、「学習」がもう1つのキーテクノロジーであるということになるわけです。

　理論アルゴリズム基盤領域の研究の目的は、そうしたRWIのための理論的な基盤を確立することと、それに汎用的に使えるような基本的なアルゴリズムを見つけ出そうということです。そういったものを最終的にはソフトウェアライブラリのような形で整備していろいろなところに使える形で提示しようということも目指して研究を進めています。

図１

■ 研究グループの構成
　我々の技術領域には5つの分散研(NEC、東芝、GMD、SNN、SICS)と5つの再委託先、そして電総研RWIセンターが参加しています。

　理論基盤NEC研究室では、「分散能動学習」ということで、主に分散したエージェントが学習するとか、能動的にデータをとりにいって学習するというような、新しい強力な学習方式の研究をしています。特に、計算理論的学習理論であるとか、情報理論的学習理論という非常に理論的な側面も含めて、学習アルゴリズムの研究を行ってきているわけです。

　NEC研究室の下に統計数理研究室（統数研）、先ほど数量化理論の話で名前が出ましたが、日本の数理統計の研究の最大の拠点である統数研のグループと、これはまだ予定ですが、京都大学の生物のグループとが再委託先としてついてます。統数研のグループでは主にランダムアルゴリズムを使った確率の計算技法のようなものを担当していただいていますし、京都大学のグループには、NEC分散研で提案された学習アルゴリズムを癌免疫タンパクの発見に応用するための実験を担当していただく予定になっています。

　次に、理論基盤東芝研究室のテーマは記号とパターンの統合で、北陸先端科学技術大学院大学と千葉大学の数理論理学の先生と九州工業大学のニューラルネットワークのグループとに再委託研究をお願いしています。

　三つ目のGMD、これはドイツ国立情報処理研究所ですが、テーマはリフレクティブ・チームス・アクティブ・ラーニング・アンド・インフォメーション・インテグレーション・イン・オープン・エンバイロメントです。このリフレクテイブ・チームスというのはまさにマルチエージェントのアーキテクチャでして、リフレクティブというのは自分自身の状況、あるいは自分が何を知っていて何を知っていないかということを自分でわかっているような、そういうエージェントのチームによって柔軟な情報処理を実現していくための様々な研究を進めています。

　SNNはオランダ・ニューラル・ネットワーク協会です。このグループではプロバブリスティック・プレゼンテーション・アンド・アクティブ・ディシジョンというタイトルで主に確率的なニューラルネットワーク、ボルツマンマシンに代表されるような確率的なニューラルネットワークを使った学習と能動的な意志決定法の研究をしています。

　SICS、スウェーデン国立情報処理研究所の理論グループも一緒に仕事をしています。そこはストキャスティック・パターン・コンピューティングということで非常に多ビットな空間にコーディングされた情報を使って情報の連想、あるいは構造化された情報の表現をするというような研究をしています。
　最後に電総研のRWIセンターでは、学習統合型情報処理の理論基盤という題目で研究をしています。

　いま成果発信のためにWWWを整備しようという話をしていまして、例えばGMDのグループは最近ウェブのページを作って公開していますし、電総研の我々のグループもページを作っています。

■ 研究テーマの概観
　理論アルゴリズム基盤と言いましても、完全に純理論的な研究だけを目指しているわけではありません。そういうふうに理論に閉じていると理論独自のダイナミズムで研究が進むわけですが、なかなか応用システムとの接点が見出せないということになりがちですので、なるべく幅広く、応用に近いところまでも含めて研究開発をしようという方針で全体を進めています。ですからたくさんの研究テーマがパラレルに走っているので、ある意味ではまとまりがないとも言えるわけですが、そのテーマをここでは大きく8つに分けて紹介いたします。

1. まず情報をどのようにシステム内部で表現するか。情報というか制約と言っても同じですが、それをどのようにしてシステム内部で表現するか。そのためのモデル、あるいは表現言語の研究。
2. その表現された情報がどのぐらい良いもの、インフォマティブなものであるか、あるいはどのぐらい外部のデータによくフィットしているかというようなことの評価基準の研究。
3. 表現された制約を使って確率的な推論を行うことができるのですが、そのための推論／確率計算アルゴリズム。
4. この制約をデータから獲得するための学習のアルゴリズム。
5. 情報統合。いろいろな情報を柔軟に統合的に扱うためのインテグレィテッドなシステムアーキテクチャの研究。
6. リアルワールド・インテリジェンス向きの学習の枠組みも研究しています。また、理論の中で他に実証システムが先ほど3つ紹介されましたが、
7. 理論の中でもこういったところで出てきたアイディアを評価するためのテスト・アプリケーションをいくつか研究しています。最後に、これはいわゆる純理論なんですが、
8. こういったアクティビティ全体を通しての理論的な基盤の研究もしています。

　モデルの研究は、大きく2つに分かれます。1つ目は構造、動的なグラフ構造をもった確率分布を情報表現の基本とするものです。例えば電総研では確率制約プログラム、これは述語論理に近いシンボリックな側面を一番多くもった確率的な情報表現のモデルですが、述語論理の命題に確率の値がついたような、そういったものを効率よく扱うための仕掛けを研究しています。それからNECでは木構造をした確率分布モデルを研究しています。ベイジアンネットワーク、それからパーシャリー・オブザバブル・マルコフモデルというようなグラフ構造をもった確率分布モデルを電総研で研究しています。SNN、GMD、ETLでは、混合分布、要するにいくつかの確率分布を混合して1つの確率分布を表現する、ミクスチャーモデルの研究をしています。これを時系列データに対処できるように発展させたのがミクスチャー・オブ・プレディクターズで、先ほど松井さんのほうからミクスチャー・エルマンネットという話がありましたけれども、そういうモデルの研究を電総研でしています。あと、SNNはボルツマンマシン。それから、普通のニューラルネットワーク、というように、いろいろな種類の、シンボリックなところまで扱えるものからパターン処理に近いものまで、幅広く研究を進めています。
　もう一つは、情報統合に適したような情報表現の追及で、1つは多重線形空間を使った方法を東芝、それからJAISTと千葉大学のグループで研究しています。これは非常に基礎的な研究です。それからSICSでは、先ほど申しましたように非常に多ビットの空間に分散された表現、情報表現の可能性というようなものを追究しています。

　制約を評価するための評価基準については、あまりたくさんのテーマはないですが、1つ目はエクステンディッド・ストキャスティック・コンプレクシティをNECで研究しています。これはリサネンというミニマム・ディスクリプション・レングス基準の原理の考案者が提案したストキャステイック・コンプレクシティという概念を情報理論的なコーディングの体系の中での話からベイズ決定理論の話の中に拡張する、つまり一般的な損失関数を許すような場合に拡張したもので、これを使うことによって、符号化という情報理論の話の枠組みではなく、関数の学習などを含む、一般的な学習についても、あるデータの情報量を損失関数に応じた形で評価することができるようになります。これは非常に統一的な情報量の評価基準として、とても興味深いものになっていると思います。

　もう一つの情報の評価基準としては、情報統合のために興味深い情報や重要な情報を抽出して使っていかなければいけないわけですが、そういったものを評価するために予測不可能性であるとか新しさであるとか、それから情報の分散などを使うことを研究しています。たとえば、マルチエージェントシステムで、それぞれのエージェントに予測値を計算させて、その値のばらつき具合によってばらついているところはよくわからないから、今後の学習対象として重要である、という形で情報を評価します。

　確率推論／計算のアルゴリズムとしては、先ほど申しましたようにNECと統数研でモンテカルロタイプのランダムアルゴリズムの研究をしています。東芝では、ニューラルネットワークを論理的な命題とみなして、それを使って推論を行うニューラルネットワークの論理的推論という研究をしています。それからSICSでは分散表現を使った連想記憶の研究をしていますし、SNNでは統計力学の手法である中間場近似を使って非常に高速な確率計算をするというアルゴリズムを研究しています。電総研では、こういう高速な確率推論アルゴリズムが一番必要となる確率制約プログラミングに対して、その記号処理的な操作といわゆる確率計算とを融合させたような確率推論方式を研究しています。

　確率的制約を学習するためのアルゴリズムについては、NECで、先ほどの分散協調的な学習アルゴリズムと能動的な学習アルゴリズムについて研究しています。SNNではやはり中間場近似を学習に使う方法について研究しています。東芝と九州工業大学では、ニューラルネットワークの自己組織化の研究をしています。
　情報統合のアーキテクチャとしては、GMDでフリップ・ティック・アーキテクチャという、マルチエージェントのアーキテクチャを提案しています。電総研でも先ほどの事情通ロボットの研究の中で、マルチエージェントのソフトウェアアーキテクチャについて研究しています。

　実世界知能のための自然な学習の枠組み、というのは、電総研のRWIセンターのかなり特色的なテーマです。従来の機械学習の研究では人間が一生懸命にデータを集めて、それを使ってシステムが学習するという形で学習の枠組み自体についてはそれほど複雑なことは考えられていなかったわけですが、実世界知能システムは人間と実世界においてマルチモーダルでインタラクションするということですから、そういった特徴をうまく生かしたような学習方式が望まれるわけです。そこで、人間とのインタラクションを最大限に使うということを考えたソーシャリー・エンベッティッド・ラーニングであるとか、坂上さんのお話にありましたが、マルチモーダル対話システムにとっての自然の学習方式ということでインターモーダルラーニングというようなことを研究しています。

　テストベッド・アプリケーションとしましては、自然言語処理をNECとSICSで取り上げています。SICSはまだ構想段階ですが、NECではシソーラスの構築などを実際の言語データを使って行っています。それから電総研では、事情通ロボットとマルチモーダルインタフェースで協力して研究しています。GMDでは実世界のロボットの研究をしていますし、NECで蛋白質の構造推定の研究をしています。それからSNNでは医療診断を1つのテストベッドにしています。

　最後に、一番基礎的理論的な部分では、ベイズ情報幾何などの研究をしていますが、時間がないので飛ばします。

■ 昨年度の成果と今後の進め方
　昨年度の主な研究の進展について、詳しくご説明する時間がなくなってしまいましたが、図のようなたくさんの成果が8つのテーマ領域で出ています。

図２

　最後に、今後の研究の進め方ですが、5年間を前半の3年と残り2年にわけて、前半はいろいろなアルゴリズムの研究をして、後半ではそれをできるだけソフトウェア・ライブラリの形でまとめていくように進めることを考えてます。
　以上のように、たくさんのテーマの研究が並列的に進められているのが現状です。今後、相互理解をさらに進めて、なるべく同じような方向にまとまってゆくようにしたいと考えています。現時点でも、グラフ構造をもった確率分布モデルという概念を中心としてかなりまとまってきているわけですが、そういうものをさらに進めていって最終的な成果に結びつけていきたいと考えています。