東京工業大学大学院総合理工学研究科 教授　小林　重信

　本日は、現在私どもが推進しております大学を拠点とするプロジェクトについてお話したいと思います。プロジェクトといっても、RWCからすればミニプロジェクトあるいはプログラムに近いものですが、それを紹介することを通じてRWCプロジェクトとの接点を探り、今後の方向について、双方にとって何かヒントになるようなことがあればと思いまして、お話させていただきます。

　私どもが現在従事しているプロジェクトは、日本学術振興会が平成8年度から始めた未来開拓学術研究推進事業のプロジェクトの一つです。「生物的適応システム」と呼ばれるもので、平成12年度までの5年間を予定しており、現在3年目の、ちょうど折り返し点を迎えたところです（図1）。

図1

　このプロジェクトの英文名称はBiologically Inspired Adaptive Systems、頭文字をとってBIAS、そして平成12年は2000年であるということで「BIAS2000」という略称を使っています。このプロジェクトは、未来開拓学術研究推進事業の中では「生命情報」といわれる分野のプロジェクトの一つとして位置づけられています。この「生命情報」というのは、21世紀にかけてソフト系科学の中で最も成長が期待される分野であると私は考えています。

　生命情報に対する接近法は色々あると思いますが、私なりにまとめると（図2）、一つは分子コンピューティングという計算論的な立場からの接近、それからバイオインフォマティクスという情報論的立場からの接近、そして私どものプロジェクトである生物的適応システム。これは、システム論的な観点から工学的な方法論を重視した形で、ソフトを指向した研究と位置づけることができます。

図2

　では、具体的な話に入りたいと思います。まず最初に、この生物的適応システムの特徴をお話します（図3）。生物的適応システムの第一の特徴は「環境とのインタラクション」です。そして第二の特徴は、このシステムを構成する「要素間のインタラクション」です。「環境とのインタラクション」というのは、システムの評価は環境からの事後評価によるということです。これをEvaluative Feedback Loopという呼び方をする場合があります。それに対して「要素間のインタラクション」というのは、要素と要素の相互作用によって新しい要素が生まれたり、あるいは消滅したりという、生成的なフィードバックという意味で、Generative Feedback Loopと呼んでいます。この二つのインタラクションが絡みあうわけです。前者の「環境とのインタラクション」は非常にゆっくりしたダイナミクスであるのに対し、「要素間のインタラクション」は非常に早いダイナミクスを持つ。この二つの特徴が、第三番目の特徴である「2重のダイナミクスの相互作用」により、新しい機能を創発するパワーの源泉であると認識されます。「2重のダイナミクスの相互作用」に基づいた機能創発というのが、我々のプロジェクトにおいて研究を進めていく上での一貫した思想です。

図3

　今申し上げましたことを図式的に示したのがこの図です（図4）。

図４

　我々は、未知の環境あるいは変化していく環境に対して適応できるような新しい機能を創発するシステム、それを「生物的適応システム」という名のもとに実現したい。そのような生物的な適応システムを実現するためには、そのシステムの構成要素である「要素間のインタラクション」「環境とのインタラクション」、この二つのダイナミクスが適切にバランスをとり、協調しながら機能を創発していくことが必要である、という図式です。以上は非常に抽象的な話なので、このことを具体的に進めていくための基盤となる技術にいくつか注目する必要があります。ひとつはRWCでも取り上げている進化計算、もう一つは強化学習、さらにこれら二つを組み合わせた形のマルチエージェントシステム。このマルチエージェントシステムもAI的なマルチエージェントシステムではなくて、生物的なマルチエージェントシステム。この三つの基本技術を基盤としています。

　最初に進化計算についてお話します（図5）。

図5

　我々は、進化計算をベースとして創発的な設計論を確立することをゴールにおいています。創発的設計論とは、設計仕様が与えられたときに、それを満たすような構造をマシンが自動的に探索する、つまり、Whatを与えれば、How toはマシンがやってくれるというような設計論を目指そうということです。そのためには、進化計算の構成要素である「交叉」及び「世代交代」という二つを要素技術として固める必要があります。前者の「交叉」については、形質遺伝性という考え方に基づき、問題領域毎に交叉を開発すると同時に、それらの理論づけを行い、最近はこのプロジェクトにおいては交叉に関する設計の指針がかなり理論的なサポートを持つまでに発展してきています。もう一つが「世代交代モデル」であり、多様性の維持という観点からいくつかの世代交代モデルを提案して実用に供されるようになってきています。この「交叉」と「世代交代モデル」、それが先程の生物的適応システムでご説明した「要素間のインタラクション」と「環境とのインタラクション」とに相当するものです。この「交叉」と「世代交代モデル」の適切なバランスを図ることが、進化計算の持つポテンシャルを引き出し、ひいては創発的設計論につながると考えています。

図6

　もう一つ基盤技術として私どもが注目しているのが、強化学習、Reinforcement Learningと呼ばれるものです（図6）。進化計算が創発的な設計論を目指すのに対して、強化学習は、これを基盤として創発的な制御論を確立するということを我々はゴールに設定しています。従来の制御理論というのは線形システム制御理論であり、線形性というのが大前提でしたが、現実の制御対象には、非線形性及び時間遅れという問題が存在します。そのような系に対して、創発的に制御することを目的としたときに、強化学習というのはそれに応えるポテンシャルを持っているといえます。強化学習には大きく二つの立場があります。「価値関数」をベースとした方法と、「政策形成」をベースとした方法です。価値関数に相当する代表的なものとしては、Q-learningとかTD(λ)と呼ばれる、ダイナミックプログラミングをベースとした方法があります。これはいわば環境同定型の手法といえます。一方、政策形成に相当するものとしては、Profit Sharingとか、あるいは私どものグループで開発した確率的傾斜法があります。これらは経験強化型の手法といえます。しかしながら強化学習をシステムとして見た場合、環境同定、あるいは経験強化、どちらかに特化した方法では不十分であるとの認識から、価値関数ベースのものと政策形成ベースのものを統合化するということが一つの課題でして、私どものグループでは、これをActor/Criticという枠組みのもとで両者のアプローチを統合した形の強化学習の理論を構築し、その有用性を実証しつつあるところです。

　この研究の組織としては、東京工業大学の総合理工学研究科のスタッフが中心となり、いわゆる拠点型でプロジェクトを進めています（図7）。

図7

　ここでそれぞれの研究をご紹介する時間はありませんが、例えば、進化計算研究グループではこのようなスタッフが、それぞれの課題で研究を進めておりまして（図8）、平成9年度についてはこのような成果をあげています（図9）。

図8

図9

　第二のグループである適応学習グループは、ここに掲げたメンバーから構成されます。（図10）

図10

　それぞれのテーマのもとで、平成9年度はこのような研究成果をあげています（図11）。

図11

　マルチエージェントの研究グループはこのような研究スタッフから構成されていまして（図12）、平成9年度の研究成果としてはこのようなものがあります（図13）。

図12

図13

　では、研究成果の一部をご紹介したいと思います。

　最初に、関数最適化を対象とする進化計算の新しい交叉法として、私どもが開発しましたUNDXをご紹介します（図14）。UNDXは、両親を結ぶ主軸に対して回転対称な正規分布によって子を生成します。正規分布の標準偏差は、両親を結ぶ主軸方向の成分については両親間の距離に比例させ、その他の軸の成分については両親を結ぶ直線と集団からサンプリングされた第3の親との距離に比例させます。

　UNDXは非線形性の強い関数に対して適応的な探索を行うことができます。例えばRosenbrock関数は放物線に沿って非常に鋭い尾根が存在します。BLX-αなど従来の方法では探索の過程で尾根から踏み外してしまうことが頻繁に生じますが、UNDXは尾根の形状に適応して効率的に探索を進めることができます。さらに、UNDXは多峰性の関数最適化に対しても頑健な挙動を示すことが確認されています。

　UNDXの設計問題への適用例としてレンズ設計をご紹介します。光学レンズ系の設計は100年以上の歴史があり、設計のノウハウの蓄積には膨大なものがありますが、この問題は非常に非線形性が強く、かつ超多峰性と言ってよいくらい多くの局所解が存在します。3枚組みのレンズ系ではトリプレットと呼ばれる構造が経験的に最適であることが知られていますが、従来の最適化手法ではトリプレットを発見することができませんでした。私どもはUNDXを用いてトリプレットを再発見することに成功しました。さらに、図に示すような4枚組みレンズ系、15枚組みレンズ系においても、専門家から見て合理的と評価される構造を自動設計することができました。これまでUNDXを使って設計した最大のものは30枚組みのレンズ系で、これは120次元の最適化問題になりますが、ステッパーで使われるレンズ系がこれ位の規模になります。

図14

　進化計算を用いたレンズ系設計は、この分野に大きなインパクトを与えており、この数年の間に設計パラダイムの変革をもたらすのではないかと期待されています。私どもはレンズ系設計を進化計算に基づく創発的設計のキラーアプリケーションと位置づけています。

　さて、次に強化学習の研究成果の一例をご紹介します（図15）。強化学習は、報酬という特別な入力を唯一の手がかりに環境に適応するタイプの学習です。報酬には時間的な遅れが伴うこと、感覚入力は一般に環境の一部しかカバーしないことから、不完全知覚に直面することなどが問題とされます。強化学習は離散マルコフ決定過程（MDPs）を対象にDynamic Programmingに基礎をおく方法を中心に発展してきたのですが、現実問題の多くは部分観測マルコフ決定過程（POMDPs）として取り扱う必要があります。

　POMDPsに対する接近法は、過去の行動系列を利用して不完全知覚状態から脱出する方法と確率的政策を用いる方法に類別されます。私どもは後者に属するものとして確率的傾斜法と呼ばれる方法を提案しました。確率的傾斜法は、Profit Sharing法と同様、経験強化型の学習法ですが、POMDPs下で合理的な挙動を示すことが理論的に保証されています。

　図15は、確率的傾斜法を用いたロボットのほふく行動のシミュレーション結果を示しています。このロボットにはアームが2本あり、くちばしに相当するアームと首に相当するアームを巧みに使うことにより前に進むことができます。前に進むと報酬が与えられます。この報酬だけを手がかりに、知識はいっさい与えずに前進する方法を学習することが目的です。前進するためにはアームを振り上げて真っ直ぐに伸ばし、それから地面に下ろして、クロールのようにかき込む動作を繰り返すことが求められます。確率的傾斜法により獲得した動作の一例と前進速度の変化を図に示します。不完全知覚下では、Q-learningを用いた場合性能の向上は期待できませんが、確率的傾斜法は次第に性能を向上させることができます。

図１５

　以上の結果はシミュレーションによるものですが、これと同じものを実機に実装した結果をかいつまんでご説明します。実機に実装して実時間で学習させた場合、最初の5分位は試行錯誤的な挙動を示しますが、その後では学習成果に基づいて前へ動き始めます。シミュレーションと実機の間には微妙な違いが生じます。実機では、ロボットの大きさ、重さ、床の摩擦係数、動作により生じる振動などさまざまな力学的条件の絡みから、思いがけない挙動が観察されます。シミュレーションと同様にクロールの形で前進する場合もあれば、2本のアームを1本のアームのように伸ばしたまま、アームの先端と本体の最後尾を地面に付けた状態で、尺取虫のように身体の中心部分を持ち上げるようにして前進する場合もあります。また、実機では構造的に後進の操作は難しいのですが、アームを勢いよく動かすと本体が上下に振動します。アームの先端を地面につけることなく、アームを空中で上下に動かすだけで後ろに進むことができます。このような動作は事前に予測できなかったものであり、強化学習の創発的側面を垣間みた気がします。実機のロボットは不細工な造りですが、強化学習でほふく行動を学習している様子を観察していると、本物の昆虫が地面を這って進んでいるような感じでとても印象的です。強化学習の実システムへの応用はこれからの課題と考えています。

　最後に、マルチエージェント強化学習の適用例をご紹介します（図16）。図の上側は分散人工知能（DAI）の分野でベンチマークとして知られる追跡問題を示したものです。中央のエージェントが獲物で逃げる側、これを4人のハンターエージェントが追いかけます。DAI的方法では予め各エージェントに獲物の捕まえ方や通信の仕方などに関する知識をプログラムとして与えておく必要があります。マルチエージェント強化学習では、知識はいっさい与えません。各エージェントが独立に強化学習を行います。マルチエージェント強化学習の難しさは、あるエージェントにとって他のエージェントは環境の一部であることから、学習途中では状態遷移確率が不確定となってしまうことにあります。状態遷移確率が不確定な場合、Q-learningの挙動は極めて不安定になり、収束が期待できません。しかし、そのような場合でもProfit Sharingは頑健な挙動を示し、獲物獲得のための協調的行動を学習することができます。

図16

　つぎに、マルチエージェント強化学習の実問題への適用例を紹介します。図16の中央は製鉄所にあるコイルヤードの例を示しています。コイルヤードには1つが30トンの重さの熱延コイルが送り込まれ、ヤードで冷却のため保管されます。冷却コイルは払い出しの要求に応じてヤードの外に搬出されます。コイルの受け入れ及び追い出しに3台のクレーンが使われ、これらはレールを共有しています。クレーンが衝突しないように、かつできるだけ早くコイルの処理を行うように、クレーン群を制御することが問題です。各クレーンを独立したエージェントとみなし、それぞれにProfit Sharingによる強化学習を行わせました。図16の左下は学習初期の動作、右下は学習後の動作を表しています。学習初期では3台のクレーンが互いに譲り合いをして、なかなかタスクの処理が捗らないのに対し、学習後は無駄な動きは除去され、3台のクレーンがスムーズに動いていることがお分かりいただけると思います。ちなみに、伝統的なAI手法に比べ、マルチエージェント強化学習の方法では、約20％処理時間を節約することができました。知識処理に基づく方法に比べ、知識フリーの学習だけの方法が性能的に優る結果が得られたことは、注目すべきことと思います。

　以上、生物的適応システムの成果の一部、特に応用に焦点を合わせて、レンズ系設計、ロボットのほふく行動、クレーン群制御などをご紹介しました。

　私どものプロジェクトが最終的に目指しているのは、自律分散システムへの展開ということです。この図（図17）は、いわゆるシステム系科学におけるこれまでの重点領域研究と本プロジェクトとの関連を示したものです。平成2年から4年に、重点領域研究として「自律分散システム」というプロジェクトが走りました。私も参加しましたが、このプロジェクトは、理念や哲学を重視してコンセプトレベルでの研究成果を上げるに留まったわけですが、それが平成7年度から平成9年度の「創発システム」へ受け継がれ、更にそれが、未来開拓研究の「生物的適応システム」に継承されました。継承と創造ということで、我々は当初の自律分散システムというものが、これら一連の研究成果を踏まえて実現できる時代になってきたと考えています。それを示したのがこの図（図18）で、進化計算をベースとした「創発的設計論」を確立することが一つの目標であり、それから強化学習をベースとした「創発的制御論」を確立すること、「進化計算」と「強化学習」を融合させたような形で、ボトムアップ的な「生物的マルチエージェントシステム」を実現し、これらを基盤として「自律分散システム論」を構築しようということです。これらのものができあがれば、例えばATM網や交通網の自律分散制御など、かなり社会的なシステムの柔軟な制御の基盤技術になるのではないかと考え、そのようなことを目標に、このプロジェクトを展開しているわけです。