1・はじめに

複雑で多様性に富み、常に変化する実世界環境における知能システムでは、必要な処理の枠組みや知識を自律的に獲得する柔軟な能力が必要である。当研究室ではこれを実現するための枠組みと して、タスク提示前の事前学習(環境情報の構造化)と、タスク提示後のタスク学習(環境構造情報を利用したタスク学習)からなる自律学習の枠組みを提案している。そして、そのための技術と して、分散知能アーキテクチャCITTAと、情報構造化する技術Matchabilityによる状況分解アルゴリズムを提案している。

1999年度は、移動ロボットのシミュレーション実験を行い、状況分解で得られた状況集合を元に生成した学習型マルチエージェントが、状況分解なしの単一学習エージェントよりも学習速度、環境変化に対する適応能力が高いことが示せた。

2.Matchability基準を用いた状況分解

　本手法は、データのマッチング機会の大きい部分構造を抽出することで予測能力を高めるものである。具体的には、

(1)選択イベントの数を大きく

(2)選択特徴量の数を大きく

(3)選択セグメントの数を小さく

するようにイベントを状況の集合に分けるものである。(図1参照)

図１ Matchability基準による状況分解

　 各状況集合には、比較的似たイベントが含まれており、そのため状況に対応して学習エージェントを生成すれば効率的に学習ができることとなる。

3.マルチエージェントによる学習

　状況分解によって作られた状況集合ごとに学習エージェントを生成する。本実験では学習方式としてActor-critlc型強化学習を用いた。

その結果、環境が変化した後(図2の(a)/(b) または(c)/(d))も、ゴールへの経路を容易に生成できることがわかった。(図2で、(a),(b)は状況分解により生成したマルチモジュール、(c),(d) は単一モジュールでの経路である。

また、成功率90%までの学習回数も、単一モジュールか250回程度なのに対して、マルチモジュールでは100回程度であった。

図２ 生成した経路

4.まとめ

自律学習のための状況分解アルゴリズムと、それを用いたマルチエージェント学習方式の効果を示した。詳細は予稿集およびデジタルポスターセジソョンでのデモンストレーションを参照されたい。