分散能動学習方式とその応用

1.はじめに

　 本分散研究室では、効率的で、頑健で、汎用的な学習方式の本法論の開発を目標とした研究開発を進めてきた。特に、(1)分散学習、(2)能動学習、(3)知識の評価法、の三つの要素に着目し、実世界での適用に耐え得る学習方式の開発を行っている。特に以下にテーマについて研究を行い、成果をあげている。(i)分散協調学習。(ii)予測欠損値のある環境での集団学習。(iii)ノイズに対して頑健な学習。(iv)能動学習における知識の利用と獲得のトレードオフの解析。(v)集団質問学習法(vi)コーバスベース自然言語処理への応用。本論文では、これらの提案方式とその性能評価について述べる。

2.分散能動学費方式の方法論

(1)分散学費方式

分散環境に存在する複数の下位学習者からの情報を持ち寄り、全体として優れた予測性能を持つような「分散学習方式」のパラダイムを展開し、複数のシナリオにおいて具体的な学習方式を提案し、その性能評価を行った。まず最初は、下位学習者たちはそれぞれ同一の情報源から得られる別サンプルを用いて独立に学習を行い、その学習結果およびハイバーバラメータに関する推定値のみを上位学習者に転送することを許されているという設定において、データ全ての転送が許されている場合に近い推定精度を達成するような分散学習方式を提案、理論的な解析を行った[1]。もう一つの設定は、下位学習者等が場合によって予測を行わないことがある、すなわち予測に欠損値が存在する場合の考察である。特に、このような設定において、下位学習者間に優先度を導入し、その最良のものの予測性能と比較することにより、学習方式の性能評価を行った。このような設定において、提案する複数の学習方式が従来方式と比較して総誤り数の意味で性能がよいことを示した[2]。

(2)能動学酉方式

与えられた学習データからの再サンプリングにより得られる複数の部分データをそれぞれ下位学習方式に学習させ、それぞれの出力仮説を用いることにより学習の精度を増強すると同時に、能動学習において次に質問するべき点を定める高性能能動学習方式を提案し、その優位性を実データを用いて実証した[3]。

(3)知識の評価法

次ぎに重要となるのは、データ中に存在するノイズに対する頑健性である。特に、ノイズがある場合の最適性の概念を新しく導入し、情報幾何の概念をペイズ的に拡張した「ベイズ幾何」的な仮説空間の拡張に基づく学習方式が、この評価尺度において準最適になることを証明した[4]。

3.学費型自然言語処理への応用

開発した知識の評価法に基づき、大量の文書データ中の言葉の共起情報から言葉をクラスタリングし、シソーラスを構築する方式、およびシソーラス中に存在するクラスを利用して格フレームの一股化を行う方式を考案した。その結果得られた語藁意味知識を、自然言語解析における腰味性解消問題に適用し、世界最高の精度を達成した[5]。

参考文献

[1] K.Yamanishi, Distributed Cooperative Bayeslan Learning strategies, lnformation and Computation,150,22一56 1999.

[2] A.Nakamura, Learning Specialist Decision Lists, Proc.of the 12th Annual Conference on Computational Learning Theory, l999.

[3] N.Abe and H. Mamitsuka, Query Learning Strategies using Boosting and Bagging,Prof. 0f Int. Conf.0n Machine Learning l998.

[4] J. Takeuchi and A. Barrn, Robustly Minimax Codes for universal Data Compression, SITA'98,1998.

[5] H.Li and N.Abe, Word Clustering and Disambiguation Based on co-occurrence Data COLING-ACL'99,1999.