パタン認識におけるDPの持ち味
|
NTT基礎研究所
情報科学研究部
主任研究員
白木善尚 |
1
はじめに
音声やジェスチャ動作のような、時間に伴って信号や位置（状態）が変化する現象を考えよう。このような現象の中から類似した「あるパタン」を見つけ、それらを寄せ集めて「パタンの集合」の「意味」を見出すこと、ここではこれをパタン認識と呼ぶことにする。小文では、パタン認識におけるDynamic
Programming（DP:動的計画法 [DP, 迫江]）の利点についてお話ししたい。とくに、DPとHidden Markov Model（HMM
[HMM1]）とを比べながら話を進めたい。
HMMは1983年に実用レヴェルに定式化され
[HMM2]、音声認識における重要な基礎技術のひとつとなっている。HMMの特徴は現象（特徴信号）を「いくつかの状態の間を遷移するもの」と捉える点にある。すなわち、現象を「いくつかの状態」に区分けしておき、「状態のあいだの移り変わり（遷移）」で信号（の意味）を表す。例えば音声信号の場合なら、1つの「音」に対して発音記号を用いて（前後の発音とのつながりを考慮に入れ）「3つの状態の移り変わり」を対応させておき、その発音記号の列として音声を表す。そして発音記号列の出やすさ（出現確率）を基に認識が行なわれる。このようにHMMではパタン認識の際に、2つの現象が「似ているかどうか」について「状態の遷移」の生じやすさ（確率）を基にして判定する。確率を判定の基準にするのは、「同じと見なされるパタン」の中でのバラツキを吸収する目的もある。音声認識の場合にHMMがうまく働く理由は、音声ではパタン（音声信号）と「発音記号」（言語）との対応関係が強く、音声信号を「3つの状態の移り変わり＝発音記号」として対応づける（ラベルづけする）ことが容易なためと考えられる。
しかし音声とは限らない一般の信号（ジェスチャ動画像など）に対して、それを「意味の見出しやすい状態」に対応づけることは簡単ではない。またHMMは非常に多くのパラメータを持つために、その推定には大量のラベルづけされたデータを必要とする。HMMの大きな特徴である「状態」は、いわば信号と記号とを結びつける中間生成物と考えられる。音声の場合には、この中間生成物の設定がうまく働いてくれた。ところが信号と「状態」との対応づけがうまくつかない場合には、それはパタン認識を困難にする原因ともなり得るのである。このように、HMMはその能力を発揮するためには十分に多くのデータ、しかも「状態」との対応のとれたラベルづけデータを必要とする。ひとことで言えばHMMは「重い」のである。
一方、DPでは2つの現象を「同じパタンと見なす」ために、「現象間の距離の大きさ」さえ与えてやればパタン認識として動く。その際、DPは「同じと見なされるパタン」の中でのバラツキを、時間的な伸縮として吸収する。例えばおなじように発声された音声でも、その長さには伸び縮みがある。2つの発声を「同じパタンと見なす」ためには、時間伸縮に関するパラメータをDPに与えておく必要がある。都合のよいことに時間伸縮パラメータの設定（推定）は比較的簡単なことが多い。しかもDPにはHMMのような「状態」への対応づけの必然性はない。つまりDPは「身が軽い」。このことによってDPは適用可能対象が広く、さまざまなパタン認識問題への組み込みが容易に行なえると考えられる。
2
DPとHMMの比較:適用対象の広さと設計の容易さの観点から
そこで、適用対象の広さの観点からHMMとDPの「身の重さ」の比較を行なってみよう。また実際の研究例にもふれてみたい。準備としてパタン認識の基本的な枠組みをスケッチしてみよう。
2.1 パタン認識の枠組み 一般にパタン認識の処理は次の3つのステップからなる。
- 認識対象を的確に表す特徴量を取り出す処理
- 取り出した特徴量を基にして、認識対象のモデルを作る（モデルを制御するパラメータの推定を行なう）処理
- モデルに基づいて認識を行なう（あらかじめ決められた「類似度」を基準として）処理
DPやHMMは、この処理ステップにおいて2番目および3番目に関わる。この2つの処理は、主に認識対象の時間的、空間的（特徴量の作る空間）な変動を吸収、正規化するために設けられる。つまり、時間的な伸び縮みや、信号のわずかなずれを無視することで、2つの認識対象を「パタンとして同じと見なす」のである。
2.2
認識対象の特徴量の選択と認識モデルの「重さ」の関係 認識対象の特徴量として幾つかの候補があり、それらの中から認識性能が高い特徴量を選択する状況を考えよう。このような時には、優れた特徴量に手早く「あたりをつける」ことが重要である。そのために、認識対象のモデルは一般的に「軽いこと」が望まれる。パタン認識では、研究の初期において特徴量が定まっておらず、優れた特徴量の選択と、モデルの選択とを同時に進めるという状況が良く起こる。このようなモデルの変化自体をも考慮すべき状況では、モデルとしてのDPのフットワークの軽快さ、つまりターンアラウンドの良さは大きな利点となる。
2.3
モデルパラメータの個数と認識能力 HMMは多くのパラメータを持つ。DPにはほとんどパラメータがない。一般的に、モデルパラメータの個数とその認識能力は、正の相関をもつ。つまりパラメータの個数が多いほど、認識能力は高い。ただし、パラメータの推定のために十分な量のデータが準備できることが必要である。実際、十分な量のラベルづけデータが用意可能な状況では、HMMはDPより高い認識能力を示す。これは大雑把に言えば、理論的にはHMMがモデルとしてはDPを含んでいるためである。しかし実用上は、HMMのパラメータの推定のためにはDPの1000倍以上のデータが必要となる。例えばDPはたった一つの照合データがあれば認識可能なのに対し、HMMでは（主として状態の分布の偏りを学習するために）数千個以上のデータを必要とする。
2.4
パタン認識の難易度とシステムの柔軟性：参照パタンの有無 パタン認識の基本は「類似したパタン」を見つけることにある。例えば「このパタンと類似したものを探しなさい」といった「探索の対象＝このパタン」が指定されている場合を考えよう。この「探索の対象」は「参照パタン」と呼ばれ、類似のパタンを探索する範囲（対象）の方は「入力」と呼ばれることが多い。
あらかじめこの「探索の対象＝参照パタン」が決められている場合は、比較的易しいパタン認識の問題になる。それは「参照パタン」という形で探索対象が明示されているために、その時間長と信号の「範囲」が限定されるためである。ところが「参照パタン」が決められているということは、認識の対象に制限をおくことになり、認識システムとしての柔軟性は低いものになる。
逆に「参照パタン」を決めておかない一般の場合には、認識システムの柔軟性は高くなる。しかし、任意の時点での任意の区間長のもとで「参照パタン」を作りながら同時に「入力」との比較（探索）をしなければならず、難しいパタン認識の問題をかかえることになる。
1章で述べたように、HMMは「状態」を基本単位としている。通常、個々の「状態」はある程度の時間的な長さをもつため、HMMが扱えるパタンに対する時間的な制約は強い。したがって任意の時間長をもつ「参照パタン」に対処することは原理的に難しい。DPの場合は、この問題への対処は可能ではある。しかし、それを実用的なアルゴリズムとするためには、計算時間の低減など種々の工夫が必要になると考えられる。
2.5
適用対象の広さと設計の容易さ 上のようなDPの「身軽さ」は、DPが認識対象の変動（あるいは偏り）に関するヒューリスティクスを容易に取り込めることによる。それに対し、HMMでは統計的な手法を用いることによって、自動的に認識対象の変動を獲得（学習）する。まとめれば、特徴量の選択、変動のヒューリスティクスなど種々の設計指針が定まっていない状況ではDPがHMMより有利である。逆に設計指針が固まっており十分な（パラメータ推定のための）学習データが用意可能な場合は、一般的にHMMの方が認識性能が高いのである。パタン認識全般においては、設計指針が固まっていない状況が多い。このことはDPの方が適用対象が広いことを示している。
2.6
RWC研究グループにおけるDPの拡張と発展 以上述べた観点を念頭において、RWCグループによる実際の問題へのDPの適用例をみてみよう[RWC1,RWC2]。ここでパタン検索に要求している基本的な条件は、
- 切り出しや認識（ラベルづけ）を行なっていない信号への適用が可能なこと
- タスク外の入力を除外しないこと
- 入力信号を時々刻々（フレームワイズと呼ばれる）に処理可能であること
- 類似度の計算量が少なく、計算に伴うメモリー量も小さいこと
である。実環境下においては条件1.と2.は発声内容に制限がないことに対応し、条件3.は発声の開始と終了への話者負担の低減に対応し、条件4.はリアルタイム処理であること、に対応している。条件1.と2.は柔軟な認識システムの構築を目標としていることを示しており、実環境の扱いには自然な要求条件であると感じられる。1章で述べたようにHMMでは、条件1.に対処することは原理的に不可能であり、条件3.に対しては学習方法の大幅な修正などが必要となる。
伊藤氏らは、条件1. 2.および3.に対してはDPを拡張したRIFCDP（Reference Interval Free Continuous
DP）と呼ばれる方法で対処している。RIFCDPでは、「参照パタン」と入力の2つの時系列ともにその区間長およびその時点が任意でもパタン認識が行なえるように工夫されている。この工夫によって、2.4で述べた「参照パタン」が与えられていない一般的な場合に対処が可能となっている。つまり実環境下のパタン認識において、極めて柔軟な認識モデルのひとつを提示しているのである。
さらに、西村氏らは検索能力を保持したまま、計算量、メモリー量を従来のRIFCDP法に比べそれぞれ1/16,
1/50に低減することに成功している。これは、距離計算への指数型減衰関数の導入により実現したものである。また、この方法をジェスチャ動画像へ応用してその有効性を実証している。 RWCの研究グループはDPの本質を見抜いて、その理論面、実証面ともに充実した成果を着々と積み上げているように、私には思われる。
3
まとめ
以上、パタン認識の一般論としてDPとHMMの比較を行なった。比較の焦点は「身の軽さ」、すなわち適用対象の広さと設計の容易さに置いた。この視点は、とかく見逃されがちなものである。整った条件のもとではじめてその能力を発揮するHMMへの過度の期待の見直し、およびDPの持ち味の発揮に役立てば幸いである。
参 考 文 献
[DP] R.Bellman and R.Kalaba,'Dynamic Programming and Modern Control Theory',
Academic Press, 1965
[HMM1] F. Jelinek,'Continuous speech recognition by statistical methods',Proc. IEEE, 64, No.4, pp.532-556, 1976
[HMM2] S.E.Levinson, L.R.Rabiner and M.M.Sondhi,'An introduction to the
application of the theory of probabilistic functions of a Markov process
to automatic speech recognition', Bell Syst. J., 62,4, pp.1035-1074, 1983
[迫江] 迫江博昭、千葉成美、'動的計画法を利用した時間正規化に基づく連続音声認識', 日本音響学会誌、27,9,pp.483-490,1971.09
[RWC1] 伊藤慶明、木山次郎、小島浩、関進、岡隆一、'標準パターンの任意区間スポッティングのための Reference Interval-free 連続DP（RIFCDP）', 電子情報通信学会論文誌、D-II, Vol.J79-D-II,No.9,pp.1474-1483,1996.09
[RWC2] 西村拓一、古川 清、向井理朗、岡隆一、'時系列パターン検索のための重み減衰型RIFCDPについて', 電子情報通信学会論文誌、D-II,1998.03（掲載予定）
|
