大規模の音声や動画像データのネットワークモデル化とその検索への利用
Incremental Path Methodの開発とその周辺

	                          マルチモーダル機能/情報ベース機能つくば研究室
		　　　　　　　　　　　　　　　　　　　　　　　　　室長　岡　隆一

見学者、Nさん（女性）と、O（岡）との対話で、最近の研究活動を紹介します。

N：おじゃまします。最近の研究活動について聞かせて下さい。

O：よくおいでくださいました。紹介したいものはいろいろありますが。

N：いえいえ、1つだけお願いします。

O：では、IPMとよんでいる方式の開発の話にしましょう。

N：IPMというのは何ですか？

O：私たちが考えたIncremental Path Methodという方式の略称なんです。これは、音声や動画像のように時間と共に切れ目なくどんどん入ってくるデータを、計算機がネットワークの形で勝手に畳み込んで整理・収納してしまうやりかたですね。

N：はー？突然、方式とかネットワークとかいわれても、何のことやら...。つまり最後には何ができるようになるのでしょう？それを先に聞かないと。:-)

O：そうですよね。それを最初に言わないと。:-)

●目指しているものは？

O：われわれの研究室で目指している完成システムは、「音声と動画像とテキストのデータ間での相互変換検索が可能なマルチモーダルによる検索・要約システム」というものです。これだけではなんのことか分かりませんよね？:-)

N：もちろん、分かりません。 :-)

O：音声データというのは、テレビやラジオの音を含む音声信号や、講演や討論の音声などです。動画像とは、テレビ番組の動画像や自分のビデオカメラで撮った動画像などです。テキストとは、新聞、書籍、インターネット上の記事、オフィスで作成される文書などです。

N：そのくらいは分かります。 :-)

O：このようなデータについて、先のシステムが働くのです。どう働くかというと、例えば、今、テレビをみているとしますよね。そのとき、「この画面に似たものが以前あったような気がする。そのとき何か大事なことを言っていたような気がするけれど、それが何だったか知りたいな」と思ったとします。そんなこと、いつも思うわけではないけれどね。 :-) 　また、そのとき、「その当時の新聞記事には、これに関連してどんなことが書いてあったのかなー」と思ったとします。まー、人間いろいろ思うわけです。 :-)

N：はい、はい。

O：そのとき、この要求をしゃべったり、ジェスチャで表したりすることによって、パソコンの画面やスピーカーから、要望の画像や音声や新聞記事がさっと出てきてくれる、というわけです。 　ただ思っているだけでは駄目ですよ。要求を声やジェスチャで表さなきゃ。 :-)

N：思いは外に出して初めて伝わるということですね、なるほど！ :-)

O：そんなシステムをつくりたいのですが、これが結構難しいのですよ。

N：簡単にできそうな気がするけどなぁ。 :-)

O：いえ、ほんとうに結構難しいのですよ。

●どのような技術が必要か

O：というのは、このような動作をするシステムの実現に必要な技術には、

（1）自分自身の間、すなわち、「音声←→音声」、「動画像←→動画像」、「テキスト←→テキスト」の検索技術

（2）音声と動画像とテキストの3つの間、すなわち、「音声←→動画像」、「音声←→テキスト」、「動画像←→テキスト」、の相互変換検索技術

（3）音声、動画像、テキストの生データが日々作られたり、インターネットを通じて送られてきたりして蓄積する莫大なデータを自動的に整理したりする技術

（4）要約技術があるからです（図1を参照）。これらはそれぞれ簡単には実現できないのですよ。

図１　音声・動画像・テキストの相互変換

N：はー。よく分かりませんが、いろいろ事情があるということですね。

O：そう言われると困ってしまいますので、ちょっと説明を加えます。

　先の中で、（1）と（2）の間にはつながりを考えることができるものもあります。例えば、TV のニュース番組などのデータでは、音声と動画像は同一時間を共有しているので、この性質を使うことにより、「音声←→音声」の検索ができれば「音声→動画像」への変換検索ができます。同じように、「動画像←→動画像」ができれば、「動画像→音声」への変換検索もできます。

　また、一般に、「動画像→テキスト」は極めて難しい技術と言われています。動画像を人間が解釈して文章で記述するときも、人によって、また同じ人でも日が異なれば別の記述がなされる可能性があります。そこで、音声認識は「音声→テキスト」といえるのでこれを使うと、動画像からテキストへいくのに「動画像→音声」のパスが利用でき、「動画像→（音声→）テキスト」というルートで「動画像→テキスト」を実現する方策も（それなりに制約が当然ありますが）あり得ます。このとき、音声はいわばその動画像の解釈の音声表現であるとみなされます。

　さらに、「テキスト→音声」もテキストを音声合成により音声波形として表現することで、「音声→音声」の問題として扱うことも可能になります。この場合、さらに、先に述べた「音声→動画像」のパスの利用により、「テキスト→（音声→）動画像」の実現もありえます。

N：私なりに解釈すると、音声と画像とテキストを互いに交流させるにはいろいろ方法があるということでしょうか？

O：そうです。ここまで、それなりに全体を分かってくれて、ありがたいです。 ところで、まだ、話が続くんですが？

N：どうぞ、どうぞ。

●求められる「賢い」検索、「賢い」要約

O：「テキスト←→テキスト」はもっとも易しいと思われています。Yahooなどの検索ソフトがその例です。

N：やっと、馴染みの言葉が出てきました！

O：Yahooなどではキーワードでhome pageとつながっています。そこで、すべての音声や動画像のデータにキーワードにあたるラベル記号を付与できるとすると、テキストから動画像や音声への検索は可能となりますが、ラベル付けをするための音声や動画像の切り出しや、ラベル付け自体の手間や一貫性の問題などにより、日々蓄積する大量のデータをこの方法で扱えるものになるかどうかは疑問のあるところです。

N：なるほど。Yahooでは、画像を見せたり、しゃべったりすることでhomepageを検索できないのがよく分かりました。

O：一方、「テキスト←→テキスト」による検索自体も、検索の要求（queryといいます）と検索されるものの関係に高度なものを求めると、多くの課題を解決しなければならなくなります。Queryの言葉についての連想や概念的な近さなどを人間と同じように扱ってくれる「賢い」検索への要望は今後ますます強くなってくるでしょう。われわれの研究室では、このような要望に応えるための新しい手法として、「Galaxy net method」というものを開発中ですが、これについては別の機会に紹介しましょう。

N：テキストによるテキスト検索もまだまだということですね。

O：そうです。また、「音声→テキスト」変換についても、われわれの研究室では、「連続DP」を発展させた　「標準パターン更新型標準パターン区間自由連続DP（IRIFC DP）」とよぶ方式を開発して話題分節を行い、さらに大語彙（20万単語以上を対象）の音声認識やシソーラス辞書を使ってテキストの形での音声要約の出力を得るための技術も開発中です。会話や講演の音声の生データについて、一つの話題がどこからどこまで続いているかを自動的に見つけるのは難しいことです。これは人間にとっても知的な作業といえます。また、一つの話題区間が見つかっても、それを要約して文書にすることも、同じかそれ以上に難しい問題です。

　話題要約技術は上記の（4）に相当するものの一つです。これらの研究の進展状況についても既にこのRWC NEWS（第3号）でその一部を紹介しましたが、また別の機会に最新の全体像を紹介したいと思います。

N：音声認識はずいぶん昔からやっているのに、これも大変そうですね。IBMが最近出した音声パソコンで十分かと思っていました。

O：朗読や講演よりも、普通にしゃべったり、普通に会話したりというような音声の方がコンピュータに理解させるのが難しい、ということを知って意外と思われる方が多いですよ。

N：お喋りするとき、私などいつも口からでまかせで何も考えていないのでコンピュータに理解させるのも簡単かと思っていました。 :-)

O：Nさんの頭のレベルにもコンピュータは到達していないということですね。 :-)

N：失礼な！ :-）

O：さて、やっと今日の本題を話すところまで来ました。

N：えっ？まだ、本題に入っていなかったのですか？もう終ったかと思っていました。

O：これからが本題ですよ。

●大量の音声や動画像を整理するには

O：先に話した、（3）、すなわち、「音声と動画像の相互変換検索」についてですが、これは大量の音声や動画像やテキストの生データを上手に加工して、後で再利用できるように蓄積していくために必要な技術です。これがないと日々その量が増大しているデータの世界に対処できなくなり、また （1）,（2）,（4）を実現する方式を開発する手がかりもなくなるといえます。 　そこで、ここでは、この問題を解決してくれる「Incremental Path Method」（IPMと略します）というものを紹介します。これは直接的に音声や動画像の生データを対象として、自動的にデータベースを作成するために使うものです。

N：思い出しました！今日の話の最初に出てきた「IPM」ですね。

O：そうです。IPMは、われわれの研究室で開発された自己組織化方式の一つです。自己組織化というのは、人間が何も手を加えなくても勝手にデータが整理され、整理の仕方も自動的に改善されるというものです。

N：そんな都合のよいことが本当にできるかどうか疑問です。素人をまどわさないで下さいね。

O：うーん。確かに、ちょっといい過ぎたかな？ :-) まー、とにかく、IPM自体は上記の（3）を実現するものです。そして、IPMによって作成されるデータベースに、私たちが考案した「連続DP」とよぶスポッティング検索方式を発展させた「連続オートマトン」を適用することによって「音声←→音声」、「動画像←→動画像」が実現されることになります。これは（1）と（2）の一部の実現といえます。

　さて、IPMがどんなものか説明しましょう。IPMは、記号の時系列のデータを入力として扱います。したがって、まず、音声や動画像を一定の時間ごとのデータに加工します。音声でしたら、8 msecや16 msecごとの音波をスペクトルベクトル、すなわち、どの高さの音から成っているかということをベクトルの形で表したものの系列とし、動画像でしたら、テレビの一画面に相当する30 msecごとのフレーム画像、すなわちフレーム画像の系列とします。さらにもう一段加工して、スペクトルのベクトルやフレーム画像のそれぞれを量子化、つまり、賽の目切りし、賽の目の値を数値で表し、賽の目に番号を付けます。限られた種類の番号の一つとして表すわけです（これを量子化といいます）。

　そして、IPMは、このデータの入力全体をノード（節）と、ノードとノードとをつなぐアーク（弧）でできるネットワークで表します。このとき、このネットワークを一切人手を使わず自動的につくるところがIPMの特徴です。アークに、各時刻の入力データを量子化したものの番号が張りつきます。それまでのノードとそれまでのアークを使って、すなわち再利用では量子化番号の付いた現在の入力がネットワークの中に入らない時（位置付けられない時）は、新しいノードを作ったり、アークを作ったりしてそれを張りつけます。この作業は予め定められる５つの自然なルールに従うようにしてあります。ネットワークの自動作成で、音声と動画像はそれぞれ別個のネットワークをつくるとします。テレビ番組の動画像と音声信号のように時間を共有している場合は、アークにつくデータ量子化番号には入力データの時刻のパラメータも同時に記憶させます。

　IPMによって、ノード数とアーク数は場合によっては、それぞれ数十万にもなることもありますが、極めて大量の音声や動画像データがネットワークに畳み込まれて圧縮された形でデータベースとなります。また、ノード数やアーク数は、増加しないように、あるいは制限された量の増加なら許すなどして、入力データを入れ続けることができます。これによって、入力データ量が増すとより充実したデータベースが自動的にできていきます。これはデータベースであると同時に、入力の音声や動画像データのつくる「モデル」でもあります。したがって、IPMは時系列データのネットワークモデルを自動構成するという言い方もします。

N：まー、かなり専門的な話ですよね。分かる人は分かるのでしょうが...。(^^);

O：............。 結果だけは図でお見せできますよ。このようなネットワークデータがどんな様子を示すか、図2にその一部を示します。これは、動画像データの入力から作られるもので、3次元空間内に表現され、また分かりやすいようにノードにフレーム画像が張りつけられたものを示してあります（実際はアークにフレーム画像が張りつきます）。

N：なるほど。画像が線でつながっているのでネットワークというのですね。 私の頭の中でも、これまでテレビで観たものがこんなふうに記憶されているのでしょうか？

O：さあ、どうでしょうか。人間の記憶にイメージがあるのは確かですし、それがつながっているのも確かですが、生理的にどうなっているかは分かっていないと思います。動画像がそのまま記憶されていないのは確かですし、神経回路がネットワークですので、単なる仮説としてはこの図のネットワークと類似しているかもしれません。 　さて、次はこのネットワークデータベースからの検索の手法を簡単に述べましょう。

N：えー？まだ話が続くのですか？

O：お疲れのようですので、聞き流してください。 :-)

図２ Incremental Path Method によるデータの自己組織化

●曖昧なqueryでも検索が可能

O：何かを検索したいとき、通常、「これこれに関連しているもの」という意志表示をします。このとき、「これこれ」が「query」とよばれ、「関連しているもの」が「検索されたもの」となります。これまで述べてきたように、マルチモーダル相互検索システムでは、「query」が動画像で「検索されたもの」が音声であることもあり、「query」が動画であり、「検索されたもの」がテキストとなることもあります。また、「query」が「いま流れているテレビ番組」から作成される場合、それが「この５分間の内のどこかで出てきた音声あるいはイメージようなもの」という曖昧なものになることもあります。これは、ユーザーが「query」を明確なキーワードのように特定できない場合です。このように、始めの時刻も終りの時刻もないような「垂れ流しのquery」から検索をさせたいとわけです。

N：要求の仕方が垂れ流しでもよいというのは、使う立場からすれば楽ですよね。 適当に、思いついたことをだらだらとそれなりに言っていればいいということですよね？

O：そうです。使う人に負担をかけないことが肝心です。理想的にはコンピュータの存在をユーザに忘れさせたいのですが。

　この「垂れ流し」のquery入力についても、「連続オートマトン」というわれわれの研究室で開発された方式によって検索を行うことができます。

　「連続オートマトン」では、IPMネットワークのすべてのノードに活性度というものが計算され、対応付けされます。この活性度は、途切れなく続くqueryの時系列（音声や動画像）の現時点で、今から前の入力時系列の中に、ネットワークのデータベース（IPM）をたどっていく時、すなわち最適なパスを探すことを試みた時、どの程度類似したものがあるかを時々刻々表すものです。活性度が高いほどネットワーク中にそのパスに関連の強い情報があるということを示すとします。このとき、ある値以上高い活性値をとるノードをネットワークの中で光らせるとします。いま、続いて光っているとき、まさに、今の時刻の入力データを終端として、その時点より過去のある時点までの（入力の中で自然に定まる）区間データに近いものが、データベースの中に（つまりこれが求める情報）区間データとしてあるということが分かります。いつデータベースに入ったかということは、その光っている場所にある日時のデータでわかることになります。連続して光っているノードの表す区間が、検索されたもの（音声区間や動画像区間）となります。もちろん、現在の時刻付近の（区間）データがネットワークデータベース中になければ、光るノードは一つもありません。

　この様子は、時々刻々変化する入力の時系列の中で、どこまでが「query」であるかということを事前に指定する必要が明らかにないことを示しています。このような検索を「スポッティング検索」といいます。これは「連続DP」で「区間のある時系列標準パターン」（これがデータベースに相当します）について実現されていたものが、ここでは、IPMネットワーク、すなわち「相互結合型のネットワークのデータベース」（これは一種の標準パターンに相当します）について実現されているもので、この方式を「連続オートマトン」とよんでいます。ここでも「DP」のもつ最適性原理が働いています。

N：人間側が「垂れ流し」の形で要求を出すと、コンピュータにしわ寄せがきて、それなりに工夫をしなけばならないということですね。

O：まさにそのとおり ! 今日の中で一番理解の深いコメントですね。このときの検索結果を示しているのが図3です。

図３ 音声から動画像の検索の様子

N：なるほど。この図ではそんなことをやっている雰囲気が感じられますね。でも、これ以上詳しい説明は、今日は勘弁していただけないでしょうか？ (^^); 長い時間ご説明ありがとうございました。話す方も大変かと思いますが、聞く方がもっと大変でした。５分もすれば聞いたことをみんな忘れそう 。:-)

O：デモをお見せするだけで分かっていただければ有難いのですが、デモでは目に見えるところだけが強調されて、研究の背景などはなかなか分かっていただけないようですよ。

今日の二人のお話はここまで。
次回の展開をご期待ください！