研究成果の新聞発表
つくば研究センタ 情報統合研究室 岡 隆一
つくば研の情報統合研究室では、先般以下に示す２件のものを最近の成果して新聞発表しました。
- 「おしゃべりや会議の話題を”斜め聞きして”要約する方式の開発」
- 「同時複数話者の会話音声とジェスチャのリアルタイム統合システム」
新聞発表のために作成した資料をここに再掲します。
（１）「おしゃべりや会議の話題を”斜め聞きして”要約する方式の開発」
((どんなことができる？))
日常の会話、会議、討論会での音声を録音テープにとっておくことはよくある。録音の目的は後で再生してその内容を要約したり、重要な情報を取り出すことにある。しかし、録音はしたものの、その時間が長いものであったり、録音の量が多いとき、おおよその内容がどの時間にあるのかを簡単につかむことが困難で、そのままにほっておいてしまうこともよくある。録音したものの中に大事な情報があるかもしれない場合でも見逃すことが多々ある。このことは，紙である文書などは大量にあっても斜め読みして、大体どこらに何が書いてあるかを見当づけることができるのと対照的である。
新情報処理開発機構では、このような不便を解決するため、どんなに長い録音のテープであっても、どの時間帯に大きい話題が話され、また、その話題の中で小さな話題がいくつあるかということをつきとめる方式を開発した。
この方式は、人が希望すれば、先につきとめたそれらの大きい話題、小さい話題の要約を録音の部分部分を繋ぎ合わせて、短時間の音声で人に聞かせることもできる。これは，いわば「斜め聞きのできる」方式の開発ということができる。この方式を使えば、長い録音をしても後の処理が大変だということがなくなる。
また、ビデオテープのように音声と画像が一緒であれば、要約音声を聞いて、大事と思ったところの画像の取り出すことも簡単にできることになる。
また、この方式が扱えるのは日本語に限らない。英語でも中国語でもアラビア語でも何語でも適用できる。また、通訳者がいたときなどに起きる、一つのテープに英語と中国語がところどころに交じることになる場合も扱えるものとなっている。
また、現在、この方式は実時間で作動しており、会議や議論の最中に、あるいは会議の終了時に、それまでの話しの要約を瞬時に聞くこともできるようになっている。
((この研究で用いた新しい手法))
新情報処理開発機構のつくば研究センタでは、おしゃべりや会議で録音した音声を処理する
「標準パターン更新型区間自由連続DP」、略称 IRIFCDPとよぶ手法を先の目的のために新しく開発した。
会議などで、今話された言葉は 1
分以内さかのぼるとそれと同じことを話していたとする。そのとき、この手法は、まずその２度話された同じ話し言葉を見つけ、その間を線で結び、この線を時間軸の上に置く（第１ー１図参照）。
そして、この作業をつぎつぎと行なう。そうすると、時間軸の上には線分が積み重なっていく（第１ー２図参照）。 
この線分の積み上がりの様子をみると、線が沢山重なったところは山となり、あまり重ならないところは谷となる。大きな山は大きな話題、小さな山は小さな話題に対応する。谷は一つの話題が途切れているところを示す（第１ー３図参照）。
このような一つの山が一つの話題を表すというのは、一人の人間、または複数の人間が一つの話題を頭にいれて話したり、会話をするとき、同じ単語や文節や文章などが一分以内には２度出現することが極めて多いという経験や実験観察に基づいている。「標準パターン更新型区間自由連続DP」、略称
IRIFCDP
という方式は，これらの単語，文節，文章などのどんな単位のものであっても，同じものが今の時点で，それから１分以内の過去に話されていれば自動的にそれを検出できるものとなっている。
ここで開発された方式は、さらに，上に述べた山や谷を自動的に見つけて話題の区切りを教えてくれる（第１ー４図が実際のコンピュータが出す結果を示している。この図では１５分の時間内に４つの話題が話されているが，大きな谷で４つの話題が分離されていることがわかる。また小さな谷は大きな話題の中の小さな話題に対応していることの抽出されている）。また、山をつくっている音声の部分部分だけをつなげると、話題の要約となっている（第１ー５図参照）ものを出力するように構成されている。
また、実際，この部分だけを聞いてみると話題のおおよそが見当つくものとなっている。
一方，この要約音声の部分だけを従来の音声認識にかければ、書き言葉としての要約が作れる。この書き言葉となった要約を検索のキーとして用いると会議の最中でも大きなデータベースから重要な情報を検索して会議の参加者に提供することもできる。
この技術は、ありふれている日常のおしゃべりや会議や講演の音声を柔軟に処理してそれらを人間の必要な形に加工して提供できるものである。取り扱いが面倒でも重要な音声データを有効活用できるようにするものとして、この技術は
マルチ・メディア社会において、必須のものになると期待される。
（（今後の課題））
この研究は直接的に音声認識をすることなしに，音声情報に含まれる言語情報を取り出す方式を用いている。そのことによって，音声認識をまともに行えば生じるであろう種々の困難な事柄を回避し，それ故に音声認識では極めて高度であると思われる機能を獲得できることとなっている。
このような考え方こそが，われわれが目指す「柔らかい情報処理」の一つの実現であるといえよう。ここにおいて重要なことは，記号的な情報を得るのにパターン情報的なアプローチをとることの有効性である。この考え方をより普遍化していくことがこれからの大きな課題となる。
（２）「同時複数話者の会話音声とジェスチャのリアルタイム統合システム」
((どんなことができる？))
人間が他の人々と討論するとき，音声や身ぶり手振りで自分の意志を伝えたりすることは普通にしている。人は他の人と合意を得るために，互いに相手の考えや知識を取り入れ，自分の考えを主張したり，変えたりする必要がある。このような討論の場面に計算機が参加して人々の間で成立する合意をスムースに行えることができないだろうか？
あるいは人間の共同の知的な創造活動に計算機が支援をするということができないだろうか？
もちろん，計算機は人間に代るものでないし，討論をする人間に代わるものではない。そこで，人間が不得意で計算機が得意であるところで，計算機が討論の場面に参加することを考えることになる。計算機の得意なこととは，討論している内容に関係した大きなデータベースからその場面で必要と思われるものを検索しその結果を表示すること，特にそれまでの議論の経過や今の合意状況をコンピュータグラフィクスなどを使って画像として表示することなどである。しかし，このような計算機の得意な作業と人間のジェスチャや音声を使った討論を結びつけることは現在の技術では極めて困難なことである。
新情報処理開発機構つくば研究センタでは，上に述べた記述的な困難を解決するシステムを開発した。この説明を図２ー１を参照して説明する。図２ー１では，２人のユーザが望みの家を設計するために音声による会話とジェスチャによる意志の表現を用いて討論している。計算機は２人の音声の会話とジェスチャを認識し，また２人のその時点での合意されている家の作りについて，コンピュータグラフィクスで時事刻々と表現している。２人のユーザはそれらの画像を見ながら，自分たちがどのように現時点で合意しているのかを確認しつつ，もっと自分たちの希望の家への合意をめざすこととなる。
図２ー２に実際に計算機が出力する画面を示す。画面には４つの家の設計状態が示されるように４つの絵が時計回りに変化していっている。すなわち，右上，右下，左下，左上の順番にである。図２ー２はその例であるが，それぞれの絵は以下のものを意味している。
- 「和風の一階建て，庭には池と石とポーチの駐車場と杉の木と花壇があり
，門は洋風で，塀はコンクリート」
- 「家を２階建てにしたもの」
- 「塀を煉瓦にしたもの」
- 「杉の木を取り除いたもの」
これらの絵の変化は以下のような会話の進行によって変化していったものである。まず，(a) という絵が出現するまでの会話の経過は，
---------------------------------------------------------------------------
- A: 家はどんなタイプがいいですか？
Ｂ：そうですねー，私は家は洋風一階建てがいいです。
- A: そうすると塀はどうしましょう？
Ｂ：塀はコンクリートではどうかな。
- A: 池も必要で，私は車に乗るから，駐車場をポーチにしたいですね。
Ｂ：なるほど。私は，池があるなら，石も必要だと思うけど，どうかな？
-----------------------------------------------------------------------------
というものであり， その後の経過は，
-----------------------------------------------------------------------------
- A: ついでに花壇もひつようですね。
＜＜この状態が (a) の絵が作成されている状態＞＞
Ｂ：家はやっぱり２階建ての方が大きくていいのでは？
＜＜(b) へと変わる＞＞
- A: なるほど。コンクリートの塀は寂しいので，塀は煉瓦にしましょ。
＜＜(c) へと変わる＞＞
Ｂ：駐車場の付近がごちゃごちゃしているので，木は（ジェスチャでいらない）。
＜＜(d) へと変わる＞＞
-----------------------------------------------------------------------------
「以下省略」
というものである。
このようにふつうの会話によって話が進行して行くことに追随して画面が変化していく。また，画面上に現れるエージェントとよばれる顔は画像の変化した部分を合成音声で会話者に知らせており，会社に画面の変化を確認している。このエージェントの音声により，対話者はあたかも３人で会話を行っている印象をもつことになる。
((この研究で用いた新しい手法))
このシステムを実現する上で用いた新しい手法は，４つある。それらは，
- 不特定話者の発する音声を実時間でスポッティング認識できるようにしたこと。
- 人間にジェスチャを動画像として観測し，この動画像からジェスチャの意図することを実時間でスポッティング認識できるようにしたこと。
- 知識のデータベースをネットワークで表現し，対話の進行状況を入力の音声の単語や動画像のジェスチャ認識の結果でドライブされた画像として表現すること。
- 上記の（１）から（３）までの機能を8 msec または30 msec
のフレーム間隔で結びつけ，各フレームにおいて画像出力が変化しうるという実時間処理を実現したこと。
である。この中で，（１），（２）で述べられているスポッティング技術により，話者の自由な会話やジェスチャ動作を許すことができるようになる。なぜなら，ネットワーク表現された話題の進展に必要な単語やジェスチャだけが会話の音声やジェスチャ動作の中からスポット的に取り出すというためである。このシステムにおいて，コンピュータグラフィクスによる画像の更新は
8 msec または 30 msec
ごとであり，この更新速度は会話者がものを考える速度にほぼ追随している。このことにより，会話者は自分の考えを述べる途中においてさえ，変化する画像により考えが影響されるという実時間の効果が生じている。画像で表示される内容は会話の音声やジェスチャでドライブされるものであると同時に，背後にあるデータベースとしての知識の現れるところであり，その知識が実時間で利用されることに本システムの特徴がある。
（（今後の課題 ））
現在は，実時間で扱える音声の語彙やジェスチャの種類が限られている。今後ジェスチャ動画像からの特徴としてよりよいものを開発すること，大規模の知識データベースから，自動的に本実験で扱えるネットワークを構成すること，などが今後の課題となっている。
|
