|
１９９８年３月２４日
リアルワールド・コンピューティング（RWC）では
「ジェスチャ認識と音声認識ソフトが市販ノートパソコンで同時に動く技術」
を世界に先駆けて開発しました
RWCつくば研では、人間がジェスチャと音声を使って市販のノートパソコン上の仮想の人物と対話できるソフトを開発しました。マルチメディア社会では、パソコンとの対話はキーボードやマウスからジェスチャや音声ですることに移っていくと予想されます。
現在、開発された技術では、使えるジェスチャの数や音声の単語の数は限られていますが、認識させるジェスチャや音声はその場で登録して使うようになっています。市販のノートパソコン１つで、人間が日常で使っているジェスチャや音声のマルチメディアの情報を扱えるようになったのは、これが世界的に初めてのことであり、今後のパソコンの新しい使い方を広げるものとして大変画期的なことです。
従来技術では、ジェスチャ認識や音声認識はそれぞれ別個のパソコンやワークステーションで実行させたり、あるいは専用ボードを使うということによってのみ実現されています。この度ＲＷＣつくば研で開発された技術（ソフト）は、市販のノートパソコン１つのみで、ジェスチャ認識と音声認識の２つのソフトを同時にかつ実時間で動かすようにするものです。
このソフトの開発のポイントは２つあります。その１つは、いろいろな必要な作業を、１つのCPUのみで行えるように計算のスケジュールを工夫したことです。もう１つは、１つのＣＰＵでも実時間処理ができるように、計算の量が少なくてすむジェスチャの認識と音声の認識手法（スポッティング手法といいます）を開発し、それらを用いたことです。
さらに、今回開発されたソフトを用いると、ノートパソコン１つでも、ジェスチャ認識や音声認識を同時にかつ実時間で実行させてもさらに計算に余裕ができます。この計算の余裕で、他の様々な仕事も１つのノートパソコンの中で同時にさせることができます。
本成果は、実世界知能技術における動画・対話理解（ジェスチャ・対話を理解するコンピュータ）の大きな研究成果の一つとして、RWCにおける中間成果物と位置づけられます。詳細は別紙のとおりです。また、本成果に関する連絡先は、下記となっています。
本件連絡先：技術研究組合 新情報処理開発機構 つくば研究センタ
〒305 茨城県つくば市竹園1-6-1 つくば三井ビル13F
電話：0298-53-1641（代表） FAX：0298-53-1640
連絡先担当者：岡 隆一、高橋 裕信
「ジェスチャ認識と音声認識ソフトが
市販ノートパソコンで同時に動く技術」の解説 --
◯ １つのＣＰＵをもつ通常のWindowsノートパソコン上で
ユーザーがジェスチャと音声でパソコン中の仮想人物
とリアルタイムで対話することが可能になりました。
１ ((何が新しいのか？))
従来のパソコンでは、ジェスチャ認識ソフトと音声認識ソフトを１つのパソコンでは同時に動かすことはできませんでした。
今回、新しく開発したソフトを用いれば、
- ○ 大きな計算機を用いる必要もなく、また専用装置を一切使わずに、
- 通常のノートパソコンのみで、人間が、ジェスチャと音声を同時に
- 用いてノートパソコンの中の仮想人物と実時間で対話できるようにな
- ります。
２ ((どうやって作ったか？))
次のようなことで新しいソフトを開発しました。
- ○ いろいろな必要な作業を、一つのCPUのみで行えるように計算のスケジュールを工夫したこと。
- ○ 実時間処理ができるように、計算の量が少なくてすむジェスチャの認識と音声の認識手法（スポッティング手法、注参照）を開発し、それらを用いたこと。
-
３ ((どんなことができるようになったか？))
本ソフトを用いたノートパソコンは、音声やジェスチャを用いてユーザーがパソコン内の仮想人物と対話する場合、ジェスチャや音声をパソコンが認識し、その結果とパソコン内のデータベースを統合して、ユーザーの作業の進行をユーザーに分かり易い様に、画像で表示したり、音声で応答できるようになります。
 |
図１「ジェスチャ-音声操作型ノートパソコン」
（Multi-modal Personal Computer (MMPC) |
 |
図２ユーザーがパソコン内の仮想人物と
ジェスチャと音声で自然な対話を行う |
 |
図３ ノートパソコン上の画面
ユーザーは画面の仮想人物と対話します |
図１や図２で示されるように、膨大な処理能力をもつ大型コンピュータでなくとも、身近のノートパソコンでも、人間のジェスチャや音声を通じてパソコン内の仮想人物と対話できる
ようになりま
した。
ノートパソコンの中では顔を持ち、声で応対し、理解したことをイメージ画像で示す仮想人間が、利用する人間との仲介となって働く、人に優しいパソコンが実現されることになります。
ここでは、
- a. 人間の自然な、区切らなくてもよい会話やジェスチャによっても、人間の意図をパソコンに伝えることができます。
-
- b. パソコンの理解できる単語を音声やジェスチャの形でユーザは簡単に登録できます。
-
- c. パソコンは人間が与える冗長な音声やジェスチャの流れから既に登録した単語だけをリアルタイムで認識します。これを「スポッティング認識」といいます。（注）を参照してください。
人に優しいパソコンは、マウスやキーボードを使わず、仮想人物と会話やジェスチャで意志を通じさせることを通じてパソコンの内の情報を取り出したり、指示したりすることができます。これらのジェスチャや音声の認識ソフトを実時間で動かす以外の処理も、１つのノートパソコン内で実行できます。
これらのそれぞれの技術は RWCでの研究成果です。
- （注）「スポッティング」 とは、途切れのない一連の音声やジェスチャの流れの中から、予め登録した単語を切り出すことなく自動的に認識することです。このとき、「切り出し」と「認識」は同時になされます。この様子は自然な区切れのない音声やジェスチャの流れの中で、分かっている単語だけをスポット的に理解して全体の内容を知るという人間の直観的な理解に近いものとなります。
４ 本ノートパソコンの構成
- ○ ノートPC
- ○ CPU: Intel MMX Pentium 233Mhz
- ○ メモリ：１２８MB
- ○ OS: Microsoft Windows95 4.00.950 B
- ○ キャプチャデバイス：IBM SmartCaptureCard II
- ○ オーディオデバイス：ESS Technology Inc. ES1879 (本体内蔵）
- ○ 実行アプリケーション：ジェスチャ認識、連続音声認識（連続ＤＰ方式）、
- オートマトン、ＣＧ，音声合成
|
