RWC研究成果の発表

岡　隆一

（TRC 理論・新機能研究部）

　先般（1996年3月上旬）、RWCPつくば研究センタの情報統合研究室では、最新の研究成果の一つを新聞に発表しました。以下の内容は、新聞発表に用いた資料をもとに作成したものです。

◆何を試作したか？
○「ジェスチャ－音声操作型パソコン」　（図1（写真）参照） 　これを、「Gesture-Speech Interface Personal Com-puter（GSI PC）」とよぶことを提案します。ソフトは、Windows上でも動作可能となっています。

◆何が可能になったか？
○パソコンとの自然な対話が可能。　（図2および図3（対話例）を参照）　膨大な処理能力をもつ大型コンピュータや高性能のワークステーションでなくとも、身近にあるパソコンも、人間のジェスチャや音声を通じて操作できるようになりました。

　パソコン中では、エージェント、即ち顔を持ち、声で応対し、理解したことをイメージ画像で示す仮想人間が、利用する人間との仲介となって働くことにより、人にとって優しいパソコンを実現しています。応用ソフトの扱える課題を変えると、多様なタスクそれぞれを対処することができます。図2と図3は、「好みの家を設計する」という応用ソフトを使う場合の例を示しています。

　このような応用ソフトを使うと、人間の冗長な会話やジェスチャによっても、人間の意図をパソコンに伝えることができます。リアルワールドの情報は、冗長であり、また、不完全であるのが特徴ですし、人間から自然に発せられる情報は、そういう特徴をもっています。また、このような情報をパソコンが扱ってくれるとき、人間にとってパソコンが優しいと感じることになります。

　パソコンが理解できる単語を、音声やジェスチャの形でユーザは簡単に登録できます。このとき、ジェスチャの種類は一般にはそれほど変わらないことになりますが、音声の扱える語彙は変わる場合が多くなります。一つのタスクで扱える音声の単語は通常100以下としています。

　パソコンは、人間が与える冗長な音声やジェスチャの流れから、既に登録した単語だけをリアルタイムで認識します。音声とジェスチャの同時使用はもちろん可能です。

　パソコンは、音声やジェスチャの認識結果とデータベースを統合し、その結果を人に分かりやすいように、画像（CG）で表示したり、音声で応答したりします。このときCGの更新は16msecごとに行うことができます。音声の認識は16msecごとで、ジェスチャの認識は約60msecごととなっており、先に認識されたものから順に処理されます。

図１ 試作した「ジェスチャー音声操作型パソコン」

図２ パソコンソフトの画面。ユーザの対話する仮想人間（右上に顔のみ表示されている）と、仮想人間の理解しているユーザの合意状況のCG表示（左反面に表示されているように時計方向に画像が時々刻々と更新される）。

◆何が新しいのか？
　従来のパソコンにおけるヒューマン・インタフェースとは異なり、「ジェスチャ－音声操作パソコン」には次の特徴があります。
・キーボード操作から、音声、ジェスチャの統合操作へ。
・人間の音声やジェスチャに応答する仮想世界をパソコン内に実現。
・人間と機械の双方向マルチメディアのリアルタイム対話実現。
・計算機内のエージェントと対話しながらパソコンを操作。
・曖昧な言葉やジェスチャでも計算機が解釈してくれる。

◆どうやって作ったか？
　次のようなことを実現する方式を開発しました。
・冗長なジェスチャや音声の中から予め登録したものだけをスポッティング的（注を参照）にとり出し、実時間で認識。
・スポッティングした結果でデータベースの実時間検索。
・検索結果をコンピュータ・グラフィクスの画像で表示。
・全体を実時間で統合。
　これらの技術は、RWCの研究成果です。従来は、これらのソフトのそれぞれを別個の高性能ワークステーションで動作させ、全体を動作させるのに少なくとも3台以上のワークステーションを同時に使うことが必要でした。今回のパソコンの試作において、それらのソフトが1台のパソコンの中に実装できること、かつ全体を実時間で動作させることが可能であることを実証しました。

図３ 「好みの家の設計ソフト」（応用ソフト）による会話例（AとBは人間の音声とジェスチャによる対話）、ここで、<.......>はパソコンの画面を表示し、下線は、AとBの音声とジェスチャの会話中に、パソコンが、スポッティング的に認識する部分を示している。また、二重下線はジェスチャを示している。

（注）「スポッティング」とは、途切れのない一連の音声やジェスチャの流れの中から、予め登録した単語を切り出すことなく自動的に認識することです。このとき、「切り出しなし認識」とは、各時刻時刻に登録単語が発生したかどうかを判断するものです。この様子は、冗長な音声やジェスチャの流れの中で、分かっている単語だけをスポット的に理解して全体の内容を知るという、人間の直観的な理解に近いものとなります。

◆これからの課題と展望　本パソコンは、2つのDSPボードを使っています。これはパソコンのマザーボードのCPUの処理能力をサポートするものとなっています。パソコンのマザーボードに搭載されるCPUの高性能化は極めて進歩の早いものであり、早晩、本パソコンで用いたDSPボードは不要になると考えられます。この段階に至るときが、本パソコンが社会一般へハード的に普及できる段階であると想定されます。　ジェスチャと音声による対話機能については、本パソコンのソフトの性能は、いわゆる文章作成のためのタイプ入力やワープロの機能を良好に行いそれらを 代替するまでには至っていません。したがって、ジェスチャと音声による対話機能が実現されるのは、（1）アプリケーション領域が設定されている場合（語彙が限定でき、仮想人間がユーザの相手をする、など）（2）パソコンの一般的な操作（これまで、簡単なキーボード操作やマウス操作によってなされている選択、など）に限られるものと想定されています。ここで、（2）における機能の拡大と充実は、パソコン使用の一般への普及のために欠かせないものと予想されます。したがって、ジェスチャと音声による操作は、主としてこの段階で自然な形で通常のパソコンの中に採り入れられるものとなると予想されます。ここでも、仮想人間が相手をしてくれるということが考えられるので、（2）は（1）の一例ともいえます。この段階に至るまでに、これから数年も要しないのではないでしょうか。　本パソコンの試作は、ハードの発展とそれに伴い必要とされるソフトの種類について、上記のような時代の到来を予見して行われたものです。

◆参考：本パソコンの構成

〇PC本体
・PCケース（デスクトップ型、115V、250W）
・マザーボード（CPU Pentium133、メインメモリ16MB）

〇PC内蔵装置類（グラフィクス・ボード、サウンドボード、ハードディスク（1.2GB））

〇CCDカメラ（カラー42万画素）

〇マイクロフォン（単一指向性）

〇ディスプレー（17インチ）

〇スピーカー（CP-28ステレオ）

〇音声処理DSPボード
・キャリアーボード（LSI社製、メモリ（245K×32 SRAM））
・CPUモジュール（LSI社製、TMS320C40 40MHz、メモリ（384K×32、SRAM））
・AD/DA変換モジュール（LSI社製、最大16Bit /44.1KHz×2channel）

〇画像処理DSPボード
・キャリアーボード（LSI社製、245K×32SRAM）
・CPUモジュール（LSI社製、TMS320C40 40MHz、メモリ（128K×32、SRAM、1M×32DRAM））
・フレームメモリVRAM（246K×8×3、オーバレイ256K×4）
・ビデオポート（RGB IN/OUT）

〇OS（Windows 3.1J）