マルチモーダル機能日立研究室

　昨年度、4台のワークステーションを用いた手話自動通訳プロトタイプシステムを作成しました。このシステムは、マイクロフォンにより入力された健聴者の音声による日本語の発話内容を翻訳し、手話アニメーションで聴覚障害者に提示します。また、それとは逆に手袋型入力装置（センサーグローブ）によって入力された聴覚障害者の手話の発話内容を翻訳し、合成音声と文字により健聴者に提示します。手話単語は、手指動作(手動作）における手の形状・手の方向・手の位置に関する情報を個別に認識し、その結果を統合することにより決定されます。統合時に参照する辞書パターンには確率的な知識が導入され、これにより柔軟な認識が出来ることが、開発した手話単語認識方式の技術面での特長です。

　手話には日本語対応手話と日本手話があります。

　日本語対応手話は、日本語の語順で手話単語を提示することを基本とします。通常、格マーカー（てにをは）などが省略され発話されます。このため相手に伝わる文法情報に欠落が起こる場合があります。手話サークルなどで学ぶ手話はこの日本語対応手話です。

　日本手話は先天的聴覚障害者のネイティヴ・ランゲージです。日本手話は手指動作ばかりでなく、上半身ほぼ全体を用いて情報伝達を行います。また、文法情報をも正確に相手に伝えることが出来ます。手指動作については、手の形状・手の方向・手の位置・動き方・動作の方向・動作の位置・動作の速さ・動作の大きさを情報伝達に用います。また、非手指動作（手動作以外）については口形・表情・眉毛の動き・顎の動き・視線・頭の振り・体の向きなどを情報伝達に用います。例えば、文の初めでは眉上げが起こり、文末では通常頷きが起こります。このとき、過去の事柄を発話しているのであれば文末の口形は「パ」の形状になりますし、否定の場合は「ピ」の形状になります。このように、日本手話はマルチモーダル情報を用いる意志伝達の手段です。

手話自動通訳プロトタイプシステム

　先天的聴覚障害者は日本手話で思考しています。また、日本手話を理解できる手話通訳士の数は非常に少ないと云われています。このため、先天的聴覚障害者は、手話通訳士を含む健聴者と会話をする場合、日本手話から日本語対応手話へのモードの切り替えを余儀なくされています。

　今まで述べたことから、福祉システムのニーズに関する観点からは、日本手話の認識技術の開発とそれを用いた自動通訳システムや教育システムの開発が必要であると考えます。逆に、シーズに関する観点からは、日本手話の認識はマルチモーダル情報統合認識技術の実世界における最適な課題の1つであると云えます。いずれにしても、マルチモーダル情報の統合技術の開発が最重点課題となります。現在、日本手話の手指動作・非手指動作のうち、手指動作に表現される文法情報の処理を中心にマルチモーダル情報統合方式の基礎検討を行っています。

　当研究室ではマルチモーダル情報の統合技術の開発を中心に研究を進めていきますが、可能な限り日本手話に対応した手話自動通訳プロトタイプシステムの構築も行います。システム構築に関しては開発技術の実装の他、ダウンサイジングと画像入力・認識が課題となります。

　ダウンサイジングについては、これまでの4台から3台のワークステーションでの処理を可能にしています。平成11年度にはシステムの実世界での試験運用を予定していますが、その頃までにはPCでの処理を可能にしたいと思います。

　ところで、マルチモーダル機能領域はVisionを重視した組織構成になっています。この構成を積極的に利用し、日本手話の画像入力・認識については他の研究主体との連携により検討したいと考えます。既に他の研究主体への基礎データの提供などを開始しています。

　知的資源としては「マルチモーダル手話データベース」を作成しています。このデータベースのデータは、単語と文と会話の発話に関して、

（1）正面と横方向からの顔と上半身の画像データを手袋型入力装置を装着した場合とそうでない場合について撮影した映像データ

（2）手袋型入力装置を装着した場合はその波形データ

（3）どの時刻にどのような手指・非手指動作が行われたかを示すラベリングデータ

により構成される予定です。映像データ、手袋型入力装置の波形データ、ラベリングデータとバインドされている点がこのデータベースの特長です。

　当研究室では、このデータベースを主に日本手話に関する知見を得るために用います。その限りでは映像データが高品質である必要はありません。しかしながら知的資源として有効に活用していただくため、動画像認識の研究に利用可能な映像データを収集します。現在、データ管理方式や、モデル（聴覚障害者）の自然な発話を促すための手法などの検討を行っています。平成12年3月の完成予定ですが、それに先立ち平成10年9月にサンプルを公開する予定です。

　福祉システムはマーケットが小さいと云われます。しかし、そこで使われる技術のマーケットまでもが小さいとは限りません。本プロジェクトで開発される日本手話を指向したマルチモーダル情報統合方式を抽象化し、より一般的なマルチモーダル情報統合の方法論

日本語対応手話と日本語手話

知的資源