右図に示す「手話通訳プロトタイプシステム」を紹介する。
　
　本システムは、聴覚障害者の手話の手動作を日本語音声に変換し、合成音声を健常者に提示し、健聴者の発話内容を認識し、認識結果を手話に変換し、変動結果を聴覚障害者にアニメーションで提示するシステムである。そのモジュール構成は上図のようになる。本システムの基幹となる手話手動作認識を行うモジュールは技術研究組合新情報処理開発機構の研究結果に基づき開発されている。
　
　システムは４台のワークステーションで構成されており、各ワークステーションは150MIPS程度の処理能力を持っている。取り扱える単語数は150単語、文の数は400例文であり、その内容は簡単なシナリオ２つと日常会話によりなる。また手話主動作の認識率は90%程度である。
　
　現状では実用化までは時間がかかるが、数年先に使用場所を限定した試験運用を行い、フィールドデータを得たいと考えている。私共は技術研究組合新情報処理開発機構に参画し、現在までに「手話理解をビークルとした情報統合」というテーマで研究を行い、手動作に内在する情報の認識、統合方式などを開発した（現在のテーマは「言語的ジェスチャ把握」）。今後は、手話文（発話内容）の理解方式と、手話理解に本質的な役割を果たす表情や口形などに関するマルチモーダルな情報の統合方式の検討を行う。
　
　また、私共は、福祉システムの1つとして本システムの開発を手掛けているが、手話理解は、マルチモーダルな情報の統合方式の研究を行う上で、最適な課題の１つであると見なしている。開発した技術はジェスチャー認識などの他領域へ適用したいと考える。