手話認識技術とその応用

1.はじめに

手話は聴覚障害者の日常的なコミュニケーション手段である。しかし，聴覚障害者と健聴者の間のコミュニケーションを補助する手話通訳者の数は未だに不足しているという問題がある。このため，自動手話通訳システムによる聴覚障害者のコミュニケーション補助や，社会への手話の普及は重要な課題であると考えられる。 本稿では，これらの課題を解決するために開発した手話認識方式とその応用システムを紹介する。

2.手話認識方式

手話認識システムの構成を図１に示す。

手話認識を行うには，まず，入力された手話動作中に表現されている個々の手話単語を認識する。この方式として，手の形状，手の方向，運動形態等の動作単位に基づいて認識を行う方式を採用している。また，動作速度や動作方向に基づいて，入力された手話動作を個々の手話単語を表すセグメントに分割する。さらに，各セグメント中の動作が片手による動作か，両手による動作かの判定を行い，手話単語の認識精度を向上させる。認識された手話単語と各セグメントとの時間的な関係に基づいて，手話単語を各セグメントに対応付け，その結果から，手話単語列を生成し認識結果として出力する。

3.手話認識の応用

(1)手話教育システム

これまでの手話学習では，テキストやビデオを用いる方法が主体であった。しかし，こうした方法では，(a)学習者が動作の正しさを判断できない，(b)学習にインタラクティブ性がない，(c)手話から日本語の検索が難しい，といった問題点がある。これらの問題を解決するために，手話認識を利用した手話教育システムを開発した。手話認識を用いることにより，学習者が入力した手話動作を評価し，その結果を学習者に提示することが可能となり，上記の問題を解決することができる。

(2)情報提供端末

聴覚障害者がより多くの情報を獲得できる，とを目的として，手話認識を実装した情報提供端末を開発した。本システムでは，手話の認識精度を向上するため，あらかじめ決められた型の手話文のみを受け付けるようになっている。

システムは，入力された手話文から検索条件を抽出し，該当する情報を検索してユーザに提示する。これにより，ユーザは手話を用いて情報の検索を行うことが可能となる。

本稿では，手話認識方式と，それを応用したシステムとして手話教育システムおよび情報提供端末の二種類のシステムを紹介した。

開発した手話認識方式を実用的な技術とするために，手話認識を用いた情報提供端末の試験運用を行い，実世界における手話認識方式の評価を行う予定である。