テーマ及び発表研究室	概要
CrossMediatorのためのマルチモーダルインターフェースシステム マルチモーダル機能つくば http://www.rwcp.or.jp/lab/mmtl/	情報システムを、音声や画像等を組み合わせた様式で利用するためのエージェント型ヒューマンインタフェースの開発を行っています。 人の動作、音声などのマルチモーダル情報を計算機が認識して、与えられた処理を行うマン・マシンインタフェースを開発しました。これはパソコン上にも実装でき、マルチメディアデータベースCrossMediatorの入力システムとしても使用しています。例えば、動作や音声により計算機に指示を与える事ができます。
The CrossMediator ーマルチメディア統合検索システムー 情報ベース機能つくば http://www.rwcp.or.jp/lab/mmtl/	実世界あるいは情報ネットワーク上の多用な情報を自己組織的に整理、要約、検索、提示することのできるエージェントシステムの研究を行っています。 静止画、動画、音声、文書などのマルチメディアを直接用いた問い合わせをすることにより、求めるマルチメディアデータの検出を行うことができます。単語連想による検索手法“ASKS”を開発し、インターネットニュース250万件とウェブページの検索システムを公開しています。これは特許検索にも適用されています。 ショット分割が不要の実時間動画検索システムVideoSpotterを開発しました。画像と単語の学習による関連づけ手法を開発、画像によるインターネット検索という新たな検索形態を提案しました。フレームベース特徴量からの音素認識手法を用いて、映像データからの実時間音声検索システムを開発し、映画の映像などに適用しました。
顔・表情認識 マルチモーダル機能KRDL http://www.rwcp.or.jp/lab/mm-kdrl/ face_recog/rwc_face.html	顔・表情認識を行うための堅牢な技術開発を行っています。今回のデジタルポスターでは、新しく開発した堅牢なアプローチを紹介しました。 このシステムは、特定の個人の認識を目的としています。様々な照明や表情、また、一定でない背景から個人を認識し、HMMによりコード化されている個人の表情ライブラリを参照します。 顔は人体の中で最も重要な部分です。表情は多くの感性の情報を伝達します。感性の情報は、人間の直感では容易にわかっても、明確に記述するのは困難です。応用の可能性と問題そのものの魅力から、コンピュータ・ビジョンの研究者達は長年にわたり、この問題に取り組んできました。