言語統合ラボでは、自然言語を介したマルチモーダル情報処理の統合について研究し、知能情報処理技術の研究開発、評価、実際的応用のためのソフトウエア環境を構築している。この環境は、マルチモーダル統合フォーマット(MMCF: MultimodaI Common Format)によって入出力形式を標準化することによって、さまざまな要素技術の間のプラグアンドブレイを可能にする。

MMCFは、大城文書装飾(GDA: GIobaI Document Annotation)[2]タグ集合[3]の拡張であり、テキスト音、(動)画像などからなるマルチモーダルデータの意味構造を記述する。GDAタグは文書の意味構造を自動的に認識可能にする。GDAは、こうした夕グによる文書の構造化を普及させることにより、機械翻訳、情報検索、情報抽出、データマイニング、知識管理などの精度と機能を大幅に向上させることを目指す。また、そうした実用上の目的で作り出される構造化コンテンツは、基礎研究用のデータにもなる。GDAとMMCFの目標は、こうして知能情報処理技術において基礎研究と実際的応用と密接に結び付けることである。

電総研と東洋情報システム、横浜国立大学、東京大学の共同研究によるIPAのプロジェクトにおいて、MMCFのひとつの応用として、インタラクテイブなマルチモーダルプレゼンテーシヨンのシステムを作成している図1にこのシステムによるテキストセグメントと画像セグメントの間の対応付けの様子を示す。

マルチメディアコンテンツの意味的検索等のためのメタデータの記述形式として策定が進められているISOの規格としてMPEG-7がある。MPEG- 7[1]においては自然言語のテキストを扱う必要が認識されているが、1999年末の段階ではまだ仕様に反映されていない。MMCFでは、テキストを他のデータと同様に扱い、それらと意味構造とを体系的に関係付けるように設計している。言語統合ラボでは、この仕様をMPEG-7に反映させることを提案しており、これが採用されれば、 MPEG-7の意味構造とメディア構造のタギングは、自然言語を含むだけでなく、より体系立つたものとなる。

図１：テキストと画像との対応付け

参考文献

[1]MPEG.MPEG-7 context and objectives,1999 http://drogo.cselt.stet.it/mpeg/standrads/mpeg-7/mpeg-7.

[2] 橋田浩一．GDA:意味的修飾に基づく多用途の的コンテツ．人工知能学会誌， 13(4):S28・S3S,1998.

[3]橋田浩一,GDA日本語タギングマニュアル， l999.http://www.etl.go.jp/etl/nl/gda/tagman.html