IntelliMedia 2000+ Aalborg 大学 教授　Paul Mc Kevitt

　本日、このシンポジウムにおいて、RWCプログラムの皆様に対して講演できることを嬉しく思います。このような機会を与えて下さったRWCPの岡氏並びに委員会の皆様にお礼申し上げます。

　これからお話しする中には、私の前に話された立花先生の講演内容と同じアイデアが数多く登場しますし、現状と将来の動向についても、私自身、先生とほぼ同じ見解をもっています。

　私見では、リアルワールド・コンピューティングおよびマシンによる自然言語と視覚の統合処理というアイデア全体の駆動力の1つは、情報スーパーハイウェイであると思います。

　この図は、情報スーパーハイウェイを示したものです（図1）。

　上の層に画像と視覚があり、中間の層に聴覚と音響解析があり、下の層に言語があり、その中に辞書（Lexicon）、統語法（Syntax）、意味論（Semantics）があります。この分類に同意される方もあれば、同意されない方もあるでしょう。さらに、下の層の終わりの部分には語用論（Pragmatics）がありますが、この部分の長さは不明です。（L）と（S）で問題を解決できない場合は、問題が常に（P）の部分に置かれるため、この部分はかなり大きいと考えられます。

　情報スーパーハイウェイの図でもう1つ注意すべき点は、少なくとも2通りの観点があることです。その1つは、従来のマルチメディアの観点です。従来のマルチメディアは、画像、音声言語、音楽などのプレゼンテーションおよび鑑賞、並びにテキストのプレゼンテーションでしたが、もう1つの観点として、「インテリジェント・マルチメディア」という新しい用語が登場します。インテリジェント・マルチメディアとは、我々が、画像と視覚環境の理解、音声理解、テキストの理解等という意味からこの絵を眺めることであるといえます。従来のマルチメディアとインテリジェント・マルチメディアとの違いは、前者がプレゼンテーション指向であるのに対し、後者が理解指向である点です。

　もちろん、情報スーパーハイウェイは、今後この研究分野で盛んに取り上げられることでしょう。情報スーパーハイウェイは、ビデオ、テキスト、音声言語を様々な場所にあるデータベースに保管し、そこから検索を行うものであり、検索の1方法として、マシンと会話し、質問を通して得たい情報を検索するという方法があります。これは、大きな進歩が期待される分野です。

　これには、特に、並列処理マシンによる音声や言語の処理、並びに視覚処理が関係します。これは、このシンポジウムで発表される多くの論文にも取り上げられていますし、RWCプログラムでは、これらの研究を統合しつつあります。それが、RWCプロジェクトであるといえます。また、マイクロソフト社のような大企業においても、大規模な研究所で、音声、言語、視覚に関する研究を進め、それを統合して、最終的にマルチメディア製品として販売する製品を開発しています。

　ヨーロッパ連合（EU）は、ヨーロッパに複数の言語が存在することから、言語処理に力を入れており、音声・言語処理と視覚処理、それぞれの研究に巨費を投じていますが、それらの統合についてはまだまだ控えめです。近い将来には、隆盛になることでしょう。

　従来のコンピューティングおよび人工知能の分野では、人間の感情表現が不自然にならざるを得ないという問題があります。例えば、電子メールにスマイル・マークが入っていることがありますが、その時、通常スマイルは横倒しに書かれています（図2 (a)(b)）。

　つまり、コンピュータ画面を倒さないと見にくいのです。コンピュータの研究者やユーザは、コンピュータで感情を表現するとき、そのような問題を抱えています。マシンでスマイルを表現する方法は何百とありますが、コンピュータ画面を動かせない場合、どのスマイルも横倒しになってしまうことが問題なのです。

　実世界のコンピュータ科学では、むしろこのような絵を使うべきです（図3）。実際にスマイルした時と同じような画像を送るのです。文字による横倒しのスマイルでなく、このようなスマイルの絵を入れた電子メールメッセージを送った方が、電子メール上の感情表現が向上します。特に、コロンとハイフンを使用した電子メールでのスマイルの表記法を知らない文化圏の人々と交信する場合は、なおさらです。

　これらの絵（図3）を42名の被試験者に見せ、スマイルの意味やタイプについて質問したところ、得られた回答は、パスファインダ・クラスタ解析を使用して、「幸せ」、「恐れ」、「悲しみ」にまとめられました。もちろん、「幸せ」には「熟慮」、「控え目」、「思慮深い」、「ひとりよがり」など、「悲しみ」には「寂しさ」、「後悔」、「悲惨」など、「恐れ」には「ショック」、「驚き」、「恐怖」、「ぞっとする」、「寒気」など、多くの種類があります。

　そして興味深いのは、同じ写真をイギリス人のグループ（図4）と、中国人のグループ（図5）という異なる被試験者に見せた結果です。回答は、同様に「幸せ」、「悲しみ」、「恐れ」、「嫌悪」にまとめられ、一般的にイギリス人も中国人も、絵の意味の取り方がほぼ同じであるという点が興味深いといえます。

　どちらのグループも、「幸せ」、「恐れ」、「悲しみ」をほぼ同様に感じ取ります。感情の解釈の細かい点ではいくぶん差がありますが、一般的な解釈はほぼ同じです。これは良いニュースです。イギリスと中国の間で、電子メールメッセージに説明を付けずにこれらの顔の絵を入れて送信しても、ほとんど問題はないはずです。今年は無理かもしれませんが、来年くらいには簡単にできるようになるでしょう。しかしながら、イギリス人と中国人に共通するものがあり、顔の解釈については、たまたま両国の文化を超えて極めて類似性があるということも考えられます。そこで、これが世界中で通用することを確認するため、他の文化についても調べる必要があります。しかし、少なくともイギリス人と中国人は、電子メールメッセージに絵を入れて送ることができるということです。

　1960年、Menlo ParkのNils NilssonとBertram Raphaelの両氏が、カメラと言語インタフェースを装備したSHAKYというロボットの開発に取り組みました。そのアイデアは、SHAKYに「箱を台から下ろしなさい」と命令すると、ロボットはその命令を実行するというものです。これが、そのロボットの写真です（図6）。台の上に箱が載っており、ロボットの頭部にカメラが搭載されています。ロボットは、箱に近づき、箱を台から下ろすわけです。うまく行かない場合もありましたが、なにしろまだ1960年代ですから、どの問題も解決されるというわけにはいかず、うまくいけばしめたもの、という程度でした。

　Siklossyは、絵から言語を読み取り、絵をリスト構造やリスト表現にマッピングし、文に変換しました。これも、1960年代のことです。

　1967年、Carnegie Institute of TechnologyのColesは、絵を使用して曖昧性を解消し、やはり絵をリストにマッピングし、言語構造に変換しました。

　多くの人が、"I saw the man on the hill with the telescope."に見られるような、自然言語の曖昧性の処理問題に取り組んできました。この文は、少なくとも2通りの意味がある曖昧な文です。その1つは、「私」が望遠鏡を持っているという解釈であり、もう1つは、「丘の上の男」が望遠鏡を持っているという解釈です。文脈が分からない限り、どちらが正しいかは判明しません。しかし、望遠鏡を持っている人の絵があれば、その人が「私」であるという状況が分かります（図7）。

　これは、テキストとともに絵の視覚処理や画像処理を行うことで、その文の曖昧性の解消に役立つという一例です。これが、Colesが取り組んだアイデアです。絵の視覚処理ができれば、誰が望遠鏡で見ているかをリスト表現にマップできるのです。

　1975年、Waltzは、陰影がある場合の線画を理解するため、境界線に着目して、環境内の物体の線と面にラベルを付ける「Waltzアルゴリズム」を開発しました。立方体のような単純な物体の頂点に「矢印」があり、L型、Y型、T型があることを認識して、これらの局所情報を統合します（図8）。局所情報を統合することにより、物体全体の実際の様子が得られます。この研究開発が行われたのは1975年のことです。

　1971年、ShepardとMetzlerは、心的な形状回転の実験を行い、その実験から興味深い知見を得ました（図9）。形状の回転角が大きくなればなるほど、形状が元の形状と同じであるかどうかを判断するまでの時間が長くなります（図10）。

　上段は回転角が小さい場合、中段は回転角が大きい場合です。下段の物体の場合、実際は上段、中段の場合と異なり、2つの絵が同じかどうかを判断するのに、かなりの時間がかかります。このことから、人間は、この情報の何らかの画像表現を頭の中に持っているということが考えられます。もちろん、「人間は頭の中に画像を持っているか」、あるいは「頭の中の表現は仮説表現か、言語表現か」という大きな疑問が残ります。これは哲学の問題なのか、認知科学の問題なのか、人工知能の問題であるのかという議論が噴出し、未だ解決されていませんが、この問題が解決すると、言語も視覚も処理するマシンを作る上で役立ちます。

　1975年、76年、78年と、Kosslynは、異なる画像を異なる命令付きで被試験者に見せる認知科学と心理学の実験を行い、人間は頭の中に画像表現と言語表現または仮説表現を有するというアイデアを得ました。これは「二重コード」仮説のことです。

　以後、何もかも共同で研究するのは困難であるとの認識から、人工知能、認知科学、言語処理、および視覚処理の研究者は、それぞれ別々に視覚や言語などの研究に携わりました。その後、約15年もの間、多くの研究者が個々に、音声、テキスト、自然言語および視覚処理の研究を進めてきました。その方が楽だったし、所属する部門も皆、違っていたからです。音声処理の研究者は、技術部門か、まれに心理学部門やコンピュータ科学部門に所属し、言語学者は、言語部門や言語学部門に所属する傾向が見られます。だれもが、それぞれの得意分野か、一番簡単にできそうなことに没頭しました。

　1991年、Daniel Dennettは『Consciousness Explained』という本を執筆しましたが、タイトルに反して、意識についてはこの中できちんと説明されていません（図11）。意識の説明を試みてはいるのですが、意識とは何かということが誰にもわかっていないのが現状です。従って、この本は、意識とは何かの説明の「試み」であるといえますが、とても優れた本であることは確かです。

　この本の中には、興味深いことがいくつか登場します。本題に関連したことでは、Dennettは次のように指摘しています。「マシンによる自然言語理解に対する広範な懐疑の根源は、そのようなシステムが、決して入力の構文解析を行うビジュアル・ワークスペースの形態を取らないことである」（図12）。これを今風に換言すると、言語処理および音声処理に携わる人々は、視覚という側面あるいはビジュアル・ワークスペースを考慮していないが、そうする必要があるのだ、ということです。もちろん、今まで考慮せずにきた理由は、先に述べたように、両方を同時に行うことが困難であるからです。

　ともかく、1991年においてDennettは正しかったことになります。現在、我々が発見しつつあるのは、1993年以降、人々が言語処理と視覚処理の統合の研究にシフトしつつあるということです。

　現在、デンマークのAalborg大学では、"IntelliMedia 2000+"というプログラムを展開しています。これは、インテリジェント・マルチメディアあるいはインテリメディアの研究であり、視覚処理・自然言語および音声処理、医学情報科学、エキスパートシステム、およびコンピュータ科学の4部門の共同研究プログラムです。

　Aalborg大学のコンピュータ科学部（図14）では、ハイパーメディア・インフラストラクチャ、ハイパーメディア・データベース、および音声、自然言語処理（NLP）、視覚を扱う異なるモジュールのツールの統合と拡張の研究を行っています（図15）。統合の最も重要な要素は、統合を実行するためのプラットフォームであるため、ツールの統合と拡張の分野は、実際に非常に重要です。

　音声処理と機械翻訳の研究開発を推進しているドイツのVerbMobilプロジェクトのような大型プロジェクトもあります。このプロジェクトでは、統合するためのプラットフォームに注力しなければならないという問題が認識されました。RWCにおいても、統合のためのプラットフォームについて、同じことが認識されています。

　ほぼ1年前、九州工業大学教授の岡田氏が、イギリスで論文を発表されました。彼に、言語と視覚の統合の研究分野での主な課題は何かと尋ねたことがあります。その答えは、統合するための技術的プラットフォームであるとのことでした。岡田氏は、音声言語、自然言語、絵、および視覚処理の研究に最初から取り組み、今も続けておられる第一人者です。他の研究者が個別研究に別れていくとき、岡田氏は、1979年に統合のためのプラットフォームについての論文を発表されました。そして現在、プラットフォームが非常に重要になってきているのです。

　Aalborg大学コンピュータ科学部は、"Topsy"というツールを開発しました。これは、音、音声言語、絵、といった入力の同時発生を統合する知識表現用のツールです（図16）。時間の経過に伴い、入力データから同時発生と相互排他を学習すること、これは言語と視覚の統合に非常に重要です。

　同大学視覚部の画像解析研究所は、アクティブ・コンピュータビジョンを研究しています（図17）。基本的なアイデアは、現在の文脈とカメラが動作する条件に応じてアルゴリズムのパラメータが動的に変化する場合に、いかに実体視を行えるかを研究することです（図18）。カメラは、理解しようとする対象の現在の状況を解釈するため、アクティブになります。このアイデアは、物体の解釈に関する学習を強化するために、カメラが自律的に物体の周囲を移動できるような移動と学習を可能にすることです（図19）。他の観点からさらに情報を獲得し、物体の理解に最適な観点を見つけ、手の中の眼で物体を操作します。

　これは、私の話の中に出てくる2番目のロボットで、ARVIDといいます（図20）。ARVIDの頭部にはステレオカメラが装備されていますが、これは未知の環境での移動に使用され、このカメラのおかげで物にぶつからずに廊下を動き回ることができます。この場合も、並列処理が非常に重要な部分を占めています。

　音声処理、NLP、視覚処理の統合を必要とするのは、ロボティクスだけでなく、人間の脳や心臓、内蔵の写真を撮る医学画像解析分野においても重要です（図21）。X線、CTスキャン、磁気共鳴装置の視覚的解釈などの技術は、異常検出、コンピュータ支援教育、医師の手術支援などでも利用されています。問題を記述する写真添付のカルテもあり、カルテは音声処理システムまたはNLPシステムで解釈できます。

　言語と視覚処理の統合が有用なその他の分野に、マルチメディア、バーチャルリアリティ、テレビ会議の分野が挙げられます（図22）。

　インテリメディア・プログラムでの応用研究例の1つに、テレビ会議があります。これは、室内のある人が、テレビ会議カメラに対して、室内を移動して特定の人物や物体を撮影したり、拡大したりするよう命令できるシステムです。その応用として、カメラに命令できるだけでなく、カメラが、身振り、手振りなどの解釈も行います。この技術は、セキュリティ監視などにも利用できます。

　IntelliMedia 2000+プロジェクトの3番目の部門に戻りましょう。

　これは、PersonKommunikationセンターにより開発されたプラットフォームです（図23）。このプラットフォームは、音声対話システム開発用オペレーティングシステムのようなものです。これは、音声言語処理システムにおいて画像と視覚処理を統合する場合にも、使用される予定です。これには、ユーザがアプリケーションで使用する対話記述を構築するための対話記述言語（DDL）ツールが含まれています。また、対話システムとユーザの対話中に行われる様々な動作を指示する30種類の記号もあります。その言語は、ユーザがグラフィカル記述言語を構築すると、ユーザとの対話を司どる対話マネージャの動作に自動的にコンパイルされます。通常の自然言語コンポーネントである文法、辞書、意味規則、パーザなどもあります。さらに、マウス、ディスプレイ、テキスト対音声、音声認識装置のデバイスドライバと、この汎用対話システム（GDS）にリンクする必要がある視覚システムやロボットなど、他のアプリケーションと交信する通信マネージャもあります。これは、実際には、ユーザとの対話アプリケーション開発用ツールです。

　この種のツールは、他でも開発されています。イギリスのVocalis、アメリカのOregon Graduate Institute（OGI）、Philipsなどが開発中のツールもあります。音声言語対話開発ツールも開発されています。これらのプラットフォームも重要になりつつあり、特に言語と視覚の統合に広く使われるようになるでしょう。

　書籍頒布会の例をご紹介しましょう。

　最初に「書籍頒布会自動サ－ビスへようこそ」というメッセージがあり、情報が生成され、その後、「会員番号をどうぞ」という声、番号の確認、注文や取消しのやりとり、「続行しますか」、「はい」か「いいえ」の応答、終了と続きます。同じシステムでも、対話に応じて、いく通りものパスがあります。これが、対話記述言語です。システムに入力すると、システムがユーザとの対話を処理し、このアプリケーション用の対話を指定します（図24）。

　現在、このシステムは、電話経由で預金、払戻し、送金などをリアルタイムで処理する銀行アプリケーションの開発に使用されています。これは、デンマークの国内プロジェクトだけでなく、EU域内の多数のプロジェクトで使用されており、14種類のアプリケーションの使用実績があります。

　別のアプリケーションとしては、この分野の対話処理では典型的なアプリケーションである航空機座席予約システムがあります（図25）。ここでのアイデアは、システムが電話経由で動作し、対話の開発には対話記述言語を使用し、音声認識装置、言語合成・解析などもなされる点です。航空機座席予約データベースには、通信ネットワークで接続されます。

　また別の研究分野としては、脳内血管に問題がある患者の脈管撮影像のNLPがあります。例えば、これは脳の写真です（図26）。

　この写真には意識は見えません。実際の脳内血管が写っているだけです。脳にはたくさんの血管があります。遺伝や事故などが原因で異常が発生することがあり、その場合には処置が必要となります。それほど深刻でなければ、治療できるはずです。医師は、カルテを書き（図27）、X線撮影を行います。カルテは通常簡潔で、「左脈絡裂に血管の奇形あり、脈絡裂動脈の前室と後室によって供給され、視床にまで拡大、長さ約2.5センチ」というような具合に書かれます。この言語に関して注意すべき点は、領域が限られており、脳領域、血管、静脈、動脈に言及し、多くの空間言語がある点です。「左脈絡裂『に』血管の奇形あり、視床『に拡大』、脈絡裂動脈の前室と後室『により』供給」。このようなことは、言語と視覚の統合処理では、よく見かけることです。空間関係を表わす言語には、多くの情報が含まれているのです。さらに、この場合の動脈、静脈、脳領域のように、環境や場面には、多くの物体の参照があります。ここでのアイデアは、このようなカルテの言語を処理し、X線写真の3次元視覚処理と統合することです。また、X線写真から3次元再構成を行い、写真により、傷害を発見します。

　ここでカルテの意味表現を見てみましょう。血管の奇形の大きさ、小脳虫上部、また、小脳動脈の2小支流によって供給されるもの、医師として治療を推奨するかどうか…。ほとんどのカルテで、物体、位置、空間配置、空間関係、治療の可否が分かります。Prologの定義節文法を使用して入力を解析し、島構文解析（island parsIMG）を使用して入力と照合し、"on"、 "to"、 "by"のような空間配置、"lyIMG"、"arises"、 "directly"、 "extendIMG"、"feedIMG"、"into"のような修飾子、"vascular malformations"、 "lesions"、 "cerebellar vermis"、 "lateral ventricle"のような物体を見つけ、そのすべてを、定義節文法を使用して入力と照合します。

　対話と自然言語処理（NLP）に話題を転じましょう。これは、インテリジェント・マルチメディアで非常に大きな部分を占め、優先事項となってきています。語用論は、どこまで及ぶかは不明でしたが、やはり非常に重要です。これは、視覚処理と情報が、テレビ会議のように多くのエージェントを持つマルチエージェント場面で語用論の大きな部分を占めるためです。

　辞書の開発--自動情報抽出・検索および新構文解析法等は、非常に重要です。また、音声とテキスト処理の統合は、明らかに音声テキスト、視覚処理の統合とならぶ課題です。すでに述べたような統合、知識獲得、テストを実行するためのソフトウェア工学ツールとプラットフォーム、つまり、汎用対話システム（GDS）のようなプラットフォームが、今日非常に重要になっているので、必ずしも新しいアプリケーションのたびに最初から始める必要はありません。もちろん、リアルワールド・コンピューティングでは、言語と視覚処理の統合として、すべてが統合されます。

　単純な例においても、言語処理がいかに困難であるかをお見せしましょう。私が初めてアメリカを訪れたとき、ニューメキシコ州で『Ped X IMG』という標識をよく見かけましたが、意味は分かりませんでした（図28）。アメリカ人ならだれでもその意味を知っています。私に意味が分からないのはそれを読めないからではなく、アメリカ人ほどではないにしても私にも読めますが、これは、時間をかけて学習される文脈または実用的な情報の問題であるからなのです。

　一方、アメリカ人がイギリスを訪れ、地元のパン屋に入ると、『Hot X Buns』をくれと言います。しかし、実際には『Hot X Buns』でなく『Hot Cross Buns』なのです。『Ped X IMG』は、『Pedestrian CrossIMG』のことです。分かってしまえばどうということはないのですが、これは一般の言語知識ではなく、文脈と地域環境から学習される類の知識です。標識の位置から多くの情報が得られます。標識の位置とは、視覚環境、視覚文脈を意味し、これこそ視覚と言語の統合が求められる場所です。

　景気後退について、少しお話しましょう。誰でも景気後退の意味を知っています。日本の方々もrecession--景気後退の意味を知っています。世界中のどの国も、いずれは経験するものです。これは、ジャーナリストと経済学者の会話です（図29）。

　ジャーナリスト「現在、景気後退にあることがどうして分かるのですか」、経済学者「過去3か月間、GNPが下落したからです」。

　GNPについて面白いことは、誰でもGNPが下落すれば悪化、上昇すれば良好と知っているにもかかわらず、ほとんどの人がGNPの意味を正確に知らないことです。頭の良いこのジャーナリストは、人々にGNPの意味を教えようとしているのです。経済学者がGNPの意味を説明します。それからジャーナリストは「GNPについてさらに詳しく教えてください」と促し、経済学者はさらにGNPについて語ります。次にジャーナリストは「GNPとGDPの違いを説明してください」と催促し、経済学者は説明します。この会話は、情報の要求、情報の説明、敷延の要求、そして再度、情報の要求へ戻る意図グラフで表現できます。ジャーナリストが尋ねる質問と経済学者の答えを意図グラフに書くことができるのです。

　意図グラフは、会話で交わされる内容の意味をまったく表現せず、ジャーナリストと経済学者が使用する言語の構造についても何も表現しません。グラフは、実用的な内容、あるいは会話で音声が使用される理由に関する情報と、会話でのそれらの意図の順序だけを表現します。

　それらの意図に意味を付与することもできます（図30）。例えば、「情報の要求」は、意図、または目標達成のプランです。『この料理の調理方法を教えよ」』『このファイルを印刷する方法を教えよ』。「説明」は、『UNIXとは何か』『パイプとは何か』『フィルターとは何か』。「指示」は、『ファイルは印刷済みですか』。「敷延」は、何かについて『さらに詳しく教えよ』。「確認」は、『ファイルが入ったままでディレクトリを削除できるか』。「説明」は、『cp -rの意味は』およびガイダンスなど。会話の状況において、これらの意図と定義に名前を付けることができます。

　事実、被試験者にUNIXのディレクトリ構造のソース構成（図31）と、それとは異なる構造のターゲット構成（図32）を見せ、「オズの魔法使い」と呼ぶ手法の実験を使用して対話を収集し、人々が尋ねる質問とウィザードの応答を調べることができます。次に、タイミング情報など（使用されるすべてのコマンド、すべての質問と返答）を添えてそれらの対話をファイルに収集し、被試験者の履歴などに関する情報を収集することができます。

　この実験から得られることは、UNIXや特定のオペレーティング・システムの使用経験がない被試験者は、円グラフ（図33b）の左上の領域で多くの質問をするということです。これらは、ガイダンス、記述、指示、確認、説明、敷延、反復を求める質問です。

　使用経験者の場合を表すこの図（図33a）では、このような情報の要求は少なくなります。経験の有無で分類した二組の被試験者グループ（図34）に対して、T-検定とχ2検定を使用して、データの統計解析を行うと、意図タイプの頻度に大きな開きがあるのがわかります（図35）。

　それらの被試験者の意図グラフを作成します。（3、4、5等の数字は被試験者を表します（図36a）。）このグラフはUNIX経験者で（図36a）、こちらは、UNIXの経験が少ない被試験者です（図36b）。4番の被試験者は、「情報」要求から「説明」要求に5回移っています。4番の被試験者は、「説明」要求を繰り返し、7番の被試験者は、「情報」から「確認」への移動を5回繰り返しています。8番の被試験者は、「確認」を繰り返し、1番の被試験者は、「情報」から「指示」へ、を3回繰り返し、5番の被試験者も、3回繰り返しています。1番と7番の被試験者は、ここで「指示」を反復しますが、わずかに3回です。これから分かることは、個々の被試験者は、システムとの対話で意図型と要求型の頻度が高く、「オズの魔法使い」実験でそれが実証されるということです。この情報をコンピュータの処理プログラムに組み込むことができるので、これは良いニュースです。

　システムの対話に慣れた人は、主に記述に関する情報を求め、下のレベルまでは下りてきません（図37）。「説明」、「ガイダンス」、または「反復」要求まで下がる必要がないからです。経験の少ない被試験者は、質問が多くなります。そこで、これをコンピュータの別のプログラムに組み込みます。これは、UNIXとMS-DOSオペレーティング・システムでリアルタイムに応答する自然言語対話システムです（図38）。Quintus Prologで書かれ、オペレーティング・システムに関するデータを表す通常のデータコンポーネントを持ち、英語出力を生成します。これは、現在着目している最も興味深いシステムです。

　ここに、意図マトリクスを構築することができます（図39）。特に対になった入力意図の頻度を測定し、入力の意図を順序付け、これらの入力の意図頻度に基づいて、満足と不満足を測定します。ここで、「どのようにファイルを見るのか」という質問に対して、｀More <ファイル名>′で画面に内容を表示でき、情報の説明と反復に印を付けます。「無意図」はありません（この意図は、認識されないか、オペレーティング・システム領域では無効な意図です）。情報には情報が続き、記述には記述が続き、敷延には説明が続き、以後同様です。意図の敷延、説明、特に反復が多いと（図40）、不満足が満足より上昇し、システムはさらに多くの情報をユーザに返し、対話においてさらに多くの情報を動的に返します。システムは、「｀more′はコマンドである」と伝えて構文を提示し、コマンドの機能を示し、｀more′の引数はディレクトリでなく｀ファイル′であることも示します。

　システムは、対話において、時間の経過とともに、動的にユーザへの応答を変更します。これらの意図タイプに関して注目すべき他の点は、任意の領域で使用できることです。任意の領域で、情報、記述、敷延、説明、反復、およびガイダンスなどを要求できます。オペレーティング・システム領域にある必要はなく、任意の対話応答システムで可能です。

　言語理解と対話の意図解析についてお話ししてきました。これは、視覚処理並びに視覚と言語処理の統合にとって、また、意図の認識、構文、意味論、語用論、意図の表現、対話での協調型ユーザ応答への意図の使用に非常に重要な課題であり、視覚環境での視覚システムの場合でも重要です。

　ここで、ちょっと宣伝をさせてください。デンマークのAalborg大学には、1.5年のインテリジェント・マルチメディア修士課程があります。これは、コンピュータ科学などさまざまな部門の研究を統合したものです（図41、42）。デンマークでは教育費は無料であり、その対象はデンマーク国民やEUの人々に限定されていません。これは、多くの人にとって良いニュースです。もちろん、飲食費や住居費は対象外です。興味のある方は、この講演で紹介したウェブアドレス（P.43 図13）にアクセスしてください。

　この分野で大問題と目されているのは、Steven HarnadとJohn Searleが唱える哲学的問題、すなわちSymbol GroundIMG問題（図43）、またはChinese Room問題（図44）です。「犬」や「猫」のような基礎記号をコンピュータ・プログラムで解決し、プリミティブを自然言語処理プログラムで解決する方法に関する問題です。

　Harnadなど多くの人は、その答えが本日お話ししたこと、すなわち、言語と視覚の統合を実施することにあると考えています。視覚は、言語情報の基礎を提供します。人間は、哲学的な問いを発するものです。例えば、これはアヒルである（図45）が、スライドをひっくり返すと、同時にウサギでもある。この絵の曖昧性は、講演の最初にお話しした言語の曖昧性と同じものか。違いがあるとしたら、視覚の曖昧性と言語の曖昧性の違いは何か。

　結びの前に、もう一度宣伝をします。自然言語と視覚処理の統合については、Kluwer Academic Publishersから本が出版されています（図46、47）。第I巻は、計算モデルとシステムを扱っており、コンピュータ・プログラム、言語と視覚処理を実行する計算モデル、および統合などについて書かれています。RWCPの岡氏は、ここに、RWCの概要と研究論文の二つを寄稿されています。

　第II巻は、インテリジェント・マルチメディアを扱っています。ここでは、インテリジェント面より、マルチメディア面を強調しています（図46）。

　第III巻では、理論と基礎表現を扱っています（図47）。哲学とコンピュータ科学の関連事項について述べ、Symbol GroundINGとChinese Room問題の解決法などを紹介しています。

　第IV巻もありますが、ここにはその写真はありません。赤い色の本で、言語と視覚の統合の研究における近年の進歩について書かれた巻です。その中に、先に述べた九州工業大学の岡田氏の論文が掲載されています。

　RWCプロジェクトに関連する認知科学の本も出版されています。ここでは、立花氏の講演でもたくさん耳にした「意識」についての話が書かれている本を紹介します。この本は、1995年刊行の『The Search for Mind, A New Foundation for Cognitive Science』です（図48）。言語と視覚処理の統合について、コンピュータ科学と哲学の観点から書かれています。

　言語と視覚の統合についてお話ししてきました。多くの人々が文化と社会情報処理の研究に携わっており、特に感情的情報の処理が非常に重要となってきています。最初の顔の話に戻ると、顔認識、身振りの認識等、日本では、感情処理の研究が盛んで、感情処理に関する多数の論文があります。

　最後のスライド（図49）は、未来への処方箋です。このCSは、認知科学（Cognitive Science）のCSでもあり、コンピュータ科学（Computer Science）のCSでもあります。どちらの意味にとってもIの3乗（I**3）とイコールで結ばれます。

　この場合の情報（Information）は、Shannonが提唱した情報の「量」の理論ではなく、情報の「質」の理論の研究を示しています。構文だけではなく、情報の意味論と情報の語用論の研究です。情報の統合（Integration）とは、視覚情報、言語情報、テキスト情報、音声情報の統合です。この講演で私が強調したことは、主に言語処理の見地からのものですが、情報の大部分は、意図（Intention）の処理に関するものです。

　SearleやAustinのようなほとんどの言語の哲学者は、我々が言ったり行ったりする事は、意図を有するからであり、それらの意図を達成したいからであると主張しています。従って、言語や視覚を理解する良い方法は、対話や視覚環境における意図情報の処理に戻ることなのです。