連想単語空間 （ASKS）に基づくテキスト検索ソフトの開発　プレス発表

技術研究組合新情報処理開発機構では、単語の連想によって記事を賢く検索できるソフトを開発し、インターネット上で利用できるよう一般公開しました。
　このソフトの使い方として、例えば、いま「東北新幹線の仙台駅」についての情報が欲しいとします。そこで、「東北新幹線の仙台駅」という文字を画面に打ち込みます。これが検索のための入力となります。
　この検索入力文には、「東北」「新幹線」「仙台」「駅」の4つのキーワードがあります。
　従来の検索ソフトを使うと、厳密に全てのキーワードを含む文書を検索する（and検索といいます）ので、限られたものしか見つかりません。従来の方法で、例えば、インターネット記事データベースを対象に検索すると、ヒットは2件のみです。さらに、従来の方法で、いずれか一つでもキーワードを含む記事を検索する（これはor検索といいます）と、ヒット数は数百件にものぼります。
　そこで、今回開発した「連想検索ソフト」を使用すると、キーワードを厳密に含む文書が少ない場合は、それぞれのキーワードに関係の深い単語（連想単語）を代わりに使って広く検索することができます。逆にキーワードに一致する文書が多すぎる場合は、連想単語をより多く含んでいる文書を優先します。
　上の例では、「東北」から「長野」が連想できるので、例えば「長野新幹線」についての文書も検索対象として加えることができます。「新幹線」の近くにも「乗り入れ」「開通」といったキーワードが見つかっているので、検索対象を広げたり、検索された文書の中からこれらの連想単語をより多く含むものを優先します。
　また、検索時にそれぞれのキーワードから連想単語を表示したり、その関係を図に表現したりすることもできるので、新しい知識を得るための新しい視点を自動的に提示する手法であるともいえます。
　もちろん、実際のデータベースから生成される情報なのでノイズと思われるものも多く含まれますが、ユーザーが予期できなかった単語を提示したり、文書を検索したりできるという意味では発想の支援ともなり得ると考えています。
　今回新たに開発した「連想に基づく検索ソフト」は、YahooなどのWeb検索ブラウザと連結して使うこともできます。
「連想検索ソフト」は、インターネットから誰でも使うことができますが、ここでは、
（1）FJカテゴリとよばれる250万件の投稿ニュース記事の検索
（2）Yahooなどの一般の検索ブラウザと連結しての検索
が、できるようになっています。
　このような「連想検索ソフト」が実用化できたのは、当研究室が、45万語彙の単語から成る連想辞書を自動的に作る方式を開発したことによるものです。
　この連想辞書を自動的に作成する方式は、「ギャラクシー・クラスタリング」とよぶ方式で、これにより、各単語に連想単語を自動的に割り当てることができるようになりました。