並列データマイニング技術の開発

並列応用東芝研究室は、並列データマイニングの研究の一環として、16台のPCクラスタを用いて14倍の性能向上を実現することができる並列データマイニング技術の開発に成功しました。

ECをはじめとするネットワークビジネスの普及とともに、企業のマーケティング戦略が大きく変わりつつあります。これからは、ネットワーク上で入手できる情報をすばやく分析して、迅速な意思決定に活用することが企業経営においてますます重要になってくるでしょう。データマイニングはこのような意思決定に必要なデータを抽出するツールとして大きく期待されています。

一般にデータマイニングでは大量のデータベースを取り扱う必要があり、処理量が膨大となります。このため、高価な大型サーバ計算機やスーパーコンを用いる、あるいは、前処理を行い、分析するデータ量を減らしてマイニングを行う手法が採られています。これによりデータマイニングの利用方法が制約され、ネットワーク上で入手できるデータの分析にデータマイニングを十分に活用することができない状況でした。今回開発した並列データマイニング技術は、通常のPCを16台接続したPCクラスタ上に開発されています。PCクラスタは、大型サーバ計算機などと比較して数10分の1のコストで同等の性能を実現することができます。RWCPではPCクラスタ、及びその上での基本ソフトウェア環境の開発を進め、ベンチマークプログラムやたんぱく質の解析、電力系統シミュレーションなどの応用でスーパーコンに匹敵する性能を実証しています。

科学技術計算と比較してデータマイニングではディスクアクセスを考慮に入れた並列化を行う必要があり、従来の手法ではPCクラスタを用いて十分な性能を引き出すことは困難でした。今回、我々が考案した独自のデータマイニング手法であるスライス＆ダイス分析の並列化に際し、新たなデータ処理手法を開発することにより、PCクラスタ上で大型サーバ計算機に匹敵する性能を実現することに成功しました。

決定木はデータマイニングの代表的な手法です。表形式のデータベースから項目間の関係を抽出し、その知識に従って新しいデータを自動的に分類することができます。例えば、ダイレクトメールの応答確率の高い顧客の特徴を年齢や職業、購買歴などの属性で分類することができます。決定木の並列処理においては、決定木構造を作る処理を効率よく行う必要があります。この処理は木の形状により負荷が変わるため、従来では効率よい並列化が困難でした。今回、PCクラスタの各ノードの負荷を均等にする動的負荷分散手法と、ディスクアクセス回数を最小化する処理手法を新たに開発し、1ノードで実行すると4時間かかる処理を16ノードで21分まで短縮することに成功しました。スライス&ダイス分析は我々が考案した独自のデータマイニング法です。これは多次元データベースを区画に分割し、特定の条件を満たすデータが存在する区画を自動的に見つけることができます。例えば、スーパーマーケットで廃棄ロスの出る商品の特徴を商品の属性や価格、最近の販売傾向などから抽出することができます。

スライス＆ダイス分析の並列処理においては、各ノードに分散されたデータを集めて集計する処理が並列処理のボトルネックとなります。これを解決するため、各ノードに配置されたデータをノードで圧縮してノード間のデータ転送量を減らす手法を開発し、16ノードで14倍高速化することに成功しました。これにより、16ノードで60GBのデータが2時間で実行できます。

なお、今回の技術内容の一部は5月に北京で開催される国際会議（HPC　ASIA）で発表されました。

今後、本システムを32台に増強して1テラバイトのマイニングの実現を目指しています。これにより、WWWのアクセスログの分析、スーパーマーケット等におけるレシートの分析等の応用を手軽に実現することが可能となります。例えば、一日100万人にアクセスされるWeb人気サイトの1年間分のアクセスログの分析が2時間でできるようになります。今後、将来のECを支える基盤技術の一つとして大規模データベースのマイニング技術をさらに強化し、手軽に使いやすいシステムとして実用化する予定です。

この技術は、5月22日（月）の日本経済新聞（P.15）で紹介されました。