--- ニューロSICS研究室 ---
ニューロSICS研究室の紹介
Pentti Kanerva
（スウェーデン・コンピュータ・サイエンス研究所（SICS））
ニューロSICS研究室は、ストックホルムのスウェーデン・コンピュータ・サイエンス研究所（SICS）における2番目のRWCP分散研究室であり、NEARプロジェクトを推進しています。SICSは、スウェーデン政府と業界によって共同運営され、各大学とも緊密な関係を結んでおり、1993年に新機能SICS研究室においてPIRAIAプロジェクトを開始して以来、RWCPの海外の研究パートナーです。
プロジェクトリーダーDr.Gunnar Sjodin
NEARプロジェクトの研究は、疎分散メモリに関するKanervaの研究「Sparse Distributed Memory（MIT
Press、1988年）」と共に始まり、その概要が同書の最終章に掲載されています。このプロジェクトは、当初米国のスタンフォード大学とNASAのエイムズ研究所で実施されていましたが、1994年、RWCPからの委託を受け、SICSのニューロSICS研究室として、このプロジェクトの研究を継続できることになりました。
柔らかなコンピューティングという場合、我々はまず、人間には何ができるか、そしてそれとコンピュータをプログラムして実行できることが、どのように違うかを考えます。人間が言語を学習して使用する能力こそ、この違いの顕著な例です。さらに別の例を挙げると、スキルの学習や練習、自然の中での活動、人間、物事、場所、出来事の記憶や認識、曖昧さの扱い、直観による行為などがあります。これらの能力は脳の働きを代表するものであり、脳こそが柔らかなコンピューティングの究極のモデルです。NEARプロジェクトが基本的に追究していこうとしているテーマは、次の通りです。
- 何が脳にパワーを与えているのか？
- いかにして脳のパワーを人工システムに組み込むか？
NEARプロジェクトのテーマとなっている「ニューラルな符号化と表現」に、我々の研究の主要な論拠が反映されています。脳のパワーを理解するには、脳がどのように情報を符号化し、表現するかを理解しなければなりません。脳の表現を支配する原理を発見することは、きわめて数学的な問題であるといえます。 我々は、表現とは多数の神経細胞の活動パターンであるという一般的見解をもっています。ニューラル・ネットワークの研究は、その大半が小規模のネットで行われ、パターン空間の次元を減らすことが標準的な目標となっています。このような研究は、従来の統計と論理の拡張であり、まさしく統計と論理が達成できる範囲で有用なアプリケーションを生み出す力があります。ただし、この研究は、ニューラル・ネットの真のパワーを見過ごす危険をおかしています。
我々の研究における数学的洞察の基本は、大規模システムには、新しいアルゴリズムの基礎となり得るまだ明らかにされていない「創発的」特性があるという見解です。脳は、明らかにこのようなアルゴリズムを使用しています。脳には膨大な数の神経細胞があり、脳の構造の細部は圧倒されんばかりです。ただし、数が膨大であることは、個々の違いを平滑化する巨大数の統計法則が示すように、無限の細部よりもはるかに重要です。言うなれば、アルゴリズムは、低次元（すなわち小規模ニューラル・ネットで小規模パターンを持つ）では精度と信頼性を欠いていますが、高次元になると精度と信頼性が向上し、その結果、小規模の決定論的なマシンや小規模ニューラル・ネットでは不可能なコンピューティングの動作が得られます。統計力学は、この見解の物理学における例です。NEARプロジェクトでは、主に大規模ニューラル・ネットでの大規模パターンに依存する方法を研究しています。
パターンの構成要素を単純化できる点も、重要な数学的洞察です。システムの構成要素（「ニューロン」）が2進的であっても、大規模システムの重要なコンピューティング特性は存在します。それゆえ、システムの能力を犠牲にすることなく、システムの解析と技術的実現が単純化されます。このようなシステムを研究する数学的方法には、高次元空間幾何学、符号化理論、情報理論、確率統計、信号処理、制御理論、コンピュータ・シミュレーションなどがあります。
最近の研究成果は、次の通りです。
- . 疎分散メモリ（SDM）用の高速活性化アルゴリズム。本来のSDMアルゴリズムは、大量の計算によって実際の位置を見出し、大規模シミュレーションは並列ハードウェア（例えば、コネクション・マシン）を必要とする。新しいアルゴリズムでは、大規模シミュレーションに至るこのボトルネックが取り除かれる。
- SDMの信号の強化と、SDMに記憶されるきわめて相関性の高いパターンの認識と分離。方法は統計的であり、大規模パターンにしか適用できない。従って、SDMには適しており、SDMの記憶容量、耐雑音性、分解能が向上する。
- . 要素による集合のスパッタ・コーティング。言語、ニューラル・ネットなどの複合構造を表現するための第一歩は、集合を再帰的に符号化することである。複合構造は、Hinton、Plate、Pollack、その他の研究者によってニューラル・ネットに符号化された。散在コードは、斬新で、特に自然な（「ニューラルな」）符号化方法である。
現在及び将来の研究開発テーマは、次の通りです。
- スパイク・ニューロンのネットワークの統計的特性。ほとんどのニューラル・ネット研究では、その抽象化の過程でスパイク・ニューロンが除外されている。我々の中間研究結果によると、スパイクの統計によって、スパイク周波数のほか有用な情報を符号化できる。この見解は、神経生物学においても流布している。
- 感覚データの符号化と結合（データの融合）。正常な人間は、各感覚が補完しあいながら、統合された全体として世界を経験する。神経系統がどのようにこれを行うかは、未踏の分野である。
- . スパッタ・コードの順序付け集合とシーケンスへの拡張。高度の精神機能と知能を物理的に（ニューラルに）理解する上で、このような符号化が必要になる。
- パターン・コンピュータの机上設計。我々の研究の実用的な目標は、脳の動作原理を活用するコンピュータの設計を支援することである。我々の研究が、将来のコンピュータの構築と利用に貢献することを望む!k
RWCPニューロSICS研究室の人員構成は、次の通りです。
| プロジェクト・リーダー |
Gunnar Sjodin博士 |
| 主任研究員 |
Pentti Kanerva博士 |
| 研究員 |
Roland Karlsson博士 |
|
Jan Kristoferson博士 |
|
Anders Lansner博士（非常勤) |
|
Seppo Pohja |
|
