計算機間を接続し高性能並列処理を実現するネットワーク RHiNET

■ はじめに
　並列分散システムアーキテクチャつくば研究室では、PCやWSを接続して高性能並列処理を実現するためのネットワークRHiNET（RWCP High Performance Network）の開発を行っている。
　RHiNETは、PCやWSのI/Oバスに装着されるネットワークインタフェースと、高速なネットワークスイッチ、そして、それらの間を接続する光インタコネクションから成り、図1に示すようにビル内やフロア内に配置されたPCやWSを接続して高性能並列処理を行う。
　RHiNETは、クラスタシステムのように一箇所にまとめて設置された計算機だけではなく、従来のLANと同様にビル内やフロア内に分散して配置された計算機を接続することを目的としている。このため、自由な結合形態（トポロジ）とLAN環境に十分なリンク長が必要である。また、高性能計算をサポートするために、パケットの到着順序を保証しつつ、高バンド幅、低レイテンシを提供する。また、ネットワークインタフェースは、並列処理をサポートする様々な通信機能を提供する。
　RHiNETの開発は、1Gbpsクラスの光インタコネクションを用いるRHiNET-1と、8Gbpsクラスの光インタコネクションを用いるRHiNET-2の2段階で行っている。
　これまでにRHiNET-1のハードウェアの開発を完了し、現在通信プロトコルの実装評価を行っている。また、光インタコネクション日立研究室と共同でRHiNET-2のためのスイッチASICのプロトタイプを開発し、伝送試験を進めている。

図１ RHiNETの構成例

■ RHiNET-1
　RHiNET-1は、1～1.3Gbpsの光インタコネクションまたはGigabit Ethernetで用いられる光リンクを用いる。このためのネットワークインタフェースRHiNET-1/NIと、スイッチASIC RHiNET-1/SWを開発した。

図２ RHiNET-1/NI Ver1.2

　RHiNET-1/NI（図2）は、PCIバスに装着されるネットワークインタフェースで、コントローラにPLD（Programmable Logic Device）を用いており、PLDの設定を変更することにより様々な通信プロトコルを実装、評価することができる。
　アドレス変換テーブル（TLB）を内部に持ち、任意の大きさの領域のゼロコピー通信をサポートする。4つのメモリバンクに同時アクセスでき、アドレス変換などの操作とデータ転送を同時に行うことが出来る。
　メモリバンクの一つは大容量のSDRAMである。他の計算機が持つデータを一旦ホスト上のメモリにコピーする際に、元のデータをこのSDRAMに格納する。書き戻す際にはホスト上のメモリの内容とSDRAM上の内容を比較することにより、変更された部分だけを書き戻すことができる。これによりmultiple writerの実現をハードウェアでサポートする。

図３ RHiNET-1/SW

　RHiNET-1/SW（図3）は1チップのASICスイッチにより構成され、光インタコネクションモジュールまたはGigabit Ethernetトランシーバを8組接続することが出来る。現在のPCの標準I/Oバスである32bit/33MHzのPCIバスに対して十分な転送バンド幅を持ち、仮想チャネルキャッシュ方式の利用により、自由な接続形態におけるデッドロックフリーと通信のFIFO性を保証する。さらに、マルチキャスト機能、リンクの活線挿抜への対応等の特徴を持っている。
　RHiNET-1/SWでは、大容量のパケットバッファ用メモリを確保するためにスイッチチップ外部のメモリを用い、チップ内の小容量のメモリをキャッシュとして利用する仮想チャネルキャッシュ方式を用いた。

■ RHiNET-2
　将来のPCやWSの性能向上と、これに伴うネットワークへの要求性能を考えると、さらに高速なネットワークが必要になることが予測される。
　並列処理の応用分野には、行列計算など大量のメモリコピーを高速に行うことが必要になる問題が多い。システム全体の性能を上げるには、メモリが提供すバンド幅に近い速度でメモリ間コピーを行うことができるネットワークが求められる。PCのメモリのバンド幅は既存のものでも最大8.5Gbps（133MHz、64bit）に達している。さらに、複数のメモリバンクやRAMBUS 方式のメモリを採用するなどした、より高いバンド幅を持つものが登場しつつある。
　一方、ネットワークインタフェースが装着されるPCのI/O部にも、PCIXやSystemI/Oなどの10 Gbpsクラスのバンド幅の規格が策定されつつある。近い将来、オフィスや研究室などに設置された通常のPCやWSが数ギガビットクラスのネットワークインタフェースを装備できるようになると考えられる。
　このような状況では、近い将来にも、RHiNET-1 をはるかに上回る性能を持つネットワークが必要である。そこで、より高速な光インタコネクションを用いてさらに性能の高いネットワークを持つ RHiNET-2の開発を行っている。
　ネットワークインタフェースRHiNET-2/NIは、コントローラにASICを用いる。ASIC内部に大容量のメモリとプロトコル処理プロセッサを持ち、プロトコル処理の内容はプログラムすることが出来る。8Gbpsクラスの光インタコネクションに直接接続可能である。現在基本設計を進めている。
　ネットワークスイッチRHiNET-2/SWは、8Gbpsの光インタコネクションが接続される入出力ポートをそれぞれ8組持つ。内部に大容量のSRAMを持つことにより、外部メモリを必要としない。光インタコネクションモジュールとスイッチASICの間は192組の800MbpsのLVDS（Low Voltage Differential Signaling）信号で接続される。基板上にこのように高速な信号線を多数高密度に配線する技術は確立されておらず、このための技術開発を光インタコネクション日立研究室で行っている。現在、スイッチASICの最初のプロトタイプ（図4）が完成し、伝送試験を行っている。RHiNET-2/SWは、8Gbpsの高速光インタコネクションと1Gbpsクラスの光インタコネクションを混在して接続することが可能で、RHiNET-1のネットワークインタフェースも接続できる。

図４ RHiNET-2/SW（光インタコネクション日立研究室開発）

■ おわりに
　今後、RHiNET-1の性能評価を行うと共にこれに基づきRHiNET-2/NIの設計を進める。　RHiNET-2システムは2000年度の稼働を目指している。