科学データ処理クラスタにおける投機並列メモリアクセス機構の研究

科学データ転送クラスタでの、アプリケーションの並列実行用のソフトウエアメモリシステムの設計と実装したメモリモジュール間での高遅延ネットワークにおけるデータ転送を行った。科学データ転送クラスタではデータ転送用に10Gigabit Ethernetなどの高速なネットワークインタフェースを持っているため、その帯域を最大限に活用する投機的なメモリアクセスによって、並列スレッドのメモリへのアクセスを高速化する。また、科学データ転送クラスタ実現に向けたデータ転送の基盤となるTCP/IPの高速化を行った。科学データは世界の研究拠点間で交換されるため、科学データクラスタ非常に大きな遅延をもつ広帯域のネットワーク(Long Fat Network)によって接続される。そのインターフェースが近距離のクラスタ内通信と遠距離での拠点間通信を実現する必要があり平成17年度はこの拠点間通信の高速化を行った。東京-シアトル-アムステルダム-シカゴ-東京を結ぶ30000kmのネットワークにおいて、IPv6で7Gbpsを超える速度でのTCP/IP通信を実現することができた。平成18年度は同様の高遅延ネットワーク環境においてIPv4/TCPで9Gbpsを超える性能を実現し、平成18年末にはIPv6/TCPにおいても9Gbpsを超える性能を得ることができた。しかしこれらの性能は(1)ハードウエアによる通信能力の支援がある(2)OSのカーネル内コピーがないという制約があり、これらは今後さらに高速化するハードウエア性能に因らなければ10Gbps性能を持つメモリ間転送は難しいことが分かった。科学データ転送クラスタ内でのメモリ間の通信速度は約7Gbps程度(500ms遅延において)であり、投機的並列メモリアクセスによってこの高度な遅延隠ぺいを行ったとしてもこの性能上限を現時点では越えられないが、この性能でメモリメモリ間のデータ同期は実現できることがわかった。

科学データ転送クラスタでの、アプリケーションの並列実行用のソフトウエアメモリシステムの設計と実装したメモリモジュール間での高遅延ネットワークにおけるデータ転送を行った。科学データ転送クラスタではデータ転送用に10Gigabit Ethernetなどの高速なネットワークインタフェースを持っているため、その帯域を最大限に活用する投機的なメモリアクセスによって、並列スレッドのメモリへのアクセスを高速化する。また、科学データ転送クラスタ実現に向けたデータ転送の基盤となるTCP/IPの高速化を行った。科学データは世界の研究拠点間で交換されるため、科学データクラスタ非常に大きな遅延をもつ広帯域のネットワーク(Long Fat Network)によって接続される。そのインターフェースが近距離のクラスタ内通信と遠距離での拠点間通信を実現する必要があり平成17年度はこの拠点間通信の高速化を行った。東京-シアトル-アムステルダム-シカゴ-東京を結ぶ30000kmのネットワークにおいて、IPv6で7Gbpsを超える速度でのTCP/IP通信を実現することができた。平成18年度は同様の高遅延ネットワーク環境においてIPv4/TCPで9Gbpsを超える性能を実現し、平成18年末にはIPv6/TCPにおいても9Gbpsを超える性能を得ることができた。しかしこれらの性能は(1)ハードウエアによる通信能力の支援がある(2)OSのカーネル内コピーがないという制約があり、これらは今後さらに高速化するハードウエア性能に因らなければ10Gbps性能を持つメモリ間転送は難しいことが分かった。科学データ転送クラスタ内でのメモリ間の通信速度は約7Gbps程度(500ms遅延において)であり、投機的並列メモリアクセスによってこの高度な遅延隠ぺいを行ったとしてもこの性能上限を現時点では越えられないが、この性能でメモリメモリ間のデータ同期は実現できることがわかった。