データグリッドによる異分野科学データベース統合技術の開発

点击翻译按钮获取中文摘要

本研究では、広域に散在し、大容量化かつ多様化する科学データに対するスケーラブルな情報統合とそれにより得られる異分野科学データベースの横断的検索を、データグリッド技術を基盤としたワークフローによる動的な統合として実現した。ワークフローに基づく動的なデータベース統合の評価では、データベースの検索を行うサーバ間を接続するためのデータ転送サービスを考案し、この機能を含めたデータベース統合システムを開発した。複数のデータベースをつないで順次統合するワークフローの処理で、従来法では前段のサーバの出力をクライアントに返す必要があったが、提案する方式ではデータ転送サービスを経由して後段のサーバに直接転送することで通信の効率を上げる。これにより、100HBのデータ転送時間が従来法だと277.3秒かかっていたものが、提案法では3.2秒で短縮できた。スケーラブルなデータベース統合基盤の実現では、データ転送サービスマネージャを導入することで、データ転送サービスの転送の中継・集約を可能とするとともに、中間データ量を絞込みを行えるようにした。従来のワークフローエンジンでは、データベースサーバへの問合せ結果がすべてエンジンに返ってきてしまいメモリオーバフローが発生した。これに対して、データ転送マネージャの導入により、問合せ結果の統合はデータ転送サービスとそのマネージャの問で行われ、エンジンは統合結果だけを受け取るだけとなり、従来のワークフローエンジンでは処理が困難であった700ゲノムの比較ゲノム解析を実行することに成功した。