プロジェクト
HPCクラスタにおけるデータステージング
大規模な計算能力を求める現代の科学研究において必要不可欠な計算基盤であるスーパーコンピュータの多くは、より大規模な計算能力を研究者に提供するために、HPC (High-Performance Computing) クラスタと呼ばれる大量の計算機をネットワークで相互に接続したシステムを採用しています。
こうしたHPCクラスタでは、共有ファイルシステム上で行っていたデータの読み書きをより高速に行えるように、高速なストレージを計算機に組み込むことがよくあります。
この構成では、計算開始時に入力データを共有ファイルシステムから計算機に移動させ、計算終了時に出力データを計算機から共有ファイルシステムに移動させるデータステージングという機能が必要になります。
計測技術の発展や機械学習の流行に伴いデータの重要性が増している現在、このデータステージングは今後より重要なものとなります。