小ファイルの同時並行アクセスのための分散ファイルシステム

Question

MBサイズの範囲内にある1,000,000個のファイルの高い並行アクセス（例えば、ローカル1 gbsネットワーク上の10000個のリモートスレッド）には何がありますか？DSFユーザーに高い同時ストリームを提供する必要がありますか？

Answer 1

LustreやGPFSなどの一般的なHPCファイルシステムでは、説明するシナリオを適切にサポートしない場合がありますが、大きなファイルアクセスでは高帯域幅に最適化されることがよくあります。 HPC環境では、MPI-IOなどのIOミドルウェアやHDF5などの高レベルIOライブラリをファイルシステムと直接接続するのではなく、使用することを検討する必要があります。これらのライブラリは、アプリケーションの特定のファイルシステムへのアクセスを最適化する複雑さを隠すことができます。これは、アプリケーションシナリオの構造によって異なります。

一方、並行性が高く、構造化されていない小規模なアクセスの場合、クラウド関連の技術を調べることをお勧めします。 Googleのファイルシステム、分散キー値ストレージ、Cassandraなど、さらなる研究のためのいくつかの指針を提供しています。

一般的な「ファイル」抽象アクセスアプローチ（POSIXインターフェイス）は、並行アクセスのために設計されたものではないため、インターフェイスとの適合性と同時に高い並行性を実現することが困難です。

適切なテクノロジの具体的なヒントが必要な場合は、ユースケースに関するより具体的な情報を提供してください。