2011-08-09 4 views
2

非常に多数の変更可能なドキュメントを管理する分散ファイル(または他のストレージ)システムを探しています。各文書はかなり大きく(1〜100MB)できます。一部の読み取りは、最新のデータから作業することが保証されている必要があり、一部は最終的に一貫性のある複製データから読み取ることができます。各ドキュメントは、自己完結型のファイル(SQLiteデータベースや他のカスタムファイルフォーマットなど)でもかまいません。確定的な複数マスターを持つ分散FS?

パフォーマンスを最適化するには、ドキュメントごとに書き込みが行われる分散ファイルシステムのノードが異なる必要があります。言い換えれば、サーバーAは文書1のマスターであり、サーバーBはそれを複製していますが、サーバーBは文書2のマスターであり、サーバーAはそれを複製しています。私のアプリケーションでは、単一のサーバーがシステム全体の書き込みトラフィックをすべて処理できないため、すべてのデータに対して単一のマスターを使用することは受け入れられません。

各ドキュメントは、いくつかのサーバー(たとえば3)に複製する必要があります。したがって、1000の文書と10のサーバーがある場合、各サーバーは300の文書のコピーを持ち、100の文書のマスターになります。理想的には、クラスタがマスターサーバーがクラッシュしたドキュメントのマスタとしてサーバーを自動的に昇格させ、新しいサーバーがクラスタに追加されるときにストレージの負荷を再調整するのが理想的です。

私はこれがかなり高価な注文であることを認識しています...私の中心的なニーズの大部分を満たすものがありますか?

答えて

0

私はHDFSが上記の基準に合っていると思います。

関連する問題