0
  1. luster、またはGoogleのファイルシステム(GFS)はファイルをいくつかの種類のブロックに分割し、さまざまなノードに保存します。したがって、彼らはスケーラビリティ、分散トラフィックを達成することができます。
  2. ZFS、btrfs、waflは一定時間のクローニングをサポートしています。これにより、複製速度、書き込み可能なスナップショット、ストレージサイズの節約を実現できます。

私は上記の2つの機能をサポートするファイルシステムを創設しています。一定時間クローニングをサポートする任意の分散ファイルシステム

定時クローニングをサポートするファイルシステムはたくさんありますが、私は一定時間のクローン作成をサポートできる分散ファイルシステムを見つけることはできません。 Lustreチームはzfsをサポートする光沢を開発するように見えます(また、クローニングもサポートします)。しかしそれはまだ明らかになった(さらに2.0ベータは含まれていない、おそらく短時間で明らかにされないだろう)。 Nexentaストレージは、これらの機能を "namespace nfs"でサポートしていたようです。しかし、そうではありませんでした。ファイルレベルの配布でファイルを配布するだけです。つまり、あるファイルがあるノードのボリュームのサイズを超えると、それを処理できなくなります。クローンされたファイルの大部分が大きなファイルになった場合、それを処理することはできません(少なくとも、シャドウノードではなく、シャドウノードを他のノードにコピーする必要があります)。しかし、私は非常にZFSノードの集中トラフィックを心配しています。

ので、私は、ファイル・システムまたは2つの問題の上に処理できるソリューションを探しています。

答えて

0

一つの作業溶液は、とのLustreファイルシステムを組み合わせることですRobinhood Policy Engine in backup modeファイルシステムファイルを常にバックアップするこのモードでは、Lustre v2.xファイルシステムを外部ストレージにバックアップすることができます.Lustre 2+ changelogs機能(FSイベント)によりファイルシステムの変更を追跡し、変更されたファイルを管理者が定義した移行ポリシーに従って、バックエンドストレージを使用できます。 Robinhoodで独自のupcallコマンドを設定します。たとえば、ファイルシステムを複製し、いくつかのノードで同期タスクをスケジュールするスケーラブルな方法を提供します。 ZFS上の光沢の

、(現在LLNLでトップ1スーパーコンピュータセコイア上でテスト)には、ZFSのスナップショット機能を使用することが可能でなければなりませんが、それでもZFSスタックはまだ生産のための準備ができていません。

関連する問題