HDFSの変更を書き留めておくメディエーターが必要なのはなぜですか。変更を直接FSimageに書き込むことができないのはなぜですか?なぜ我々はその中間にメディエーターが必要なのか?親切に助けてくださいHDFSの変更を維持するための編集ログが必要な理由
1
A
答えて
0
チェックポイント時に使用されます。
一般的な編集範囲は10〜100秒ですが、十分な編集時間が過ぎると蓄積されて扱いにくくなります。これらの大きな編集ログからいくつかの問題が発生する可能性があります。極端な場合には、ノード上の使用可能なディスク容量をすべて満たすことができますが、もっと慎重に、大きい編集ログはNameNodeの起動を大幅に遅延させ、NameNodeはすべての編集を再適用します。これはチェックポイントが入る場所です。
チェックポイントは、fsimageとログを編集し、それらを新しいfsimageに圧縮するプロセスです。こうすることで、潜在的に無制限の編集ログを再生する代わりに、NameNodeは最終的なメモリ内状態をfsimageから直接読み込むことができます。これははるかに効率的な操作であり、NameNodeの起動時間を短縮します。
ただし、新しいfsimageを作成すると、I/OおよびCPUを大量に消費するため、数分で実行することがあります。チェックポイント中、ネームシステムは他のユーザーからの同時アクセスを制限する必要もあります。したがって、チェックポイントを実行するためにアクティブなNameNodeを一時停止するのではなく、NameNodeの高可用性が設定されているかどうかに応じて、SecondaryNameNodeまたはStandby NameNodeのいずれかにHDFSが保留します。チェックポイントのメカニズムは、NameNodeの高可用性が設定されているかどうかによって異なります。我々は両方をカバーします。
詳細はlinkを参照してください。
関連する問題
- 1. ファイルを開くために変数が必要な理由
- 2. Devitsは編集のためにパスワードが必要
- 3. Flaskの編集ビューを変更する必要があります。
- 4. Drupal 6 - フィールドではなく、ノード編集のホームページを編集する理由
- 5. TextWatcherが必要な理由
- 6. RIAが必要な理由
- 7. "rec"が必要な理由
- 8. フィルタ集約が必要な理由は何ですか?
- 9. 名前を変更するための16進数の編集?
- 10. hdfs-site.xmlにrpcアドレスを設定する必要がある理由
- 11. 複数の光源をレンダリングするためにダイナミックブランチが必要な理由
- 12. ウェブアプリケーションを維持して更新するための愚かな方法が必要です
- 13. レコードを編集するにはページ更新が必要
- 14. 管理パネルのMagentoを編集する場合は、編集する必要があります。
- 15. データ編集のセル編集後に更新を処理する
- 16. 編集時にのみ必要なフィールド
- 17. 変更ログに初期コミットが表示されない理由
- 18. random.choiceのリストが必要な理由
- 19. refrehアクセストークンのリフレッシュトークンが必要な理由
- 20. 示すために、どのように変数を編集する必要がある最初の
- 21. 私はHDFSの失敗について再調査します。このためにはHDFSログが必要です。ログはどこでダウンロードできますか?
- 22. カスタムロールプロバイダを使用するために、子アプリケーションにEntityFramework.dllが必要な理由
- 23. エンティティをロードするためにJPAでトランザクションが必要な理由
- 24. テストコントローラファイルのルートを変更したい場合は、他のファイルを編集する必要がありますか?
- 25. フラッシュTLF編集可能フィールドの改行を維持する
- 26. 編集距離のヘッダーを維持する
- 27. このコードがコンパイルされない理由を理解するための助けが必要
- 28. メインのWebアプリケーションとデータアクセスプロジェクトでasp.net mvcに保持するために接続文字列が必要な理由
- 29. 多くのデータでコアデータデータベースを埋めるためにデータを管理する方法(編集:タイトル変更)
- 30. 子エンティティを持つ親エンティティオブジェクトを編集するWebフォームの例が必要