hbaseがhdfsをどのように使用しているかを理解しようとしています。
これは私が理解しているところです(私が間違っていれば私を修正してください):
hbaseはデータを保存するためにhdfsを使用し、そのデータは複数の領域に分割され、 1つの領域(排他的に)が多数のデータノードと通信してデータを取得し、データを入れることができるとすれば、その領域サーバが失敗した場合、それらのデータノードに格納されたデータにアクセスできなくなるでしょう
前もってありがとうございます: )hbaseがhdfsをどのように使用するかを理解する
1
A
答えて
1
一般に、リージョン・サーバーはデータ・ノード上で実行されます。
Regionserverは、可能であればローカルデータノードへの読み書きを実行し、HDFSはデータが2つのランダムなデータノードに複製されるようにします。だから、常にそのリージョンサーバによって書き込まれたデータは、HDFSの3つのノードに格納されます。
regionserverがリージョンにサービスを提供している間は、そのリージョンのデータを読み書きしますが、regionserverプロセスがクラッシュした場合、HBaseマスターはそのリージョンにサービスする別のregionseverを選択します。データは数分間利用できなくなりますが、HBaseはすぐに回復します。
ホスト全体に障害が発生した場合、HDFSは他の2つのノードにデータを確実に書き込みます。シナリオは同じです。マスターは新しいリージョンサーバーを選択して障害領域を開き、データは失われません。
関連する問題
- 1. HdfsとHbase:どのように動作するのですか?
- 2. HBaseはどのようにHDFSへのランダムアクセスを可能にしますか?
- 3. HDFSからHbaseスナップショットをインポートする
- 4. いつ、どのようにRequire.JSを使用するのかを理解する
- 5. SparkをHDFSで使用する場合、どのようにHDFSを設定すればよいですか?
- 6. HBaseマップ出力をhdfs&HBASeに出力
- 7. hbase/hdfsの商用サポート
- 8. ファイルI/O用のHbase。リモートクライアントにHDFSを接続する方法
- 9. センサーデータをApache Hadoop HDFS、Hive、HBaseなどに保存する方法
- 10. HDFSとHBaseを使用しないKylinの使用
- 11. マルチスレッドでHDFSに書き込むとhbase/hiveのようなオプションを使用すると
- 12. MapReduceでHDFSの代わりにHBaseを使用
- 13. hdfsからhbaseにデータをロードするには?
- 14. R:object.size()がメモリ使用にどのように関係するかを理解する
- 15. クラスデコレータがPythonでどのように機能するかを理解する
- 16. これを「どのように」理解するか?
- 17. どのような条件が失敗するのかをどのように理解できますか?
- 18. Androidプラットフォームを利用するにはどのようなパターンを理解する必要がありますか?
- 19. oozieを使用してファイルがHDFSの場所に存在するかどうかをチェックする方法は?
- 20. Sedスクリプトが個々のコマンドにどのように分解するのかを理解する
- 21. HDFSからHBaseへのデータインポート(cdh3u2)
- 22. リストの理解に条件を使用するにはどうすればよいですか?
- 23. csvファイルをテーブルのApache hbaseに解析するにはどうすればよいですか?
- 24. どのようにsqoopコードを理解する/見つけるのですか?
- 25. どのようtensorflowのスライス機能を理解するには?
- 26. 行レベルの削除はどのようにHBASEで処理されますか?
- 27. どのようにソートが動作するのか理解しています
- 28. a.reshape(3、*(3,4))で*(3,4)の使用法を理解するにはどうすればよいですか?
- 29. complex()関数の使用方法を理解するにはどうすればよいですか?
- 30. ガンコンで労働者がどのように使い果たされているかを理解するには
の3つのデータノード(レプリケーションに使用される)のうち、リージョンサーバーは1つのデータノードのみを通信(または使用)します。 – aName
読み取りの場合、通常はyesです。書き込みの場合、書き込みは1 DNに移動し、HDFSによって他のものに複製されます。リージョンに障害が発生し、新しいホストで開始された場合、ホストに必要なデータがローカルにないため、Regionserverはクラスター内の他のノードと通信してデータを読み取ります。そのシナリオでは、クラスタ内の他のデータノードと話すことができます –
ありがとうございます。 – aName