データ入力が常に変化している一部のバッチジョブを実行しており、プロビジョニング能力に問題があります。私は初期セットアップを行うために渦を使用していますが、例えば5台のマシンを起動すると、実行中に新しいマシンを追加する方法がわかりません。私は事前にデータの複雑さや大きさを知りませんので、新しいマシンをクラスタに追加してすぐに有効にする方法があるのかどうか疑問に思っていました。クラスタを停止して新しいノードで起動する必要があります)。ライブhbase/hadoopクラスタに新しいノードを追加するにはどうすればよいですか?
2
A
答えて
9
ノードを追加するにはどのように正確な説明があります: http://wiki.apache.org/hadoop/FAQ#I_have_a_new_node_I_want_to_add_to_a_running_Hadoop_cluster.3B_how_do_I_start_services_on_just_one_node.3F
同じ時間で - 私はどこ各タスクを実行することを計画すると、ジョブ開始時刻の間に発生したため、すでに実行中のジョブは、これらのノードの利点を取ることを確認していません(私が理解する限りでは)。
また、これらの一時的なノードでのみタスクトラッカーを実行する方が現実的だと思います。
2
以下のパラメータによって参照されるファイルを確認します。
- dfs.hosts => dfs.include
- dfs.hosts.exclude
- mapreduce.jobtracker.hosts.filename => mapred.include
- あなたはファイルがdfs.includeにホストのリストを追加し、mapred.includeでき
mapreduce.jobtracker.hosts.exclude.filename次に実行する
hadoop mradmin -refreshNodes;
hadoop dfsadmin -refreshNodes;
それだけです。
ところで、「mradminの-refreshNodes」施設が新しいノード上でスケジュールすることができる0.21
ニキル
関連する問題
- 1. mnesiaクラスタにノードを追加するにはどうすればよいですか?
- 2. AgensGraphのノードに新しいプロパティを追加するにはどうすればよいですか?
- 3. 選択したノードに新しいツリービューを追加するにはどうすればいいですか?
- 4. 新しいノードをaerospikeクラスタに追加する
- 5. cassandraクラスタに新しいノードを追加する方法
- 6. Reactに新しい要素(新しいノード)を追加するにはどうしたらいいですか?
- 7. Service Fabricクラスタのノード数を更新するにはどうすればよいですか?
- 8. jQueryでは、新しい要素が追加されたときに「ライブ」メソッドを使用して警告するにはどうすればよいですか?
- 9. 新しい3.5 Zookeeperノードが私のクラスタに動的に追加されないようです
- 10. 異なるECSクラスタにEC2インスタンスを追加するにはどうすればよいですか?
- 11. ライブUIViewを新しいUIViewにコピーするにはどうすればよいですか?
- 12. 入れ子フォームグループに新しいフォームコントロールを追加するにはどうすればよいですか?
- 13. gitに追加された新しいファイルを無視するにはどうすればよいですか?
- 14. クラスタでライブラリを追加するにはどうしたらいいですか?
- 15. JavaScriptから完全に新しい動画を追加するにはどうすればよいですか?
- 16. ボタンを押すたびに新しいテキストビューを追加するにはどうすればよいですか?
- 17. forループごとにデータフレームに新しい列を追加するにはどうすればよいですか?
- 18. 辞書に新しいキーを迅速に追加するにはどうすればよいですか?
- 19. 要素に新しいクラスを動的に追加するにはどうすればよいですか?
- 20. Dojoを使用してDOMノードにスタイリングを追加するにはどうすればよいですか?
- 21. 最後にノードを追加してリンクリストを作成するにはどうすればよいですか?
- 22. iPhoneで水平スワイプイベントに新しいwebviewを追加するにはどうすればよいですか?
- 23. odoo 9の新しいAPIでモデルにフィールドを追加するにはどうすればよいですか?
- 24. Magento 1.9でレイアウトに新しいブロックを追加するにはどうすればよいですか?
- 25. Flashで新しいクラスに音楽を追加するにはどうすればよいですか?
- 26. ノードにフィーチャを追加する関係をモデル化するにはどうすればよいですか?
- 27. 9個のアイテムごとに新しいdivに追加するにはどうすればよいですか?
- 28. RuntimePermissionを新しいJavaセキュリティポリシーに追加するにはどうすればよいですか?
- 29. String配列に新しい項目を追加するにはどうすればよいですか?
- 30. 実行時に新しい列を追加するにはどうすればよいですか?
未開始タスクに追加されましたが、それは既存のタスクを分割しません。さらに、新しいノードのどれもがローカルに格納されるデータを持たないため、処理のためにこれらのノードにデータをプッシュするオーバーヘッドは、すでに存在する場所を処理するコストよりも大きい場合があります。 –