私はHDFSと糸でスパークを使用していますので、基本的にはハープで走ります。私は糸クライアントモードを使用して、クラスタ上でタスクを実行します。デフォルトでは、タスクはクラスタのデータノードで実行されます。しかし、私はいつもアイドル状態にあるので、いくつかのタスクを実行するnamenodeも好きです。だから、namenodeにいくつかのタスクを実行させることも可能ですか?もしそうなら、どうですか?Namenodeでタスクを実行することは可能ですか?
1
A
答えて
2
具体的には、スパークタスクはデータアノード上で実行されていません。 HadoopでSparkを実行すると、Hadoop/Yarnクラスタ上の各スレーブノードでハープ/ヤーンクラスタ実行ユニットの実行ユニットであるNodemanagers上でタスクが実行されます。しかし、一般的に各スレーブノード上のHadoop /糸クラスタでノードマネージャを持つ2つのプロセスデータノードとノードマネージャ
名前ノードの等価(datanodesのマスター)がある(nodemanagersのマスタである)のResourceManager
ありますNamenode(またはResourceManager)を実行している同じホスト上でnodemanagerプロセスを開始していない限り、Namenode/ResourceManager自体はどのようなタスクも実行できませんでした。
ネームノードプロセスが起動する物理ノードをNameNodeで表す場合は、ノードを起動するとすぐに可能ですそのノードのマネージャープロセス
関連する問題
- 1. アンドロイドエミュレータでviberを実行することは可能ですか?
- 2. d3でマルチズームを実行することは可能ですか
- 3. JavaScriptをリアルタイムで実行することは可能ですか?
- 4. Androidでバッチファイルを実行することは可能ですか?
- 5. vmplayerでfabric8を実行することは可能ですか
- 6. ArduinoでZeroMQを実行することは可能ですか
- 7. mysqlでcronタスクをスケジュールすることは可能ですか?
- 8. コード実行ステップをカウントすることは可能ですか?
- 9. 差動リンクを実行することは可能ですか?
- 10. リモートホストで実行可能なタスク
- 11. Javaでシェルスクリプトを実行することは可能です
- 12. 可能:タスク/ハンドラを実行する前に別のタスク/ハンドラを実行する
- 13. 実行可能ファイルをMS-DOSプログラムに渡すことは可能ですか?
- 14. gulpタスクを開発者が非実行可能としてマークすることはできますか?
- 15. パスカルでこのWindowsコマンドを実行することは可能ですか?
- 16. 実行可能なプレイブックから1つのタスクとハンドラを実行する
- 17. Webアクセスでスケジュールされたタスクで実行可能ファイルを実行する
- 18. 実行可能なタスクが実行されるかどうか
- 19. C++同時実行ループを実行することも可能ですか?
- 20. C#(ASP.NET)でJSONクエリをプログラムで実行することは可能ですか?
- 21. トール実行可能ファイルは、タスク名
- 22. ocamloptは、ここで実行可能
- 23. は、.netアプリケーションからWindowsアップデーターを実行することは可能ですか?
- 24. インターネット接続が可能なときにタスクを実行する
- 25. Flink 1.2.0でElasticsearch 5.xを実行することは可能ですか?
- 26. シェルスクリプト - バックグラウンドで.shファイルを実行することは可能ですか
- 27. MySQLで文字列を実行することは可能ですか?
- 28. ライダーの内部でUnity3Dテストを実行することは可能ですか?
- 29. GPUで純粋なC++コードを実行することは可能ですか
- 30. Pythonウィンドウでmitmproxyをビルドして実行することは可能ですか?