ヘッドノードがマスターであり、他の7つのノードがスレーブとして構成されているHadoopクラスタを持っています。スレーブはそれぞれ8コアと8 GBのメモリを備えています。私は、 "mapred.tasktracker.map.tasks.maximum"パラメータとスレーブ設定ファイルのスレーブ数を変えて遊んでいます。私のプログラムが40個のタスクを実行しなければならない場合、いくつかのログファイルやどこかの個々のスレーブノードで実行されたタスクの数を確認できますか?基本的に、私は異なるノード間でマップタスクの配布を探しています。hadoopでは、各スレーブノードで個別に実行されているマップタスクの数を確認する方法は?
0
A
答えて
1
これを行う最も簡単な方法は、Hadoopシステムに付属のWebインターフェイスからのものです。
あなたのウェブブラウザ、内タイプの例:50030:jobtrack-マシンのホスト名はlocalhost:50030
そして、あなたはあなたが欲しいものを得るでしょう。
1
Gangliaをインストールして、jobtrackerから統計を監視できます。私は自分のクラスターでこれをやったので、インストールはとても簡単でした。また、各ノードの負荷、スワップ、ディスク、メモリ使用量などを監視することもできます。 http://wiki.apache.org/hadoop/GangliaMetrics
落とし穴ALERT:
はこちらの手順を参照してくださいあなたは神経節をインストールしている場合は、おそらくあなたの代わりに、彼らはそのページに持っているもののorg.apache.hadoop.metrics.ganglia.GangliaContext31
を使用していることを確認したバージョン3.1を取得するつもりです。
関連する問題
- 1. Hadoopの特定のIPアドレスにマップタスクをスポーンする方法は?
- 2. スレーブノードはHadoop Map/Reduce Jobを実行できますか?
- 3. OpenOnloadで実行されているアプリケーションを確認する方法は?
- 4. Hadoopのは - XMLでマップタスクを大きくすると、マップタスクを増加させていない
- 5. hadoopクラスタ:マップタスクは1台のマシンでのみ実行され、すべてではありません
- 6. 入力チャンネルでコンボリューションを個別に実行する方法は?
- 7. GNU Parallelで並列実行されている個々のプロセスの終了コードを確認するには
- 8. 数独Pythonで各行/列/領域を確認する方法
- 9. Intellijで実行されるコマンドを確認する方法
- 10. hadoopマップタスクのタイムアウト
- 11. データベース内で実行されているクエリを確認する方法
- 12. herokuでインスタンスが実行されていることを確認する方法
- 13. イニシャライザでRailsが実行されているポートを確認する方法
- 14. のhadoopで、マップタスクからデータを取り出す方法を減らすには
- 15. 正確にn個のプロジェクトがbashで実行されていることを確認する方法はありますか?
- 16. 複数のボタンで各ボタンを個別に切り替える方法は?
- 17. Rubyで実行中のプロセスを確認する方法は?
- 18. VMがサーバーモードまたはクライアントモードで実行されているかどうかを確認する方法は?
- 19. Recyclerviewの各アイテムを個別にリクエストする方法は?
- 20. JSの各リンクを個別にクリックする方法は?
- 21. Tomcatで実行されているGrailsアプリケーションでSSLを確認する方法は?
- 22. 私はGoogleアプリケーションエンジンでローカルに実行されているかどうかを確認する方法/
- 23. SQL Serverで各個別行の数を取得する
- 24. どのような変数がCPUテンソルフローで実行されているかを確認する方法
- 25. Oracle - 各列の個別の値(別個のカウントではない)
- 26. 各フィールドを個別に検証する方法は?
- 27. プログラムが実行されていた日食のバージョンを確認する方法
- 28. mavenの統合テストターゲットで個別テストを実行する方法
- 29. Azure関数がスロット内で実行されているかどうかを確認する方法
- 30. Hadoop Streamingで実行されているマッパーの数を制限する