Hadoopクラスタで次の情報を取得するにはどうすればよいですか?クラスタ正しい付与された権限を持つHadoopクラスタのNamenodeとJobtrackerの情報
答えて
私はclouderaベースのクラスタを使用しており、EMRでも作業しています。 両方のクラスタで、設定ディレクトリから情報を見つけることができます。 namenode情報を取得するには、core-site.xmlファイルに移動し、fs.defaultFS
を@ daemon12としてください。
ここでは、取得する方法を示します。ここ cat /etc/hadoop/conf/core-site.xml | grep '8020'
以下のコマンドを使用して名前ノード情報について 結果値タグ内
<value>hdfs://10.872.22.1:8020</value>
値は、名前ノードの情報です。
同様jobtracker情報を取得する
cat /etc/hadoop/conf/yarn-site.xml | grep '8032'
の下ここ
<value>10.872.12.32:8032</value>
が再びjobtracker値が値タグ内である結果で行います。
一般に、NNおよびJT情報はOozieジョブを実行するために使用され、この方法はこの目的に役立ちます。
免責事項:それぞれ8020と8032のnamenodeとjobtrackerのポート番号に基づいて、cat
の結果をグロップします。これはHadoopのNNとJTのための広く知られたポートです。あなたの組織が別の組織を使用している場合は、それを使用してより適切な結果を得てください。
、上の役割を持つすべてのノードの 1.名前ノードとjobtracker名 2.リスト(のようにsudo -u HDFS)、あなたが試すことがあります。
HDFS dfsadmin -report
情報を取得するコマンドラインの方法に加えて、あなたはまた、ブラウザで同様の情報を得ることができます。これらはデフォルトのポートです
http://<namenode>:50070 (For in general hadoop informtion)
http://<namenode>:50030 (For JobTracker related information)
。詳細についてはhereを確認することができます。
あなたのhadoopインストールフォルダに 'core-site.xml'を見てください。 'fs.default.name'という名前のプロパティがあります。値は
- 1. Hadoop NameNode
- 2. hadoop namenodeコマンドは
- 3. Hadoop NameNode Federation
- 4. Hadoop HDFS Namenode Fail
- 5. hadoop namenode -formatコマンドのクエリ
- 6. Hadoop Namenode HAとHDFSフェデレーションの違い
- 7. namenodeとdatanodeファイルからのHadoop復元
- 8. HDInsightクラスタのLinuxディストリビューション情報
- 9. Namenode-HDFS(Hadoopの問題)の「Connection refused」エラー
- 10. HadoopのレプリカのNameNodeに必要なメモリ
- 11. Hadoopのdatanode - > namenode通信の問題
- 12. hadoopクラスタのトポロジ?
- 13. Hadoopの名前に必要な情報
- 14. NFS上のHadoopクラスタ
- 15. Hadoopクラスタの構成
- 16. Hbase Hadoopクラスタ.. java.io.IOException:java.lang.NoSuchMethodExceptio
- 17. h2o hadoopクラスタのクラスタに接続する
- 18. EMRクラスタにJobTrackerを接続する方法
- 19. 仮想マシン上のhadoopクラスタ
- 20. マルチノードHadoopクラスタのHDFSストレステスト
- 21. スタンドアロンHadoopクラスタのシステム構成
- 22. HDInsight HadoopクラスタとHDInsight Sparkクラスタの違いは何ですか?
- 23. hadoopのnamenodeディレクトリは、失敗後に同期しますか?
- 24. Hadoop Namenodeフェールオーバープロセスはどのように機能しますか?
- 25. 単一ノードhadoopの設定中にnamenodeを開始しない
- 26. hadoop fsコマンドの情報メッセージを抑制する方法
- 27. NameNode HAモードのクラスタを持つKafka HDFSコネクタ
- 28. org.elasticsearch.transport.NodeDisconnectedExceptionの取得:[] [inet [localhost/127.0.0.1:9300]] [クラスタ/ノード/情報] disconnected
- 29. Android - クラスタ項目の情報ウィンドウ(タイトル)を表示
- 30. ドッカーswarmを持つHadoopクラスタ
これは、クラスタ内のノードのIPアドレスを示しています。クラスタ内の役割を持つホスト名を取得するにはどうすればよいですか? –
たとえば、これらのサーバにsshを実行し、jpsコマンドを実行して(適切な権限で)再度Javaプロセスを実行することができます。どのサーバでどのhadoopサーバが動作しているかを確認する必要があります。私はguiマネージャー(色合い、clouderaマネージャーのような)にアクセスしていないと思いますか? – tokiloutok