hadoopクラスタのさまざまなポート？

Question

さまざまなデーモン/プロセスがHadoopクラスタでリッスンするさまざまなポートを理解しようとしています。

コア-site.xmlの

<property> 
      <name>fs.defaultFS</name> 
      <value>hdfs://master.hadoop.cluster:54310</value> 
    </property> 

糸-site.xmlの

<property> 
      <name>yarn.resourcemanager.address</name> 
      <value>master.hadoop.cluster:8032</value> 
    </property> 

私たちは3つの他のポート、持っている参照してください。

1）50070 - >へのhdfs GUIを参照してください
2）8088 - > RM GUIを表示する
3）8042 - >このポートでどのGUIが表示されているのかわからない

非常に多くのポートがあるので、どのポートがどのポートであるかはわかりません。私がポートにHTTPリクエストをすると、8032と言うと、これはHadoop IPC portと言います。

これを理解する助けとなる人、私たちが知っておくべき主要なポート番号と、それらのポートで受信するプロセスが何であるかを理解できます。

Answer 1

fs.defaultFSで定義されたポートは、ファイルシステムのメタデータ操作用です。 Web UIへのアクセスには使用できません。 8042はNodeManager Web UI用です。8032はResourceManager IPC用です。

は

• hdfs-default.xml参照 - JHS関連ポートの - YARN関連ポート
• mapred-default.xmlため - HDFS関連ポート
• yarn-default.xmlため。