hadoopのノードがIPアドレスを変更するとどうなりますか？

Question

私のhadoopクラスタはネットワークの条件のためうまく動作しません。私はネットワーク全体を変更すると、別のルータのように、こうしてIPアドレスを変更しますか？いくつかの構成を更新してもクラスタはまだ機能しますか？または私はそれを分解し、すべてを再構築する必要がありますか？ ありがとうございます。

Answer 1

IPアドレスを設定に変更すると動作します。なぜDNSを使用しませんでしたか？

[OK]を、それは良い答えではなかった、私は謝罪し、より良い答えを与えることができます。 実行中のクラスタで構成を変更する必要がある場合は、データノードを廃止してコミッションすることができます。

データノードをオフにすることはお勧めできません。

データノードDecomissioning

拳のステップは、あなたがノードマネージャに同じことを言わなければならない、あなたには、いくつかのノードを削除しようとしている糸に伝えています。

お使いのシステムは廃止のために設定されている場合、それはあなたがhdfs-site.xml

HDFS-site.xmlの

<property> 
    <name>dfs.hosts.exclude</name> 
    <value>$YOUR_PATH/dfs.exclude</value> 
    <final>true</final> 
</property> 

yarn-にyarn-site.xmlとdfs.hosts.excludeにキーyarn.resourcemanager.nodes.exclude-pathを持っている場合、私は、知りませんsite.xml

<property> 
    <name>dfs.hosts.exclude</name> 
    <value>$YOUR_PATH/dfs.exclude</value> 
    <final>true</final> 
</property> 

ファイル$YOUR_PATH/dfs.excludeを開き、ホスト名/ IPアドレスを追加します。o fノードを停止する必要があります。

データノードは、Webインターフェイスをチェックする運用停止中である場合

yarn rmadmin -refreshNodes 
hdfs dfsadmin -refreshNodes 

チェックを実行します。廃止措置

糸-site.xmlのと同じ方法で、

データノードComissioning

作品

<property> 
    <name>yarn.resourcemanager.nodes.include-path</name> 
    <value>$YOUR_PATH/dfs.include</value> 
    <final>true</final> 
</property> 

HDFS-site.xmlの

<property> 
    <name>dfs.hosts</name> 
    <value>$YOUR_PATH/dfs.include</value> 
    <final>true</final> 
</property> 

オープンファイル$YOUR_PATH/dfs.includeとdd追加するノードのホスト名/ IPアドレス。

yarn rmadmin -refreshNodes 
hdfs dfsadmin -refreshNodes 

今あなたが追加したホストがリストにある

hdfs dfsadmin -report 

いくつかの時間を待ちます。

上記のキーが設定にない場合は、ノードマネージャと糸を追加した後で停止または再起動する必要があります。

これらの手順を使用すると、データノードを安全に停止できます。