クラスタ内でhadoopデーモン/プロセスを起動および停止する

Question

私は9ノードのLinuxクラスタを持っており、hadoop 1.0.2をインストールしました。私は複数の奴隷を使って走っているGISプログラムを持っています。 1、2、3、4 .. 8のスレーブノードを使って私のプログラムのspeedUpを測定する必要があります。スレーブの数を変えてconf/slaveファイルを変更すると、start-all.sh/stop-all.shスクリプトを使ってクラスタを起動/停止します。 しかし、私はそうしている間に間違ったエラーを受けています、そして、私はクラスター内のスレーブノードを追加/削除する正しい技術を使用していないと感じています。

「スレーブファイルを変更してクラスタを再起動する」テクニックに関する助けがあれば幸いです。

Answer 1

問題は、Hadoopがノードをシステムから正常に削除することを許可していない可能性があることです。

あなたがしたいことは、ノードがdecommissioningであるため、HDFSがファイルを別の場所に再複製する時間があります。基本的には、いくつかのノードをファイルexcludesに追加することです。次に、bin/hadoop dfsadmin -refreshNodesを実行すると、構成が読み取られ、ノードのクラスタビューがリフレッシュされます。

ノードを追加するときやノードを削除するときにも、rebalancerの実行を検討する必要があります。これにより、データが均等に分散され、新しいノードにデータがない場合でもパフォーマンスが向上します。