DFSからhadoopノードを削除するにはどうすればよいですか？

Question

私はかなり新しいhadoopです。いくつかのベンチマークを実行するために、比較のためにさまざまなハーフープ構成が必要です。

DFSからhadoopスレーブを削除する方法（データノードデーモンをもう実行しない）は知っていますが、Mapred（tasktrackerを継続して実行する）からの削除ではなく、逆の場合もあります。 AFAIKには、そのようなハーフープノードのための単一のスレーブファイルがあり、DFSとMapredのための別個のスレーブファイルではありません。

現在、私はスレーブノードでDFSとMapredの両方を開始しようとしていて、スレーブ上でデータノードを強制終了しています。しかし、そのノードをHDFS GUI上の「デッドノード」に入れるにはしばらく時間がかかります。このタイムアウトをすばやくするために、どのパラメータも調整できますか？

Thankssss

Answer 1

はmapred-site.xmlでHDFS-site.xml内dfs.hosts and dfs.hosts.exclude、mapred.hosts and mapred.hosts.excludeを使用してみてください。これらは、ホストがNameNodeとJobTrackerに接続することを許可/排除するためのものです。

ファイル内のノードのリストが適切に更新されたら、それぞれhadoop dfsadmin -refreshNodesとhadoop mradmin -refreshNodesコマンドを使用してNameNodeとJobTrackerをリフレッシュする必要があります。

Answer 2

slavesファイルを使用してクラスタ上のすべてのプロセスを開始する代わりに、ノードがほとんどない場合は、各マシンで必要なデーモンのみを起動できます。