Clouderaを使用したMap-reduceのシミュレーション

clouderaを使用して、1台のマシン（もちろん多くのVMがある）でHadoopジョブをシミュレートします。私は2つの質問 1）clouderaでHDFSのレプリケーションポリシーを変更することはできますか？ 2）各VMのCPU使用率を確認できますか？Clouderaを使用したMap-reduceのシミュレーション

出典

2012-04-26 Sara

"ReplicationTargetChooser.java"を変更することでデータ複製ポリシーを変更できることがわかりました。

出典

2012-04-26 16:55:35 Sara

hadoop fs -setrepを使用して、任意のファイルのレプリケーションファクタを変更できます。また、次を追加してhdfs-site.xmlを変更することで、デフォルトの複製因子を変更することができます。 <property> <name>dfs.replication</name> <value>2</value> </property>

あなたが各ボックスにログインし、各VMのCPU使用率を確認するためにtopを使用する必要があります。あなたがこれを見ることを可能にするHadoopの箱の外は何もありません。

出典

2012-04-26 04:18:07

ありがとうございました。しかし、私はデータ配置の方針を変えたいという要素を変えたくありません。私は各レプリカがどのノードに存在していると言いたいのですか？このhttps://issues.apache.org/jira/browse/HDFS-385のようにします。 – Sara

あなたはこれまでにこれを尋ねました。これは不可能です。おそらく、実際に何をしようとしているのかを尋ねてみて、適切なやり方を提案する必要があります。 –

しかし、上記のリンクでは解決されているようです！データのレプリカの場所を変更して、エネルギー使用量がどのように変化するかを確認したい。 – Sara

Clouderaを使用したMap-reduceのシミュレーション

答えて

関連する問題