Amazon Cloud上のHadoop

Question

hadoop MapReduceジョブを実行するためにAmazon Cloudに設定しようとしていますが、クラスタを正常に作成するのに苦労しています。私はec2ファイルをダウンロードし、証明書と鍵ペアファイルを持っていますが、私は問題を引き起こしているAMIだと思います。マスターノードとn個のスレーブノードを持つクラスタを実行しようとすると、標準の互換性のあるAMIを使用してn + 1インスタンスを起動し、ターミナルにコード "hadoop-ec2 launch-cluster name n"を実行します。マスターノードは正常ですが、スレーブノードが起動すると "欠落しているパラメータ-h（AMIがありません）"というエラーが表示され、どのように進行するのか完全にはわかりません。

また、私の仕事の中には、hadoopsのパラメータ設定（特にmapred-site.xml設定ファイル）の変更が必要な場合、このファイルを変更することは可能でしょうか？ hadoopはすでにアマゾンマシンにインストールされていますが、このファイルはアクセス可能で変更可能です。

おかげ

Answer 1

あなたはAmazon Elastic MapReduceを試みたことがありますか？これは、必要に応じて指定されたサイズのHadoopクラスタを呼び出すシンプルなAPIです。

これは、手動で独自のクラスタを作成する方が簡単です。

しかし、ジョブフローがデフォルトで終了すると、クラスタは停止してS3に出力されます。必要なものが単純に多少の処理をするだけであれば、これは道のりかもしれません。

HDFSのコンテンツを永続的に保存する必要がある場合（HBaseをHadoop上で実行している場合など）、実際にEC2上に独自のクラスタが必要な場合があります。この場合、ClouderaのAmazon EC2用Hadoopの配布が役立つかもしれません。それが起動します

ノード上

変更Hadoopの構成はEC2ブートストラップアクションを使用して可能である：

Q：どのように私は私のジョブフローのためのHadoopの設定を構成していますか？

Elastic MapReduceのデフォルトのHadoop設定は、ほとんどの作業負荷に適しています。ただし、ジョブフローの特定のメモリおよび処理要件に基づいて、これらの設定を調整することが適切な場合があります。たとえば、ジョブフロータスクがメモリを大量に使用する場合は、コアあたりのタスク数を減らし、ジョブトラッカーのヒープサイズを小さくすることができます。この状況では、起動時にジョブフローを設定するための事前定義されたブートストラップアクションが利用できます。設定の詳細と使用方法については、「開発者ガイド」のメモリの集中ブートストラップアクションの設定を参照してください。追加の定義済みのブートストラップアクションを使用すると、クラスタ設定を任意の値にカスタマイズできます。使用方法については、「開発者ガイド」のConfigure Hadoop Bootstrap Actionを参照してください。

クラスタを起動する方法について

、明確にしてください：

私はマスターノードとnスレーブノードでクラスタを実行しようとしている場合は、私は標準を使用して、N + 1つのインスタンスを起動します互換性のあるAMIを作成し、端末にコード「hadoop-ec2 launch-cluster name n」を実行します。マスターノードは正常ですが、スレーブノードが起動すると "欠落しているパラメータ-h（AMIがありません）"というエラーが表示され、どのように進行するのか完全にはわかりません。

どのように開始しようとしていますか？どのAMIを使用していますか？