elastic-map-reduce

11熱

3答えて

JavaアプリケーションでElastic MapReduceジョブフローの完了を待つ方法はありますか？

最近、私はAmazon Web Services（AWS）で作業していましたが、その件に関する資料があまりないことに気付きましたので、私のソリューションを追加しました。私はAmazon Elastic MapReduce（Amazon EMR）を使用してアプリケーションを作成していました。計算が終了した後、私はそれらによって作成されたファイルについていくつかの作業を実行する必要があったので、ジョ

5熱

3答えて

s3distcpを使用してamazon s3からhdfsにファイルをコピーできない

EMRのワークフローを使用してs3からhdfsにファイルをコピーしようとしています。以下のコマンドを実行すると、ジョブフローは正常に開始されますが、 HDFSに。私は入力ファイルのアクセス許可を設定する必要がありますか？コマンド： ./elastic-mapreduce --jobflow J-35D6JOYEDCELA --jar S3：//us-east-1.elasticmapreduce

3熱

1答えて

なぜEMRインスタンスにはマッパーと同じ数のレデューサーがありますか？

デフォルトでは、EMRジョブの実行中に、インスタンスはマッパーよりも少ないリデューサを持つように設定されています。しかし、レデューサーは余分な記憶を与えられていないので、同じ量を持つことができるはずです。（例えば、超大型の高CPUインスタンスには7つのマッパーがありますが、2つのリデューサーのみですが、マッパーとリデューサーの両方に512 MBのメモリを使用できます）。これはなぜ、私はマッパー

2熱

1答えて

EMRを使用せずにDynamoDBとHiveを使用する人はいますか？

私はDynamoDBでデータを照会するためにHiveを使用する以下の統合を読んでいました。 http://aws.typepad.com/aws/2012/01/aws-howto-using-amazon-elastic-mapreduce-with-dynamodb.html ただし、リンクごとに、HiveはEMRの上に設定する必要があります。しかし、私はこの統合を、既にEMRを使用する代わり

3熱

1答えて

Nutchは、クラスタが5つのノードを合計している場合、1つのHadoopノードでフェッチ・ステップを実行するのはなぜですか？

私はNutchをElastic MapReduceに3つのワーカーノードで実行しています。私はNutch 1.4を使用しています。デフォルトの設定は（ユーザエージェントを追加した後に）提供されています。ただし、30,000ドメインのリストをクロールしているにもかかわらず、フェッチステップは、解析ステップが3つすべてで実行されていても、1つのワーカーノードからのみ実行されます。 3つのノードすべて

11熱

1答えて

Hive、S3、EMR、およびRecover Partitionを使用したデータのロード

解決済み：この問題の「解決策」については、下記のUpdate＃2を参照してください。 S3で ~~~~~~~ のように、私は、ネストされたディレクトリ構造に保存されているいくつかのログ* .gzをファイルを持っている：私はハイブにこれらをロードしようとしています s3://($BUCKET)/y=2012/m=11/d=09/H=10/ テーブル作品の create external tabl

2熱

1答えて

AWS MapReduceでElastic MapReduceのジョブフローが失敗したのはなぜですか？

AWS MapReduceでジョブフローを作成しました。コンテキスト広告（ハイブスクリプト）のジョブフローを作成しました。「インタラクティブなハイブセッションを開始」、m1.smallインスタンスを選択し、VPCサブネットIDなしで処理を行い、Configure Bootstrap行動。ジョブフローは開始状態になり、15〜20分後に失敗した状態になり、待機状態には入りません。「最後の状態変更の

9熱

6答えて

HadoopでPythonを使用するための分散型機械学習ライブラリはありますか？

私は、さまざまな標準的な機械学習タスクを実行するために、Amazon Elastic MapReduceで自分自身を設定しました。私は過去にローカルマシンの学習に広範囲にPythonを使用しましたが、私はJavaを知らないのです。私が知る限り、分散型機械学習のためのPythonライブラリは開発されていません。一方、JavaはApache Mahoutであり、Clouderaのより最近のOryxで

6熱

2答えて

Amazon Elastic MapReduce - SIGTERM

通常は正常に動作するEMRストリーミングジョブ（Python）があります（たとえば、10台のマシンで200個の入力を処理するなど）。私が読んでいた場合 java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 143 at org.apache.hadoop.streaming.

6熱

2答えて

タスクの試行が600秒間ステータスを報告できなかったために、reduceが失敗しました。殺す！溶液？

ジョブの縮小フェーズが失敗しました：タスクの縮小が許容値を超えました。各タスクが失敗した理由は次のとおりです。タスクattempt_201301251556_1637_r_000005_0は600秒間ステータスを報告することができませんでした。殺す！詳細に問題：地図相は、以下の形式で各レコードに要する：時間は、駆除、データを。データの形式は、データ要素とその数です。例：a、1b、4c