elastic-map-reduce

2熱

1答えて

EMRの分散キャッシュからファイルをシーケンシングしようとしていますが、EMRの分散キャッシュからファイルを読み込めません。私のコードはローカルでうまく動作しますが、emrに問題があります。ここでpath- private void loadMap(String filePath,Configuration conf) throws IOException { try {

2熱

1答えて

EMRでスパークジョブを実行しているときにIllegalAccessError

dynamodbにアクセスするスパークジョブを実行しようとしていて、dynamoDbクライアントをインスタンス化する古い方法が廃止され、クライアントビルダーの使用が推奨されています。まあ、これはローカルで正常に動作しますが、私はEMRに展開するときに、私はこのエラーを取得しています。これを原因 Exception in thread "main" java.lang.IllegalAccessE

1熱

1答えて

Amazon EMR MapReduceの進行状況のロールバック？

こんにちは私は奇妙な仕事を思いついたばかりです：私はEMRを使ってjava-MapReduceジョブを実行します。データは約1Tで、私は1つのマスター+ 8スレーブを使用しました。すべてのインスタンスはr2.2xlargeです。最初に、すべてのものは以下のように正常に見える。しかし INFO mapreduce.Job: map 0% reduce 0% INFO mapreduce.J

0熱

4答えて

HDFSから読むと</p> <p>は、両方のマッパーの出力はHBaseの

マッパーは、（） 2）国による国の統計をソートするユーザが訪れた二つの場所 1）の記事からファイルを読んでいる賢明（国）への書き込みテキスト、アマゾンクラスタのテキスト私が実行しているプログラムは、私の目的は、二つの異なるセットからのデータを読み取り、その結果を組み合わせて、HBaseの中に格納されます。 HDFS to HDFSが動作しています。コードは67％の削減で立ち往生して 17/0

0熱

1答えて

AWS EMR S3DistCp：auxService：mapreduce_shuffleが存在しません

SSH経由でAWS EMR v5.4.0インスタンスに接続しています。私はs3distcpを呼び出したいと思います。 This linkはセットアップにEMRのステップは、それを呼び出す方法を示しますが、私はそれを実行したときに、私は次のエラーを取得する： Container launch failed for container_1492469375740_0001_01_000002 : or

1熱

2答えて

EMR Sparkで初めてJDBCロードが失敗してから動作します

私はをAWS Elastic Map Reduce 5.3.1でSpark 2.1.0と一緒に使用して、Postgresデータベースからデータをロードしています。 loader.loadは常に失敗してから成功します。なぜこれが起こるのだろうか？ [[email protected][SNIP] ~]$ SPARK_PRINT_LAUNCH_COMMAND=1 spark-shell --drive

0熱

1答えて

AWSサービスの役割

私は次のコードで日食からEMRクラスタを実行しようとしている：私はライン "withServiceRole（" EMR_DefaultRoleを削除する場合 Exception in thread "main" java.lang.NoSuchMethodError: com.amazonaws.services.elasticmapreduce.model.RunJobFlowRequest.

0熱

2答えて

複数のインデックスと複数のタイプにわたってクエリを実行するための弾性検索式

私はelasticsearchに初心者です。私はAWS弾性検索インスタンス5.1.1を使用しています。私は、検索操作のためにElasticsearchのリクエスト本体に複数のインデックスとタイプを指定する必要があるという要件がありますか？それを行う最も簡単な方法は何ですか？ありがとうございます！

2熱

1答えて

AWS EMRカスタムjarアプリケーションで追加のjarを指定する

EMRクラスターでhadoopジョブを実行しようとしています。それは私がjar-with-dependenciesを使用するJavaコマンドとして実行されています。ジョブはTeradataからデータを取得し、Teradata関連のjarもjar-with-dependencies内に格納されていると仮定しています。しかし、私はまだ例外を取得しています： Exception in thread "m

1熱

1答えて

AWS EMRのHadoop 1.0.3でHDFSからデータをクリアする

さまざまな理由から、私はEMRでAMI 2.4.11/Hadoop 1.0.3でいくつかのジョブを実行しています。私は追加のEMRステップを追加して自分の仕事の後にHDFSのクリーンアップを実行しようとしています。 boto： step = JarStep( 'HDFS cleanup', 'command-runner.jar', action_on_failu