emr

0熱

1答えて

Apache Pig：FOREACH集約を使用したOutOfMemoryError

Apache PigでFOREACH操作を実行してOutOfMemoryErrorを取得しています。 16/06/24 15:14:17 INFO util.SpillableMemoryManager: first memory handler call- Usage threshold init = 164102144(160256K) used = 556137816(543103K)

0熱

1答えて

awsとは何ですか？EMR Amazone標準は、価格を選択している間にハーフオーバー配信中です。

AWS EMRサービスの価格を計算しようとしていました。私はグーグルで見つかったが、デフォルトであるhadoopディストリビューションカラムの下でAmazone標準を見つけることができなかった。すべての情報が役立ちます。

2熱

1答えて

スパークRDDメソッド "saveAsTextFile" throwing exception出力ディレクトリを削除した後でも。 org.apache.hadoop.mapred.FileAlreadyExistsException

私はこのメソッドを、引数の宛先を持つRDD [String]で呼び出しています。（Scala）開始前にディレクトリを削除した後も、このエラーが発生します。 aws S3の出力場所を持つEMRクラスターでこのプロセスを実行しています。以下が使用するコマンドです： spark-submit --deploy-mode cluster --class com.hotwire.hda.spark.p

0熱

2答えて

EMRでs3-dist-cpとhadoop distcpジョブが無限ループする

s3からHDFSに193 GBのデータをコピーしようとしています。私は、S3-distcpとHadoopのdistcpために、以下のコマンドを実行している：私はマスターノード上でこれらを実行しても転送されている量のチェックを維持しています s3-dist-cp --src s3a://PathToFile/file1 --dest hdfs:///user/hadoop/S3CopiedFiles

0熱

1答えて

外部からEMRクラスタマスターからのスパーク送信を使用

Spark 1.6.1を使用したAWS Elastic MapReduce（EMR）で動作するHadoopクラスタがあります。クラスタマスタにスローガンしてSparkジョブを送信することは問題ありませんが、別の独立したEC2インスタンスから送信できるようにしたいと考えています。他の「外部」EC2インスタンスには、EMRインスタンスマスタ&スレーブインスタンスとの間のすべてのTCPトラフィックを許

4熱

2答えて

ブーストspark.yarn.executor.memoryOverhead

大量のデータを処理する（py）SparkジョブをEMRで実行しようとしています。だから私はこれを行う方法をgoogle'd、と私は--confフラグでspark.yarn.executor.memoryOverheadパラメータに沿って通過しなければならないことがわかっ Reason: Container killed by YARN for exceeding memory limits. 5

-3熱

1答えて

Pythonコマンド呼び出しでラップされたbash varを参照解除する方法を探しています

私は、クラスタを終了するためにAWS CLIコマンドでそれを使用するために、goldenClusterIDの参照を解除する方法を見つけようとしています。このプログラムは、毎日生成される動的ジョブフロー番号を補正するためのもので、通常のデータパイプラインのスケジュールによるシャットダウンが適用されます。私はいつでもos.system（ "less goldenClusterID"）することができ、そ

0熱

1答えて

Amazon WebサービスKinesis、EMR、S3 on cloud

複数のWindowsデバイスからCSVデータを送信する必要があるユースケースがあります。目標使用時間があります。 80時間を一括して完了しなければならない。各PCはキネシスストリームを使用して送信され、EMRを使用してクラウドではカバレッジを更新します。 PC1〜10時間、PC2〜20時間、PC3〜5時間、PC4〜5時間。これで、クラウドは80-（10 + 20 + 5 + 5）/ 4 = 10

0熱

1答えて

EMRからlocalhostへのapache zeppelinのトンネル

私はsparkとzeppelinを使用してAWS上でEMRクラスターを立ち上げました。この接続をlocalhost：8890に転送したいと思います。私は窓を使用しています私はパテを使用します。接続は機能しますが、localhost：8890を試してみるとどこも行きません。私は行方不明のものがありますか？ここは、セキュリティルールは以下のとおりです。

0熱

1答えて

スパークデシジョンツリーのフィットが1つのタスクで実行される

Amazon EMRのクラスタで動作するApache Sparkを使用してDecisionTreeClassifierを「トレーニング」しようとしています。約50名のエグゼキュータが追加されており、その機能はSparkSQLを使用してPostgresデータベースにクエリを作成し、DataFrameに保存することで作成されることがわかります。データセットがそれほど大きくなくても、DesceedTr