emr

1熱

1答えて

EMR 5.7からEMR 5.8にアップグレードすると、s3-dist-cpがOutOfMemoryExceptionで失敗する

私はs3-dist-cpを使用して、より大きなジョブの一部として圧縮されたJSONファイルをS3からHDFSに移動しています。私はEMR 5.4で始まり、ほとんどの5.xでアップグレードしましたが、現在EMR 5.7の32台のマシンクラスタを問題なく走らせています。 EMR 5.8にアップグレードしようとすると、s3-dist-cpジョブが次のように失敗します。これを引き起こす5.7から5.8の間

0熱

1答えて

Terraformを使用してEMRクラスターに追加情報を渡すことは可能ですか？

我々はテラフォーム（v0.9.11）を使用して、AWS EMRクラスタを作成しようとテラフォームを経由して以下のような追加情報を渡す方法があるかどうかを知りたいと思っている - { 'ami64':'ami-XXXXX', 'amiHvm64':'ami-XXXXXXX', 'customAMI':true, 'hadoopConfigurationVers

1熱

1答えて

Hiveを使用してDynamodbをS3にエクスポート

私はこのリンクを参照しました：http://docs.aws.amazon.com/emr/latest/ReleaseGuide/EMR_Hive_Commands.html。マイハイブスクリプトは以下のようなものです： DROP TABLE IF EXISTS hiveTableName; CREATE EXTERNAL TABLE hiveTableName (item map<stri

0熱

2答えて

GangliaをSpark 2.1用に統合する方法ジョブメトリック、Spark ignoring Ganglia metrics

GangliaにSpark 2.1ジョブのメトリクスを統合しようとしています。私の火花は、default.confが *.sink.ganglia.class org.apache.spark.metrics.sink.GangliaSink *.sink.ganglia.name Name *.sink.ganglia.host $MASTERIP *.sink.ganglia.port

3熱

1答えて

クラスタ起動時にEMRでZeppelinのSpark Interpreterを設定する

EMRでクラスタを作成していて、S3からノートブックを読み取るようにZeppelinを設定しています。 [ { "Classification": "zeppelin-env", "Properties": { }, "Configurations": [ { "Classification": "export",

0熱

2答えて

EMRクラスターをEC2サーバーに接続する方法

私は、並列タスクを計算するためにsparkを使用します。それを実行するために、私のプロジェクトは、スパーク・ジョブを開始するために必要なデータを生成するサーバーに接続されています。今、awsで私のプロジェクトをクラウドに移行したいと思います。私はEMRで私のスパークアプリを入手し、EC2で私のサーバーを取得しました。 EMRスパークアプリケーションでEC2サーバーでhttpリクエストを使用でき

2熱

1答えて

EMRスパークは、Javaメインで働いてますが、この作品行い、なぜJava関数

に私は不思議ではない： public final class JavaSparkPi { public static void main(String[] args) throws Exception { SparkConf sparkConf = new SparkConf().setMaster("yarn-cluster").setAppName("mySparkApp");

0熱

2答えて

EMR Sparkクラスタモードハイブの問題

は、クラスタモードでscala spark 2.1アプリケーションを実行する際に問題があります。 Release label:emr-5.7.0* Hadoop distribution:Amazon 2.7.3 Applications:Hive 2.1.1, Presto 0.170, Spark 2.1.1, Ganglia 3.7.2, Zeppelin 0.7.2, ZooKeep

0熱

1答えて

PowerShell Cmdletを使用したAWS EMRジョブ

私はいくつかの引数を受け入れるブタスクリプトを持っています。 AWS PowerShell Cmdletを使用する必要があります。私は豚でクラスタを作成することができていますが、コマンドの下に使用してインストール： $app = New-Object Amazon.ElasticMapReduce.Model.Application $app.Name="Pig" $jobid = Star

1熱

1答えて

スパークジョブのデータパイプラインを使用したEMRアクティビティ

データパイプラインでスパークジョブ用のJarファイルを実行しようとしていますが、EMRステップで正確に何を渡す必要があるのかよくわかりません。