emr

0熱

2答えて

AWS EMRのPresto Sandboxクラスタ - コネクタ（カタログ/ .properties）の追加

EMRを使用してAWSにPresto Sandboxクラスタをデプロイしました。プロパティを作成してからクラスタを再起動する以外に、Prestoクラスタにコネクタを追加する方法はありますか？

2熱

1答えて

S3NativeFileSystemがAWS EMR 4.6.0でPysparkアプリケーションを終了しています

S3から数多くのCSVファイル（それぞれ〜63MB @ 63MB）にアクセスする必要がある場合、Sparkアプリケーションが失敗してSpark RDDにパイプされます。 CSVを分割する実際のプロセスはうまくいくようですが、S3NativeFileSystemへの余分な関数呼び出しでエラーが発生し、ジョブがクラッシュするようです。開始するに、次は私のPySparkアプリケーションです： from

2熱

1答えて

EMRのためにAWSCLIからYARN memoryOverheadを設定する方法

私はちょうど私のSpark仕事が亡くなった理由を少しgrokkingしているので、私はこの記事の一番下にトレースバックを入れて、洞察力：memoryOverheadが超過していたので私のノードが死んでいたと言うことができる限り。 awscliからこれを設定して、この問題に遭遇しないようにするにはどうすればよいですか？ 16/05/17 20:20:46 WARN TaskSetManager: L

0熱

1答えて

autoscaleとResize EMRクラスタとの違い

Pythonを使用してクラスタのサイズを変更する方法を教えてください。ビジネスシナリオ：インスタンス上のメモリが不足している場合には遅いがある場合、その後1つのコアノードを追加します（タスクの番号がキューにある）処理が完了した削除これらの余分なコアおよびタスクノードがあるとき、複数のタスクノードを追加する処理 AutoscaleとResize clusterの違いは何ですか？よろしくお願い

0熱

1答えて

Impalaのスクラッチディレクトリを確認する

私はAmazon EMRでImpalaを使用しています。 impalaが中間結果を書き込むために使用している現在のスクラッチディレクトリは何ですか？私はこれが/ tmp/impala-scratchにデフォルト設定されていることを知っています。

0熱

2答えて

AWSデータパイプラインとEMRによるDynamoDBバックアップ

AWSデータパイプライン経由でDynamoDBテーブルのバックアップをS3に取得しようとしています。このためにAWS（http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-ddb-part2.html）が提供するデフォルトのテンプレートを使用しています。ただし、ジョブは常にエラーで失敗します。 E

1熱

1答えて

Amazon Glacier/S3とhadoop map reduce/sparkを結合するにはどうしたらいいですか？

Amazon S3とAmazon Glacierに保存されたデータをHadoop/EMRで処理し、出力データをRDBMSに保存する必要があります。 Vertica 私は大きなデータでnoobです。そして、私はいくつかのオンラインセッションとマップリダクションとsparxについてのpptsを行っただけです。学習目的のためにダミー・マップ・リダクション・コードをほとんど作成しませんでした。これまでは

1熱

1答えて

EMRクラスタブートストラップの失敗（タイムアウト）は、ほとんどの場合、クラスタの初期化時に発生します。

Amazon EMR上で実行される4つの連鎖MapReduceジョブで構成されるアプリケーションを作成しています。 JobFlowインターフェイスを使用してジョブを連鎖させています。各ジョブはそれ自身のクラスに含まれており、独自のmainメソッドを持っています。これらはすべてS3に保存された.jarにパックされており、ラップトップの小さなローカルアプリからクラスタが初期化され、JobFlowReq

1熱

1答えて

elasticmapreduceに必要なポリシー：AWSでRunJobFlow？

私はEMRクラスタを作成するAWSコマンドラインインタフェース（CLI）を、実行するためにAWS DataPipelineを使用していますが、ときにコマンドを実行私は、次のエラーを取得しています：私は関連付ける user ... is not authorized to perform: elasticmapreduce:RunJobFlow これを承認する適切な方針ですが、どの方針が必要であ

0熱

1答えて

スパークは、私は次の権限を持つEMRクラスタ内のすべてのスパークのノードで使用可能なローカルファイルを持っている

ローカルファイルを読み取ることができません。 Spark/Yarnがファイルにアクセスできるように、すべてのノード上のyarnユーザーのセカンダリグループとしてtest_groupを追加しました。スパーク・シェルで $ sudo -u yarn groups yarn hadoop test_group 、私は、ファイルの読み込み、次のエラーを取得： scala> val rdd =