EMRでスパークを設定する

Question

より性能の高いノードを選択すると、r3.xlargeとm3.xlargeの間で、追加のリソースが自動的に使用されますか？それとも、手動で設定し調整する必要があるのでしょうか？

これまでの設定は、クラスタを最大限に活用するために調整する最も重要な設定値です。

Answer 1

それは

AWSは、あなたがこれを行うにしようと、あなたのEMRのクラスタ構成で有効にできる設定があります。..しようとします。 spark.dynamicAllocation.enabledと呼ばれます。過去にはSparkに多すぎるリソースを提供するこの設定の問題がありました。新しいリリースでは、彼らはスパークするために与えている量を下げました。しかし、Pysparkを使用している場合、Pythonのリソース要件は考慮されません。

通常、どのインスタンスタイプが選択されているかに基づいて、ダイナミックアロケーションを無効にし、適切なメモリおよびコア設定を自分のコードから動的に設定します。

このページでは、彼らはあなたのために選択されますデフォルトで何を説明します。 http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-spark-configure.html

あなたが手動で行う場合は、最低で設定したいでしょう：

spark.executor.memory 
spark.executor.cores 

はまた、あなたが調整する必要があります

OS用にコアといくつかのRAMを残しておき、あなたがusiの場合はPython用のRAMを残しておいてくださいPyspark。