spark-submitコマンドのメモリパラメータ

Question

spark-submitコマンドの最適なメモリ設定の計算方法は？

私は、SparkのOracleから4.5GBのデータを持ち込み、Hiveテーブルと結合してOracleに書き戻すような変換を行っています。私の質問は、spark-submitコマンドをどのように最適なメモリパラメータで呼び出すかです。

spark-submit --master yarn-cluster --driver-cores 2 \ 
--driver-memory 2G --num-executors 10 \ 
--executor-cores 5 --executor-memory 2G \ 
--class com.spark.sql.jdbc.SparkDFtoOracle2 \ 
Spark-hive-sql-Dataframe-0.0.1-SNAPSHOT-jar-with-dependencies.jar 

どのようにドライバメモリであるべきか、必要なドライバ/エグゼキュータメモリの量、必要なコアの数などは？

Answer 1

これは、一般的に、銀の弾丸の答えがない複雑な質問です。最適な選択は、データの特性と操作の種類だけでなく、システムの動作（Sparkオプティマイザなど）によっても異なります。役に立つヒントを見つけることができますhere