Apache Spark Configuration

Question

spark設定を実行しているときにメモリの問題に直面しています。設定をmax memoryに変更しましたが、それでも動作しません。スケジューラをWARNエグゼキュータのハートビートが123643 ミリ秒後にタイムアウトになりました： コマンド -

spark2-shell --conf "spark.default.parallelism=40" --executor.memory 8g --driver-memory 32g --conf "spark.ui.port=4404" --conf spark.driver.maxResultSize=2048m --conf spark.executor.heartbeatInterval=200s 

エラー - エラーcluster.YarnScheduler：ロストキュータ9 ampanacdddbp01.au.amp.localで次の問題をチェックしてください。理由：実行者のハートビートがタイムアウトしました （123643ミリ秒後）WARN spark.HeartbeatReceiver：Remove（実行中のタスクが実行されていません）エグゼクター3 と最近のハートビート：126935ミリ秒がタイムアウトを超えて120000ミリ秒ERRO R cluster.YarnScheduler：ampanacdddbp01.au.amp.localで失わエグゼキュータ3： キュータハートビートは、126935ミリ秒ERROR scheduler.TaskSetManager後のタイムアウト：23のタスク （1040.5メガバイト）のシリアライズ結果の合計サイズがスパークよりも大きいです。 driver.maxResultSize（1024.0 MB） ERROR scheduler.TaskSetManager：24の タスク（1085.8メガバイト）のシリアル化された結果の合計サイズがspark.driver.maxResultSizeよりも大きい（1024.0 MB）

で私を助けてください構成とどのようにこの "失われたエグゼキュータのエラー"を修正するか。

Answer 1

パラメータ "spark.driver.maxResultSize"のデフォルト値は1gで、1024MBです。アプリケーションが割り当てられたメモリをこのプロパティに使用しようとしているので、このエラーが発生しています。

次のように値を変更してみてください：どちら

1. 「--conf spark.driver.maxResultSize = 4グラム」の値を設定

2. の火花シェルを起動しながら、コマンドライン引数を渡します"spark-env.sh CONF /"

3. におけるシステムレベルでこのプロパティはsparkContextレベルでプロパティを設定 CONF = SparkConfを（次のように）。セット（ 'spark.driver.maxResultSize'、 '4G'） sc = SparkContext（conf = conf）

希望がそれを助けます。

よろしく、

Neeraj