PythonからSparkを実行するとJavaヒープサイズエラーが発生する

Question

pysparkライブラリを使用してPythonスクリプトを実行しようとしています。 私は次のコマンドを使用してSparkConf()オブジェクトを作成：私は、スクリプトを実行すると

conf = SparkConf().setAppName('test').setMaster(<spark-URL>)

、その行がエラーに実行されます。

Picked up _JAVA_OPTIONS: -Xmx128m

Picked up _JAVA_OPTIONS: -Xmx128m

Error occurred during initialization of VM Initial heap size set to a larger value than the maximum heap size.

私はコンフィギュレーションを設定することで問題を解決しようとしましたプロパティspark.driver.memoryをさまざまな値に変更しましたが、何も変更されませんでした。

問題は何ですか？どのように修正できますか？

おかげ

Answer 1

あなたが利用可能な最大ヒープサイズ（128M）初期ヒープサイズの誤差よりも大きくなるように設定しているためです。設定ファイルで渡している、または設定している_JAVA_OPTIONSパラメータを確認してください。また、spark.driver.memoryの変更は効果がありません。なぜなら、ワーカーは実際にはspark-shellの起動時に起動されるドライバJVMプロセス内にあり、そのために使用されるデフォルトメモリは512Mです。

スパークが512Mに等しいヒープサイズを初期化しようとすると、これにより競合が発生しますが、あなたが設定した最大許容限度はわずか128Mです。

あなたは--driver-java-optionsのコマンドラインオプションを使用して最小ヒープサイズを設定したり、デフォルトのプロパティですることができますが、 `spark.driver.memory`と`火花のためにメモリの良い量を提供するようにしてください