YARNを通してSparkでメモリ過熱プログラムを実行できません

私は、Azureクラスタ上でSparkを使用してプログラムをベンチマークしようとしています。以前はEC2でこれを実行していましたが、150 GBのRAMで十分です。私はエグゼキュータのための複数のセットアップを試して、それらに160〜180GBのRAMを与えましたが、私が何をするかに関わらず、エグゼキュータがより多くのメモリを要求したためにプログラムは終了します。YARNを通してSparkでメモリ過熱プログラムを実行できません

どうすればよいですか？私が考慮する必要があるより多くの起動オプションがありますか？考えられるすべてのエグゼキュータのセットアップを試しましたが、何も動作したくないようです。私は完全な損失にあります。

出典

2016-04-13 Dylan Lawrence

この質問は非常に広いです。最初に、「プログラムが死ぬ」よりも詳細な説明をしてみることができます。私たちはあなたが現在どのような選択肢を検討しているのか知りません。どのバージョンのsparkを使用していますか？どのバージョンのHadoopで動作しますか？エグゼクティブのためにどのくらいのメモリ？ドライバー？ – eliasah

@eliasah私はちょっと分かりませんが、実際にはちょうど死んでしまいます。エグゼキュータのメモリエラーがあり、最終的には「エグゼキュータの失敗が多すぎます。その他の情報については、1.6.0を使用しています.Hadoopのバージョン（HDInsightのどのバージョンが使用されているかはわかりません）。私は複数のエグゼキュータ設定を試みましたが、どれもうまくいかないようです。 –

あなたのアプリを実行するsubmitコマンドを共有できますか？ – eliasah

あなたのコマンドでは、7つのエグゼキュータを指定し、それぞれに40gのメモリを指定しました。それは合計で280Gのメモリですが、クラスタには160〜180Gのメモリしかありません。 150Gのメモリしか必要ない場合、なぜspark-submitがそのように設定されているのですか？

HDIクラスタノードの種類と作成した数は何ですか？

以前EC2でYARNを使用していましたか？その場合、設定は同じですか？

出典

2016-04-13 22:47:38 Lin

エグゼキュータの設定が間違っています。今すぐ実行しようとしている正しいものがあります。私は8つのコアを持つ4つのノード、1ノードあたり56GBのRAMを持っています。私たちはEC2でYARNを使用しませんでしたが、通常の投稿のみでしたが、AzureではYARNなしでクラスターに投稿することはできません。 –

YARNを通してSparkでメモリ過熱プログラムを実行できません

答えて

関連する問題