Apacheのスパークアプリケーションの実行パラメータを設定するには

Question

Sparkアプリケーションを4ノードでテストするためのマルチノードクラスタをセットアップしました。 各ノードには250GBのRAMと48コアがあります。 1つのノードでマスターを実行し、3つをスレーブとして実行します。

そして、私たちはスカラを使ってスパークアプリケーションを開発しました。 spark-submitオプションを使用してジョブを実行します。 ここでは、私たちが打ち負かされている点について説明し、進めるためにはより明確な説明が必要です。

クエリ1： スパークジョブを実行するのに最適なオプションはどれですか。 a）マスターとしてスパーク b）マスターとして と違い。

クエリ2：任意のスパークジョブを実行中 我々は執行、コアの無い、エグゼキュータメモリなどの数のようなオプションを提供することができますが、パフォーマンス向上のために、これらのパラメータの最適値がどうなるかアドバイスしてもらえ

私の場合。

それはスパークで始まる誰にとっても参考になるので、すべてのヘルプは非常に高く評価されるだろう:)

感謝。!!

Answer 1

Query1：YARNは、優れたリソースマネージャであり、Spark Masterよりも多くの機能をサポートしています。もっと見るには Apache Spark Cluster Managers

Query2：ジョブの初期化時にのみリソースを割り当てることができます。使用可能なコマンドラインフラグがあります。また、spark-submitでコマンドラインフラグを渡したくない場合は、コード内にspark設定を作成するときにそれらを設定することができます。 あなたが spark-submit --help

フォアより多くの情報訪問にSpark Configuration

選出リソースを使用して使用可能なフラグを見ることができすぎなかっ処理したいデータのサイズ、問題の複雑さに依存します。

5 mistakes to avoid while writng spark applications