スパーク・メソス・クラスタ・モードがローカル・モードより遅い

Question

ローカル・モードとメソス・クラスタ・モードの両方を使用して実行する同じjarを送信します。まったく同じステージで見つかった場合、ローカルモードは数ミリ秒かかるだけですが、クラスタモードには数秒かかります！列挙された

一例である：ステージ659

ローカルモード： 659ストリーミングジョブKafkaHelper.scalaで[出力動作1、バッチ時間夜05時45分50秒] マップから：35 +詳細 2016/3月22日17時46分31秒11ミリ秒

mesosクラスタモード：KafkaHelper.scalaで[出力動作1、バッチ時間夜06時01分20秒] マップから 659ストリーミングジョブ：35 +詳細 2016/03/22 18:09:33 3秒

そして、私はspark UIから、foreachRDDジョブを終了するためにmesosクラスタモードが4秒かかると知りました。それはなぜですか？すべてのサブミットコマンドオプションはこれを助けることができますか？

事前に感謝の塊！

Answer 1

この動作は複数の要因によって異なります。どのクラスタモードでどのジョブを実行し、どの設定でジョブを実行するかは指定しません。スレーブにSparkがインストールされていない場合、配布物をダウンロードする必要があるためオーバーヘッドが表示されます。

さらに、使用しているjarファイルはエグゼキュータに配布する必要がありますスタートアップも同様です。

このように、これはすべてhowあなたがスパークオンメゾスを実行することに依存します。

• http://spark.apache.org/docs/latest/running-on-mesos.html

を参照してください。