私のSpark Appは1人のエグゼキュータだけで動作しているのはなぜですか？

Question

私はまだSparkの新機能がありますが、Spark Appを作成することができました。私は、JDBCドライバを使用してSQL Serverからデータを再処理できるようにする必要があります（高価なSPを削除しています） SQL ServerをJDBC経由でデータフレームに変換した後、いくつかの結合、グループ、フィルタを実行して、最終的に結果を別のテーブルにJDBC経由で戻します。このすべてはAmazon Web ServicesのSpark EMRでm3.xlargeで約2分で約2分で正常に実行されます。

私の質問は次のとおりです：1.今はクラスタに1つのマスターと2つのコアがありますが、新しいステップを起動するたびに、履歴サーバーから見ることができます私は2人のエグゼクティブが表示されているので、使用されていないドライバー、id 1のエグゼキューターが約1410個のタスクを処理しているのを見ることができます。そして、私はどのように進むべきかについて完全にはわかりません。

また、これはAWSに固有のものですが、何らかの形で関連する2つの質問を投稿したくないのですが、同時に2つのステップを実行できる方法はありますか？このプロセスを1日に何度も実行する（クライアントデータを処理する）ので、このプロセスの2回のスパークサブミットを同時に実行できることを意味します。私はそのステップで新しいクラスタを立ち上げることができると知っていますが、私は処理を速くしたいだけで、新しいクラスタを立ち上げるだけでも時間がかかります。 ありがとうございます！あなたの最初の質問については

Answer 1

：

私はこれが事実であるかどうかわからないけど、似た何かが私たちに起こった、多分それは助けることができます。

sqlContext.read.format("jdbc").load()（またはそれに準ずるもの）を使用してJDBCソースから読み取っている場合、デフォルトでは結果のデータフレームは分割されません。したがって、それが当てはまる場合は、最初に分割せずに結果のデータフレームに変換を適用すると、1つのエグゼキュータのみが処理できるようになります。あなたの場合ではない場合、次の解決策はおそらくあなたの問題を解決しません。

私たちの解決策は、データに1から32（希望するパーティション数）の値を持つ数値列を作成し、jdbcリーダーのパーティション化オプションを設定してパーティション化列として使用することでした（this link ）：

val connectionOptions = Map[String, String] (... <connection options> ...) 
val options = connectionOptions ++ Map[String, String] (
    "partitionColumn" -> "column name", 
    "lowerBound" -> "1", 
    "upperBound" -> "32", 
    "numPartitions" -> "32" 
) 

val df = sqlContext.read.format("jdbc").options(options).load() 

だから、このアプローチでは、並行して処理することができ読み取りタスク（実際にパフォーマンスを向上させ、OOMエラーを回避）しただけでなく、結果のデータフレームは、すべてのために並列に分割して処理しました。その後の変換。

私は役立つことを願っています。