スパークRDDパーティションが処理される方法。エグゼクティブの<いいえ> RDDパーティション

Question

スパークストリーミングの基本的なことを理解したい。私は50個のカフカトピックパーティションと5人のエグゼキュータを持っています。私はDirectAPIを使用しています。のRDDパーティションは50になります。このパーティションは5人のエグゼキュータでどのように処理されるのですか？各エグゼキュータで一度にプロセス1のパーティションを起動するか、エグゼキュータに十分なメモリとコアがあれば、各エグゼキュータで並列に複数のパーティションを処理します。

Answer 1

各エグゼキュータに時の処理1パーティションを刺激するか、または executorが十分なメモリとコアを有する場合には、各エグゼキュータに平行に1つの以上 パーティションを処理します。

Sparkは、実行中のジョブで使用可能なコアの総量に応じて各パーティションを処理します。

ストリーミングジョブには、コアが2つのエグゼキュータが10人あるとします。これは、spark.task.cpusが1に設定されていると仮定すると、10 x 2 = 20のパーティションを同時に処理できることを意味します。

実際に詳細を知りたい場合は、CoarseGrainedSchedulerBackendのSpark Standaloneリクエストリソースを見てください。 makeOffers：

private def makeOffers() { 
    // Filter out executors under killing 
    val activeExecutors = executorDataMap.filterKeys(executorIsAlive) 
    val workOffers = activeExecutors.map { case (id, executorData) => 
    new WorkerOffer(id, executorData.executorHost, executorData.freeCores) 
    }.toIndexedSeq 
    launchTasks(scheduler.resourceOffers(workOffers)) 
} 

ここでキーシステムにおけるこのような各エグゼキュータが利用されているどのくらいのコアに指示ExecutorDataにエグゼキュータIDからのマッピングを保持し、そのパーティションの好ましい局所に従ってexecutorDataMap、ありますこのタスクを実行する実行者を推測します。ここで

はカフカから消費するアプリをストリーミングライブスパークからの例です：

私たちは、各エグゼキュータはプロセスへのストリーミングを可能にする2つの以上のコアを持って実行している3つのエグゼキュータと5つのパーティションを、持っています各パーティションは同時に実行されます。