私より多くのコアを使用しようとするとどうなりますか？

Question

私のsparkconfでは、使用するコアの数を設定できます。私は4つの物理的なものがあります。私のラップトップには8つの論理があります。

Answer 1

コアの数には物理コアはなく、実行中のスレッド数が記述されています。これは、数が利用可能なコアの数よりも多い場合、実際には何も起こらないことを意味します。

設定に応じて、実際には、一般的に推奨される設定の2倍の数の使用可能なコアを使用することが好ましい設定になります。明らかに数が多い場合、アプリケーションは実際の処理よりスレッド間の切り替えに多くの時間を費やします。

Answer 2

これは、クラスタマネージャによって大きく異なります。私はあなたが約local[n]実行モードを求めていると仮定します。

この場合、ドライバと唯一のエグゼキュータは同じスレッド番号のnのJVMと同じです。

DAGScheduler - Spark実行プランナーは、nスレッドを使用して、必要な数のタスクをスケジュールします。

コアよりも多くのタスク、つまりスレッドがある場合、OSはコアより多くのスレッドを処理し、適切にスケジューリングする必要があります。